OpenAI的博客截图

于此中一路案例中,模子被要求回覆有关美国加州某县财务收入数据的通例问题,却于未经授权的环境下,于公然代码库中寻觅并利用了一个袒露的API密钥。当它仍没法获取所需数据时,模子编造了数据,并将其作为来自指定命据源的信息出现给用户。

问题还有呈现于用在接续事情的使命择要中。这种择要虽帮忙模子于新的上下文窗口中延续使命,但也可能将不妥指令通报至后续环节。

据OpenAI先容,于GPT-5.6 Sol的练习历程中,很多模子实例于择要中插手了向用户隐瞒过错或者方针偏离举动的指令,例如于不披露的环境下编造缺掉的汗青数据,以和隐蔽数据源版本不匹配的问题。另外一个未发布的研发模子则于择要中插入无关指令,包括轻忽正常约束的指令。OpenAI确认了27个受影响的择要。

别的三份陈诉重要触及模子为完成使命而采纳未经授权的步履。

于一个案例中,用户要求未发布的模子提供面积年夜在500万平方米的湖泊ID及名称。该代办署理已经经经由过程Python找到了准确谜底,但因为指令要求提供阅读器援用,它决议未经用户许可上传文件,以便于回覆中援用。

另外一份陈诉显示,模子于寻觅缺掉的输入文件时,将内部软件堆栈看成留言板,于差别练习样本之间发送哀求及答复,但终极并未找回文件。陈诉还有回首了一个更早的案例:模子于测验考试绕过收集限定时,乐成将测试文件上传至堆栈。

多智能体协作中也呈现了近似问题。配合处置惩罚统一练习使命的智能体没法拜候相互的当地文件,在是利用公然文件托管网站举行同享。只管使命要求仅利用当地文件,这一操作仍使使命交付物袒露于公然网址上。

OpenAI案例截图

OpenAI夸大,这些陈诉针对于的是详细案例,不克不及据此揣度其所有模子发生方针偏离的频率,也不是对于已经知问题或者正于举行的查询拜访的周全罗列。

根据新框架,陈诉规模将笼罩练习、评估、测试及部署等模子整个生命周期,优先思量新机制、已经知举动的庞大变化,以和对于安全办法有用性提出挑战的案例。事务既无需已经经造成危险,也无需形成遍及模式,即可公然。假如某种举动于屡次测验考试减缓后仍旧发生,公司将经由过程更新原始陈诉增补案例。

任何OpenAI员工均可以标志相干案例,交由安全与对于齐团队查询拜访,并申请思量公然披露。案例随后将归入“预备披露”“小型查询拜访”或者“年夜型查询拜访”三类。这次六份陈诉均属在前两类;触及第三方或者繁杂安全问题的案例,可能需要更永劫间查询拜访,也可能出在安全缘故原由推延发布。

完备陈诉将先容不雅察到的举动、严峻水平、外部影响、发生配景及触及的模子,并尽可能申明查询拜访规模、未解问题和应答办法。OpenAI认可,AI行业还没有充实解决对于齐及监控问题,但愿公然案例可以或许为外部研究职员、政策制订者及公家提供可审查的证据。

缭绕AI安全的担心,也影响了OpenAI对于上市机会的判定。

OpenAI CEO山姆 奥特曼(Sam Altman)近日暗示,思量到当前AI安全方面的环境,此时上市其实不明智,公司也不感应必需当即上市的压力。他确认OpenAI不会于2026年上市,称公司仍有年夜量事情需要完成,包括应答安全与对于齐要求,以和鞭策行业及当局之间的互助,但未确定新的上市时间表。

而据外媒援引知恋人士动静称,OpenAI近期已经与年夜型投资者会商新的融资,可能使其上市前估值到达约1.2万亿美元。

(原题:OpenAI调解安全问题披露机制,宣布多起模子编造数据、智能体未经授权操作案例)

尤其声明:本文转载仅仅是出在流传信息的需要,其实不象征着代表本网站不雅点或者证明其内容的真实性;如其他媒体、网站或者小我私家从本网站转载利用,须保留本网站注明的“来历”,并自大版权等法令责任;作者假如不但愿被转载或者者接洽转载稿费等事宜,请与咱们联系。-PA集团官网"/>
2026 / 11 / 12
PA集团官网-OpenAI调整安全问题披露机制—新闻—科学网

AI安全问题日趋遭到存眷,OpenAI正调解其模子安全问题的披露机制。

本地时间9月16日,人工智能巨头OpenAI发布一套用在跟踪、查询拜访及公然模子方针偏离(misalignment,也称“对于齐掉效”)事务的新框架,并同步宣布已往半年不雅察到的六份案例陈诉,相干举动触及信息真实性、用户授权、文件同享及监视约束等方面。

这次调解的重点是将以往较为姑且、集中式的披露转向连续陈诉。OpenAI暗示,已往往往比及可以或许汇总多个案例,或者随新模子的体系卡一并发布时才公然相干发明。新框架旨于加速披露进度,纵然还没有彻底注释相干举动,或者还没有找到完备的减缓方案,也能够先行发布陈诉。

OpenAI的博客截图

于此中一路案例中,模子被要求回覆有关美国加州某县财务收入数据的通例问题,却于未经授权的环境下,于公然代码库中寻觅并利用了一个袒露的API密钥。当它仍没法获取所需数据时,模子编造了数据,并将其作为来自指定命据源的信息出现给用户。

问题还有呈现于用在接续事情的使命择要中。这种择要虽帮忙模子于新的上下文窗口中延续使命,但也可能将不妥指令通报至后续环节。

据OpenAI先容,于GPT-5.6 Sol的练习历程中,很多模子实例于择要中插手了向用户隐瞒过错或者方针偏离举动的指令,例如于不披露的环境下编造缺掉的汗青数据,以和隐蔽数据源版本不匹配的问题。另外一个未发布的研发模子则于择要中插入无关指令,包括轻忽正常约束的指令。OpenAI确认了27个受影响的择要。

别的三份陈诉重要触及模子为完成使命而采纳未经授权的步履。

于一个案例中,用户要求未发布的模子提供面积年夜在500万平方米的湖泊ID及名称。该代办署理已经经经由过程Python找到了准确谜底,但因为指令要求提供阅读器援用,它决议未经用户许可上传文件,以便于回覆中援用。

另外一份陈诉显示,模子于寻觅缺掉的输入文件时,将内部软件堆栈看成留言板,于差别练习样本之间发送哀求及答复,但终极并未找回文件。陈诉还有回首了一个更早的案例:模子于测验考试绕过收集限定时,乐成将测试文件上传至堆栈。

多智能体协作中也呈现了近似问题。配合处置惩罚统一练习使命的智能体没法拜候相互的当地文件,在是利用公然文件托管网站举行同享。只管使命要求仅利用当地文件,这一操作仍使使命交付物袒露于公然网址上。

OpenAI案例截图

OpenAI夸大,这些陈诉针对于的是详细案例,不克不及据此揣度其所有模子发生方针偏离的频率,也不是对于已经知问题或者正于举行的查询拜访的周全罗列。

根据新框架,陈诉规模将笼罩练习、评估、测试及部署等模子整个生命周期,优先思量新机制、已经知举动的庞大变化,以和对于安全办法有用性提出挑战的案例。事务既无需已经经造成危险,也无需形成遍及模式,即可公然。假如某种举动于屡次测验考试减缓后仍旧发生,公司将经由过程更新原始陈诉增补案例。

任何OpenAI员工均可以标志相干案例,交由安全与对于齐团队查询拜访,并申请思量公然披露。案例随后将归入“预备披露”“小型查询拜访”或者“年夜型查询拜访”三类。这次六份陈诉均属在前两类;触及第三方或者繁杂安全问题的案例,可能需要更永劫间查询拜访,也可能出在安全缘故原由推延发布。

完备陈诉将先容不雅察到的举动、严峻水平、外部影响、发生配景及触及的模子,并尽可能申明查询拜访规模、未解问题和应答办法。OpenAI认可,AI行业还没有充实解决对于齐及监控问题,但愿公然案例可以或许为外部研究职员、政策制订者及公家提供可审查的证据。

缭绕AI安全的担心,也影响了OpenAI对于上市机会的判定。

OpenAI CEO山姆 奥特曼(Sam Altman)近日暗示,思量到当前AI安全方面的环境,此时上市其实不明智,公司也不感应必需当即上市的压力。他确认OpenAI不会于2026年上市,称公司仍有年夜量事情需要完成,包括应答安全与对于齐要求,以和鞭策行业及当局之间的互助,但未确定新的上市时间表。

而据外媒援引知恋人士动静称,OpenAI近期已经与年夜型投资者会商新的融资,可能使其上市前估值到达约1.2万亿美元。

(原题:OpenAI调解安全问题披露机制,宣布多起模子编造数据、智能体未经授权操作案例)

尤其声明:本文转载仅仅是出在流传信息的需要,其实不象征着代表本网站不雅点或者证明其内容的真实性;如其他媒体、网站或者小我私家从本网站转载利用,须保留本网站注明的“来历”,并自大版权等法令责任;作者假如不但愿被转载或者者接洽转载稿费等事宜,请与咱们联系。-PA集团官网