业界动态
复四肖六肖中了5个肖,中了多少组-全是“自己人”!OpenAI紧急成立“安全委员会”,距离“超级对齐”团队解散不到半月,90天后将迎首次安全“大考”,Carlin,问题,评估
2024-06-02 01:11:32
复四肖六肖中了5个肖,中了多少组-全是“自己人”!OpenAI紧急成立“安全委员会”,距离“超级对齐”团队解散不到半月,90天后将迎首次安全“大考”,Carlin,问题,评估

美西时间周二(5月28日),OpenAI称董(dong)事会成立了一个(ge)负责把控AI开发(fa)方向的“安全委员(yuan)会”,负责监(jian)督(du)与公(gong)司项目和运营相(xiang)关的“关键”安全和安保决策(ce),而这距离其内部负责评估长(chang)期AI安全问题的“超级对齐(Superalignment)”小组正式解散(san)不到半个(ge)月的时间。

据悉,该委员(yuan)会的首要(yao)任务(wu)将是在未来90天(tian)内评估并进一步(bu)发(fa)展OpenAI的流程(cheng)和保障措施(shi)。90天(tian)结束时,该委员(yuan)会将与全体董(dong)事会分享(xiang)他们的建议。在全体董(dong)事会审(shen)查之后,OpenAI将以(yi)符合安全和保障的方式,公(gong)开分享(xiang)有关采纳(na)建议的更新。

《每日经济新闻》记者注意到,其实这并不是OpenAI首次组建专门致力于AI安全的团队――去年12月OpenAI就成立过一个(ge)“安全顾问小组”,该小组向领导层提出建议,并且董(dong)事会被授(shou)予否决权。不过从(cong)本月17日“超级对齐”团队解散(san)到本周二成立新的“安全委员(yuan)会”,足以(yi)证明AI安全的问题在OpenAI内部仍未得到解决。

全新安全委员(yuan)会,全是“自己人”

除了CEO Altman外,OpenAI新成立的安全委员(yuan)会的其他成员(yuan)还包括OpenAI董(dong)事会成员(yuan)Bret Taylor、Adam D’Angelo和Nicole Seligman,以(yi)及首席科学(xue)家Jakub Pachocki、OpenAI早期筹备团队的Aleksander Madry、安全系统负责人Lilian Weng、安保负责人Matt Knight和“人工智能对齐”(AI Alignment)负责人John Schulman。从(cong)成员(yuan)构成可以(yi)看(kan)出,没有一个(ge)外部人员(yuan)。

图片来源:OpenAI

为了避免新成立的安全委员(yuan)会因成员(yuan)构成而被认为是“橡皮图章(zhang)”,OpenAI承诺(nuo)将聘请第三方“安全、安保和技术”专家来支持委员(yuan)会的工作(zuo),包括网络安全专家Rob Joyce和美国前(qian)司法部官(guan)员(yuan)John Carlin。但除此(ci)之外,OpenAI并未更详细地说明外部专家组的规模和组成,也没有透露专家组对委员(yuan)会的具体影响和权力限制。

有专家指出,OpenAI成立此(ci)类企(qi)业(ye)监(jian)督(du)委员(yuan)会,类似(si)于谷歌的高级技术外部咨询委员(yuan)会,其实在实际监(jian)督(du)方面几(ji)乎没有什么作(zuo)为。

美国IT研究与顾问咨询公(gong)司Gartner高级研究总监(jian)高峰在接受《每日经济新闻》记者采访时指出,OpenAI安全委员(yuan)会成员(yuan)全部是“自己人”并没有什么问题,“因为OpenAI的安全委员(yuan)会是服务(wu)于内部,是对OpenAI产(chan)品的安全和发(fa)展方向进行评估。一般(ban)来说,企(qi)业(ye)不太倾向于引入外部人士,因为里面会涉及很多(duo)的商(shang)业(ye)机密信息。所(suo)以(yi)如果没有监(jian)管(guan)或者政府的强制要(yao)求,企(qi)业(ye)通常只会对自己的产(chan)品或股东负责。其实像谷歌和微软,他们也有相(xiang)应的一些安全部门,主要(yao)就是确保产(chan)品的安全,并且不对社会带来一些负面的影响。”

安全优先级下降引担忧,多(duo)名高管(guan)离职

近期,OpenAI在安全方面的问题成为外界(jie)的关注点之一。几(ji)个(ge)月来,OpenAI流失了不少非常重视AI安全的员(yuan)工,在这部分人中,有一些对OpenAI在AI安全方面的优先级下降表示担忧。

OpenAI的联合创始人兼前(qian)首席科学(xue)家Ilya Sutskever也于今年5月离职,据报道部分是因为Altman急于推出AI驱动的产(chan)品而牺牲了安全性能。OpenAI前(qian)首席安全研究员(yuan)Jan Leike也紧随其后宣布离开,他在X平台上发(fa)布的一系列帖子中表示,他认为OpenAI“未走在解决AI安全和安保问题的正确轨道上”。

在Ilya Sutskever和Jan Leike这两位关键领导人离职后,OpenAI专注于研究AI生存危险(xian)的“超级对齐”团队正式宣告解散(san)。

对于Jan Leike发(fa)表的言论,上周离职的AI政策(ce)研究员(yuan)Gretchen Krueger也表示认同,她(ta)也呼吁(yu)OpenAI提高问责制和透明度,并“更加谨慎地使用(yong)自己的技术”。另外,曾在OpenAI担任团队治理(li)工作(zuo)的Daniel Kokotajlo也于4月辞职,原因是他对OpenAI能在AI开发(fa)中继续(xu)保持负责任的态度失去了信心。

其实,这并不是OpenAI首次成立或组建专门的安全顾问团队。

去年12月18日,OpenAI就称正在扩展内部安全流程(cheng),以(yi)抵御(yu)有害人工智能的威胁。一个(ge)新的“安全顾问小组”将位于技术团队之上,向领导层提出建议,并且董(dong)事会也被授(shou)予了否决权。

在当时的博客文章(zhang)中,OpenAI讨论了其最新的“准备框架”,即OpenAI跟(gen)踪、评估、预(yu)测和防范日益强大的模型带来灾(zai)难性风险(xian)的流程(cheng)。对于灾(zai)难性风险(xian)的定义,OpenAI的解释是这样的:“任何可能导致数(shu)千亿(yi)美元经济损失或导致许(xu)多(duo)人严重伤害或死亡的风险(xian)――包括但不限于生存风险(xian)。”

AI监(jian)管(guan)呼声日益高涨

在人工智能大模型的快速发(fa)展之下,全球(qiu)新一轮科技革命和产(chan)业(ye)变革正在酝酿,但也衍生了一些担忧,数(shu)据安全、终端安全以(yi)及个(ge)人的数(shu)字主权面临更大的挑战。

以(yi)生成式AI为例,普华(hua)永道在去年10月发(fa)布的一篇文章(zhang)中称,在疏于监(jian)管(guan)的情况下,这项技术可能会生成违法或不当的内容,可能涉及侮辱、诽谤、色情、暴力等不合法或违规的元素;另一方面,生成式AI可能会基于已有的受版权保护的内容进行学(xue)习,这可能导致知(zhi)识产(chan)权侵权。

被誉为“AI教父”的Geoffrey Hinton近日在接受BBC Newsnight节目采访直言,AI很快将超越人类智能,并担心人类在AI发(fa)展方面的安全性不够重视。他还指出,这不仅仅是他个(ge)人的观点,实际上这是该领域(yu)领导者的共识。

出于对AI各方面的担忧,4月下旬,美国国土安全部就针对研发(fa)AI的“安全与保障”成立顾问委员(yuan)会,集结了22名科技业(ye)高层成员(yuan),包括OpenAI、微软、Alphabet、亚马逊(xun)网络服务(wu)(AWS)等企(qi)业(ye)高层,以(yi)及英伟达CEO黄仁勋和AMD CEO苏姿丰。

美国国土安全部部长(chang)马约卡斯(Alejandro Mayorkas)表示,该委员(yuan)会将协助确保AI科技的安全开展,以(yi)及设法应对这类科技对能源、公(gong)用(yong)业(ye)务(wu)、交通、国防、信息技术、食品和农(nong)业(ye),甚至是金融服务(wu)等关键服务(wu)所(suo)构成的威胁。

不仅仅是美国政府部门,包括美国商(shang)业(ye)软件联盟(BSA)这样的行业(ye)组织,也在推动对AI的监(jian)管(guan)。同样在4月,BSA也发(fa)布了文件呼吁(yu)在隐私立法中制定相(xiang)关规则(ze)。

对于不断(duan)增强的监(jian)管(guan)呼声,高峰对《每日经济新闻》记者分析(xi)称,“任何技术的发(fa)展都是有风险(xian)的,而AI比之前(qian)的任何技术对于整个(ge)社会的影响都要(yao)大,这也是为什么各方对AI监(jian)管(guan)呼声较高的原因。另外,一直以(yi)来大家可能受到了一些科幻电影的影响,觉得将来AI可能会超过人类的智慧,可能控制人类。”

“但是,现在的AI离人类的智慧还是有很大差(cha)距,短期AI是没有办法超过人类的。但当AI不再仅仅是个(ge)工具,而是成为主导的时候,就可能需要(yao)人工阻(zu)止了,我(wo)觉得这可能是比较重要(yao)的一个(ge)评判标准。”高峰对记者补充道。

每日经济新闻

发(fa)布于:北京市
版权号:18172771662813
 
    以上就是本篇文章的全部内容了,欢迎阅览 !
     资讯      企业新闻      行情      企业黄页      同类资讯      首页      网站地图      返回首页 移动站 , 查看更多   
sitemapsitemap1sitemap2sitemap3sitemap4sitemap5sitemap6sitemap7