业界动态
澳门220期-OpenAI成立新的安全顾问委员会 成员全是自己人,Altman,安保,人工智能
2024-06-02 12:48:09
澳门220期-OpenAI成立新的安全顾问委员会 成员全是自己人,Altman,安保,人工智能

OpenAI周二宣布成立(li)一个(ge)新的安(an)全顾问委员会,负(fu)责监督与公司项目和(he)运营相关的“关键”安(an)全和(he)安(an)保决策。而(er)值得注意的是,进入(ru)该安(an)全顾问委员会的成员全部为该公司内部人员,包括OpenAI的CEO Sam Altman,外(wai)部人员一个(ge)也没有。

根据OpenAI公司博客上的一篇文章,安(an)全顾问委员会将在接下来90天内负(fu)责评估(gu)OpenAI得安(an)全流程和(he)保障措施。然后(hou),该委员会将向(xiang)OpenAI董事会汇(hui)报其发(fa)现和(he)建议,OpenAI表示,届时将以符合安(an)全和(he)安(an)保的方式公布任何已采纳的建议的更新。

OpenAI周二表示,已开始训(xun)练新一代旗舰人工智能模型,以期超越目前的GPT-4大模型。“OpenAI最近开始训(xun)练其下一个(ge)前沿模型,我们预计由此产生的系统将使我们在通往通用人工智能的道路上迈上一个(ge)新台阶,”OpenAI写道。“虽然我们很自豪地构建和(he)发(fa)布在能力(li)和(he)安(an)全方面都领先(xian)的模型,但我们欢(huan)迎在这个(ge)重(zhong)要时刻(ke)进行深(shen)入(ru)讨(tao)论。”

除了(le)Altman,安(an)全顾问委员会的其他成员包括OpenAI董事会成员Bret Taylor、Adam D’Angelo和(he)Nicole Seligman,以及首席科(ke)学家Jakub Pachocki、OpenAI早(zao)期筹备团队的Aleksander Madry、安(an)全系统负(fu)责人Lilian Weng、安(an)保负(fu)责人Matt Knight和(he)“人工智能对齐”(AI Alignment)负(fu)责人John Schulman。

安(an)全不(bu)再(zai)优先(xian) 多名高层离职

过去几个(ge)月,OpenAI的技术团队中有多名安(an)全方面的高层人员离职,这些前员工中有些人对OpenAI在AI安(an)全方面的优先(xian)级下降表示担忧。

曾在OpenAI担任团队治理工作的Daniel Kokotajlo在4月辞职,因为他对OpenAI在发(fa)布越来越强大的AI时“负(fu)责任的行为”失去了(le)信(xin)心(xin),他在个(ge)人博客上写道。此外(wai),OpenAI的联合创始人兼前首席科(ke)学家Ilya Sutskever在与Altman及其盟友的长期斗争后(hou),于5月离职,据报道部分原因是Altman急于推出AI驱动的产品而(er)牺牲(sheng)了(le)安(an)全性能。

最近,前DeepMind研究员Jan Leike此前在OpenAI负(fu)责开发(fa)ChatGPT及其前身InstructGPT的过程中,也辞去了(le)安(an)全研究员职务,他在一系列X平台的帖(tie)子中表示,他认为OpenAI“未走在解决AI安(an)全和(he)安(an)保问题的正确轨道上”。同时,AI政策研究员Gretchen Krueger上周离开OpenAI,她也同意Leike的观点,呼(hu)吁公司提(ti)高问责制和(he)透明度(du),并“更加谨慎地使用自己的技术”。

媒体报道,除了(le)Sutskever、Kokotajlo、Leike和(he)Krueger,自去年年底以来,至少有五名OpenAI最重(zhong)视(shi)安(an)全的员工要么辞职,要么被迫离开,包括前OpenAI董事会成员Helen Toner和(he)Tasha McCauley。两人日前在媒体撰(zhuan)文称,在Altman的领导下,他们相信(xin)OpenAI无法实现对自身追究责任。

“根据我们的经验,OpenAI的自我治理无法承受利润激励带(dai)来的诱惑。”

“根据我们的经验,OpenAI的自我治理无法承受利润激励带(dai)来的诱惑。”

此前有媒体报道,负(fu)责开发(fa)“超级智能”AI系统治理方法的OpenAI超级对齐(Superalignment team)团队被承诺获得公司20%的计算资源,但实际上却很少这部分资源。超级对齐团队自那以后(hou)被解散,其工作大部分被转交给“人工智能对齐”(AI Alignment)负(fu)责人John Schulman和(he)OpenAI在12月成立(li)的安(an)全咨询小组。

虽然OpenAI一直在倡导AI监管,但也在努力(li)影响塑造这些监管,该公司聘请了(le)一名内部游说者和(he)越来越多的外(wai)部律师事务所游说者,仅在美国(guo)游说方面该公司2023年第四季(ji)度(du)就花(hua)费了(le)数十万美元。最近,美国(guo)国(guo)土安(an)全部宣布Altman将成为其新成立(li)的人工智能安(an)全和(he)安(an)保委员会(Artificial Intelligence Safety and Security Board)的成员,该委员会将为“安(an)全和(he)可靠的AI开发(fa)和(he)部署”提(ti)供(gong)建议,以覆盖美国(guo)的关键基础设施。

而(er)为了(le)避免由于安(an)全和(he)安(an)保委员会全部为内部高管而(er)被认为是橡皮图章,OpenAI承诺聘请第三方“安(an)全、安(an)保和(he)技术”专家来支持委员会的工作,包括网络安(an)全专家Rob Joyce和(he)前美国(guo)司法部官员John Carlin。

然而(er),除了(le)Joyce和(he)Carlin,OpenAI尚(shang)未详细说明该外(wai)部专家组的规(gui)模和(he)组成,也没有透露该组对委员会的影响力(li)和(he)权力(li)的限制。有专家指出,OpenAI成立(li)此类的企业监督委员会,类似于谷歌的高级技术外(wai)部咨询委员会,其实在实际监督方面几乎没有什么作为。

发(fa)布于:上海市
版权号:18172771662813
 
    以上就是本篇文章的全部内容了,欢迎阅览 !
     资讯      企业新闻      行情      企业黄页      同类资讯      首页      网站地图      返回首页 移动站 , 查看更多   
sitemapsitemap1sitemap2sitemap3sitemap4sitemap5sitemap6sitemap7