业界动态
新澳门彩开奖结果2024开奖记录查询表格-全是“自己人”!OpenAI紧急成立“安全委员会”,距离“超级对齐”团队解散不到半月,90天后将迎首次安全“大考”,Carlin,问题,评估
2024-06-02 17:07:17
新澳门彩开奖结果2024开奖记录查询表格-全是“自己人”!OpenAI紧急成立“安全委员会”,距离“超级对齐”团队解散不到半月,90天后将迎首次安全“大考”,Carlin,问题,评估

美西时间周二(5月28日),OpenAI称董(dong)事会(hui)成立了一个(ge)负责把(ba)控AI开发方向的“安(an)全(quan)委员会(hui)”,负责监督与公司(si)项目和运营相关的“关键”安(an)全(quan)和安(an)保决策(ce),而这距离其内部负责评估长期AI安(an)全(quan)问(wen)题的“超级对齐(Superalignment)”小组正式解(jie)散不到半个(ge)月的时间。

据悉,该委员会(hui)的首要任务将(jiang)是在未来(lai)90天(tian)内评估并进一步发展OpenAI的流程和保障措施(shi)。90天(tian)结(jie)束时,该委员会(hui)将(jiang)与全(quan)体董(dong)事会(hui)分享他们的建议。在全(quan)体董(dong)事会(hui)审查之后,OpenAI将(jiang)以符合安(an)全(quan)和保障的方式,公开分享有关采纳建议的更新。

《每日经济新闻》记者注(zhu)意到,其实这并不是OpenAI首次组建专门致力于AI安(an)全(quan)的团队(dui)――去年12月OpenAI就成立过一个(ge)“安(an)全(quan)顾问(wen)小组”,该小组向领导层提出建议,并且董(dong)事会(hui)被授予(yu)否决权(quan)。不过从本月17日“超级对齐”团队(dui)解(jie)散到本周二成立新的“安(an)全(quan)委员会(hui)”,足以证明AI安(an)全(quan)的问(wen)题在OpenAI内部仍未得到解(jie)决。

全(quan)新安(an)全(quan)委员会(hui),全(quan)是“自己人”

除了CEO Altman外(wai),OpenAI新成立的安(an)全(quan)委员会(hui)的其他成员还包括OpenAI董(dong)事会(hui)成员Bret Taylor、Adam D’Angelo和Nicole Seligman,以及首席科学家(jia)Jakub Pachocki、OpenAI早期筹备团队(dui)的Aleksander Madry、安(an)全(quan)系统负责人Lilian Weng、安(an)保负责人Matt Knight和“人工智能对齐”(AI Alignment)负责人John Schulman。从成员构成可以看出,没有一个(ge)外(wai)部人员。

图(tu)片来(lai)源:OpenAI

为了避免新成立的安(an)全(quan)委员会(hui)因成员构成而被认为是“橡皮图(tu)章”,OpenAI承诺(nuo)将(jiang)聘请第三方“安(an)全(quan)、安(an)保和技术(shu)”专家(jia)来(lai)支持委员会(hui)的工作(zuo),包括网络安(an)全(quan)专家(jia)Rob Joyce和美国前司(si)法部官员John Carlin。但除此之外(wai),OpenAI并未更详细地说(shuo)明外(wai)部专家(jia)组的规模和组成,也没有透露专家(jia)组对委员会(hui)的具体影响和权(quan)力限制。

有专家(jia)指出,OpenAI成立此类企(qi)业监督委员会(hui),类似于谷歌的高级技术(shu)外(wai)部咨询委员会(hui),其实在实际监督方面几乎没有什么作(zuo)为。

美国IT研究与顾问(wen)咨询公司(si)Gartner高级研究总监高峰在接受《每日经济新闻》记者采访时指出,OpenAI安(an)全(quan)委员会(hui)成员全(quan)部是“自己人”并没有什么问(wen)题,“因为OpenAI的安(an)全(quan)委员会(hui)是服(fu)务于内部,是对OpenAI产(chan)品的安(an)全(quan)和发展方向进行评估。一般来(lai)说(shuo),企(qi)业不太倾向于引入外(wai)部人士,因为里面会(hui)涉及很多的商业机密(mi)信息。所以如果没有监管或者政府的强制要求(qiu),企(qi)业通(tong)常只会(hui)对自己的产(chan)品或股东负责。其实像谷歌和微软,他们也有相应(ying)的一些安(an)全(quan)部门,主要就是确(que)保产(chan)品的安(an)全(quan),并且不对社会(hui)带来(lai)一些负面的影响。”

安(an)全(quan)优先级下降(jiang)引担忧,多名(ming)高管离职

近期,OpenAI在安(an)全(quan)方面的问(wen)题成为外(wai)界的关注(zhu)点之一。几个(ge)月来(lai),OpenAI流失了不少非常重视(shi)AI安(an)全(quan)的员工,在这部分人中,有一些对OpenAI在AI安(an)全(quan)方面的优先级下降(jiang)表示担忧。

OpenAI的联合创始人兼前首席科学家(jia)Ilya Sutskever也于今年5月离职,据报道(dao)部分是因为Altman急于推出AI驱动的产(chan)品而牺(xi)牲了安(an)全(quan)性能。OpenAI前首席安(an)全(quan)研究员Jan Leike也紧随其后宣布离开,他在X平(ping)台上发布的一系列帖子中表示,他认为OpenAI“未走在解(jie)决AI安(an)全(quan)和安(an)保问(wen)题的正确(que)轨道(dao)上”。

在Ilya Sutskever和Jan Leike这两位关键领导人离职后,OpenAI专注(zhu)于研究AI生存危险的“超级对齐”团队(dui)正式宣告解(jie)散。

对于Jan Leike发表的言论,上周离职的AI政策(ce)研究员Gretchen Krueger也表示认同,她也呼吁OpenAI提高问(wen)责制和透明度(du),并“更加谨慎地使用自己的技术(shu)”。另外(wai),曾在OpenAI担任团队(dui)治理工作(zuo)的Daniel Kokotajlo也于4月辞职,原因是他对OpenAI能在AI开发中继续保持负责任的态度(du)失去了信心。

其实,这并不是OpenAI首次成立或组建专门的安(an)全(quan)顾问(wen)团队(dui)。

去年12月18日,OpenAI就称正在扩展内部安(an)全(quan)流程,以抵御有害(hai)人工智能的威胁。一个(ge)新的“安(an)全(quan)顾问(wen)小组”将(jiang)位于技术(shu)团队(dui)之上,向领导层提出建议,并且董(dong)事会(hui)也被授予(yu)了否决权(quan)。

在当时的博客文章中,OpenAI讨论了其最新的“准(zhun)备框架”,即(ji)OpenAI跟踪、评估、预测和防范(fan)日益(yi)强大(da)的模型(xing)带来(lai)灾难(nan)性风(feng)险的流程。对于灾难(nan)性风(feng)险的定义,OpenAI的解(jie)释是这样的:“任何可能导致数千亿美元经济损失或导致许多人严重伤害(hai)或死亡的风(feng)险――包括但不限于生存风(feng)险。”

AI监管呼声日益(yi)高涨

在人工智能大(da)模型(xing)的快速发展之下,全(quan)球新一轮科技革命和产(chan)业变革正在酝酿,但也衍生了一些担忧,数据安(an)全(quan)、终(zhong)端安(an)全(quan)以及个(ge)人的数字主权(quan)面临(lin)更大(da)的挑战。

以生成式AI为例,普华(hua)永道(dao)在去年10月发布的一篇文章中称,在疏于监管的情况下,这项技术(shu)可能会(hui)生成违法或不当的内容(rong),可能涉及侮辱、诽谤、色情、暴力等不合法或违规的元素;另一方面,生成式AI可能会(hui)基于已有的受版(ban)权(quan)保护的内容(rong)进行学习,这可能导致知识产(chan)权(quan)侵权(quan)。

被誉(yu)为“AI教父”的Geoffrey Hinton近日在接受BBC Newsnight节目采访直言,AI很快将(jiang)超越人类智能,并担心人类在AI发展方面的安(an)全(quan)性不够重视(shi)。他还指出,这不仅仅是他个(ge)人的观点,实际上这是该领域领导者的共识。

出于对AI各方面的担忧,4月下旬,美国国土安(an)全(quan)部就针(zhen)对研发AI的“安(an)全(quan)与保障”成立顾问(wen)委员会(hui),集结(jie)了22名(ming)科技业高层成员,包括OpenAI、微软、Alphabet、亚马逊网络服(fu)务(AWS)等企(qi)业高层,以及英伟(wei)达CEO黄仁勋和AMD CEO苏姿丰。

美国国土安(an)全(quan)部部长马约卡斯(Alejandro Mayorkas)表示,该委员会(hui)将(jiang)协助确(que)保AI科技的安(an)全(quan)开展,以及设法应(ying)对这类科技对能源、公用业务、交(jiao)通(tong)、国防、信息技术(shu)、食(shi)品和农业,甚至(zhi)是金融服(fu)务等关键服(fu)务所构成的威胁。

不仅仅是美国政府部门,包括美国商业软件联盟(BSA)这样的行业组织,也在推动对AI的监管。同样在4月,BSA也发布了文件呼吁在隐(yin)私立法中制定相关规则。

对于不断增强的监管呼声,高峰对《每日经济新闻》记者分析称,“任何技术(shu)的发展都是有风(feng)险的,而AI比之前的任何技术(shu)对于整个(ge)社会(hui)的影响都要大(da),这也是为什么各方对AI监管呼声较高的原因。另外(wai),一直以来(lai)大(da)家(jia)可能受到了一些科幻(huan)电影的影响,觉得将(jiang)来(lai)AI可能会(hui)超过人类的智慧,可能控制人类。”

“但是,现在的AI离人类的智慧还是有很大(da)差距,短期AI是没有办法超过人类的。但当AI不再仅仅是个(ge)工具,而是成为主导的时候,就可能需要人工阻止了,我觉得这可能是比较重要的一个(ge)评判标准(zhun)。”高峰对记者补充道(dao)。

每日经济新闻

发布于:北京市
版权号:18172771662813
 
    以上就是本篇文章的全部内容了,欢迎阅览 !
     资讯      企业新闻      行情      企业黄页      同类资讯      首页      网站地图      返回首页 移动站 , 查看更多   
sitemapsitemap1sitemap2sitemap3sitemap4sitemap5sitemap6sitemap7