业界动态
2024年澳门码资料最准的资料香港马开的少-全是“自己人”!OpenAI紧急成立“安全委员会”,距离“超级对齐”团队解散不到半月,90天后将迎首次安全“大考”,Carlin,问题,评估
2024-06-02 08:23:02
2024年澳门码资料最准的资料香港马开的少-全是“自己人”!OpenAI紧急成立“安全委员会”,距离“超级对齐”团队解散不到半月,90天后将迎首次安全“大考”,Carlin,问题,评估

美西时间(jian)周二(5月28日(ri)),OpenAI称董事会成(cheng)立了一个负责把控AI开发方(fang)向的“安全委员会”,负责监督与(yu)公司项目和运营相关的“关键”安全和安保决策,而这距离其内部(bu)负责评(ping)估长期AI安全问题的“超级(ji)对齐(qi)(Superalignment)”小组正式(shi)解散(san)不到半个月的时间(jian)。

据悉,该委员会的首要任务将是在未来90天内评(ping)估并进一步发展OpenAI的流(liu)程和保障(zhang)措施。90天结(jie)束时,该委员会将与(yu)全体(ti)董事会分享他们的建议。在全体(ti)董事会审查(cha)之后,OpenAI将以符合安全和保障(zhang)的方(fang)式(shi),公开分享有关采纳建议的更新(xin)。

《每日(ri)经济新(xin)闻》记者注意到,其实这并不是OpenAI首次组建专门致力于AI安全的团队――去年12月OpenAI就成(cheng)立过一个“安全顾问小组”,该小组向领导层提出建议,并且董事会被授予否决权(quan)。不过从本(ben)月17日(ri)“超级(ji)对齐(qi)”团队解散(san)到本(ben)周二成(cheng)立新(xin)的“安全委员会”,足(zu)以证明(ming)AI安全的问题在OpenAI内部(bu)仍未得到解决。

全新(xin)安全委员会,全是“自己人”

除了CEO Altman外,OpenAI新(xin)成(cheng)立的安全委员会的其他成(cheng)员还包括OpenAI董事会成(cheng)员Bret Taylor、Adam D’Angelo和Nicole Seligman,以及(ji)首席(xi)科学家Jakub Pachocki、OpenAI早期筹备团队的Aleksander Madry、安全系统(tong)负责人Lilian Weng、安保负责人Matt Knight和“人工智能对齐(qi)”(AI Alignment)负责人John Schulman。从成(cheng)员构成(cheng)可(ke)以看(kan)出,没有一个外部(bu)人员。

图片来源:OpenAI

为了避免新(xin)成(cheng)立的安全委员会因成(cheng)员构成(cheng)而被认为是“橡皮图章”,OpenAI承诺将聘请第三方(fang)“安全、安保和技术”专家来支持(chi)委员会的工作,包括网络安全专家Rob Joyce和美国前司法部(bu)官员John Carlin。但除此之外,OpenAI并未更详细地说明(ming)外部(bu)专家组的规模和组成(cheng),也没有透露专家组对委员会的具体(ti)影响和权(quan)力限制。

有专家指出,OpenAI成(cheng)立此类企业监督委员会,类似于谷歌的高级(ji)技术外部(bu)咨询委员会,其实在实际监督方(fang)面几乎没有什么作为。

美国IT研究与(yu)顾问咨询公司Gartner高级(ji)研究总监高峰在接受《每日(ri)经济新(xin)闻》记者采访时指出,OpenAI安全委员会成(cheng)员全部(bu)是“自己人”并没有什么问题,“因为OpenAI的安全委员会是服务于内部(bu),是对OpenAI产品的安全和发展方(fang)向进行评(ping)估。一般来说,企业不太倾向于引入外部(bu)人士(shi),因为里面会涉(she)及(ji)很多的商业机密信息。所以如果没有监管或者政府的强制要求,企业通常只会对自己的产品或股东负责。其实像谷歌和微(wei)软,他们也有相应的一些安全部(bu)门,主(zhu)要就是确保产品的安全,并且不对社会带来一些负面的影响。”

安全优先级(ji)下降引担忧(you),多名高管离职

近期,OpenAI在安全方(fang)面的问题成(cheng)为外界(jie)的关注点之一。几个月来,OpenAI流(liu)失了不少非常重视AI安全的员工,在这部(bu)分人中,有一些对OpenAI在AI安全方(fang)面的优先级(ji)下降表示担忧(you)。

OpenAI的联合创始人兼前首席(xi)科学家Ilya Sutskever也于今年5月离职,据报道(dao)部(bu)分是因为Altman急于推出AI驱动的产品而牺牲了安全性能。OpenAI前首席(xi)安全研究员Jan Leike也紧随其后宣布离开,他在X平台上发布的一系列帖(tie)子中表示,他认为OpenAI“未走在解决AI安全和安保问题的正确轨道(dao)上”。

在Ilya Sutskever和Jan Leike这两位关键领导人离职后,OpenAI专注于研究AI生存危险的“超级(ji)对齐(qi)”团队正式(shi)宣告解散(san)。

对于Jan Leike发表的言论,上周离职的AI政策研究员Gretchen Krueger也表示认同,她也呼吁OpenAI提高问责制和透明(ming)度,并“更加(jia)谨慎地使用自己的技术”。另(ling)外,曾在OpenAI担任团队治理工作的Daniel Kokotajlo也于4月辞(ci)职,原因是他对OpenAI能在AI开发中继续保持(chi)负责任的态度失去了信心。

其实,这并不是OpenAI首次成(cheng)立或组建专门的安全顾问团队。

去年12月18日(ri),OpenAI就称正在扩(kuo)展内部(bu)安全流(liu)程,以抵御有害人工智能的威(wei)胁(xie)。一个新(xin)的“安全顾问小组”将位于技术团队之上,向领导层提出建议,并且董事会也被授予了否决权(quan)。

在当时的博客文章中,OpenAI讨论了其最新(xin)的“准备框架”,即OpenAI跟踪、评(ping)估、预测(ce)和防范日(ri)益强大的模型带来灾(zai)难(nan)性风险的流(liu)程。对于灾(zai)难(nan)性风险的定(ding)义,OpenAI的解释是这样的:“任何可(ke)能导致数千亿美元经济损(sun)失或导致许(xu)多人严重伤(shang)害或死亡的风险――包括但不限于生存风险。”

AI监管呼声日(ri)益高涨

在人工智能大模型的快速发展之下,全球新(xin)一轮科技革命和产业变革正在酝(yun)酿,但也衍生了一些担忧(you),数据安全、终端安全以及(ji)个人的数字主(zhu)权(quan)面临更大的挑战。

以生成(cheng)式(shi)AI为例,普华永道(dao)在去年10月发布的一篇文章中称,在疏于监管的情况下,这项技术可(ke)能会生成(cheng)违(wei)法或不当的内容,可(ke)能涉(she)及(ji)侮辱(ru)、诽(fei)谤(bang)、色情、暴力等(deng)不合法或违(wei)规的元素;另(ling)一方(fang)面,生成(cheng)式(shi)AI可(ke)能会基于已(yi)有的受版权(quan)保护的内容进行学习,这可(ke)能导致知识产权(quan)侵权(quan)。

被誉为“AI教父”的Geoffrey Hinton近日(ri)在接受BBC Newsnight节目采访直言,AI很快将超越人类智能,并担心人类在AI发展方(fang)面的安全性不够重视。他还指出,这不仅仅是他个人的观点,实际上这是该领域领导者的共识。

出于对AI各方(fang)面的担忧(you),4月下旬,美国国土安全部(bu)就针对研发AI的“安全与(yu)保障(zhang)”成(cheng)立顾问委员会,集结(jie)了22名科技业高层成(cheng)员,包括OpenAI、微(wei)软、Alphabet、亚马逊(xun)网络服务(AWS)等(deng)企业高层,以及(ji)英伟达CEO黄仁勋和AMD CEO苏姿丰。

美国国土安全部(bu)部(bu)长马约卡斯(Alejandro Mayorkas)表示,该委员会将协助确保AI科技的安全开展,以及(ji)设法应对这类科技对能源、公用业务、交(jiao)通、国防、信息技术、食品和农(nong)业,甚至是金融服务等(deng)关键服务所构成(cheng)的威(wei)胁(xie)。

不仅仅是美国政府部(bu)门,包括美国商业软件联盟(meng)(BSA)这样的行业组织,也在推动对AI的监管。同样在4月,BSA也发布了文件呼吁在隐私立法中制定(ding)相关规则。

对于不断增强的监管呼声,高峰对《每日(ri)经济新(xin)闻》记者分析称,“任何技术的发展都(dou)是有风险的,而AI比之前的任何技术对于整个社会的影响都(dou)要大,这也是为什么各方(fang)对AI监管呼声较高的原因。另(ling)外,一直以来大家可(ke)能受到了一些科幻(huan)电(dian)影的影响,觉得将来AI可(ke)能会超过人类的智慧,可(ke)能控制人类。”

“但是,现在的AI离人类的智慧还是有很大差距,短期AI是没有办法超过人类的。但当AI不再仅仅是个工具,而是成(cheng)为主(zhu)导的时候,就可(ke)能需要人工阻(zu)止了,我(wo)觉得这可(ke)能是比较重要的一个评(ping)判(pan)标准。”高峰对记者补充道(dao)。

每日(ri)经济新(xin)闻

发布于:北京市
版权号:18172771662813
 
    以上就是本篇文章的全部内容了,欢迎阅览 !
     资讯      企业新闻      行情      企业黄页      同类资讯      首页      网站地图      返回首页 移动站 , 查看更多   
sitemapsitemap1sitemap2sitemap3sitemap4sitemap5sitemap6sitemap7