业界动态
2024年正版资料免费大全超级大乐透开奖结果-全是“自己人”!OpenAI紧急成立“安全委员会”,距离“超级对齐”团队解散不到半月,90天后将迎首次安全“大考”,Carlin,问题,评估
2024-06-03 03:03:29
2024年正版资料免费大全超级大乐透开奖结果-全是“自己人”!OpenAI紧急成立“安全委员会”,距离“超级对齐”团队解散不到半月,90天后将迎首次安全“大考”,Carlin,问题,评估

美西时间周二(5月28日),OpenAI称董事会(hui)成立了(le)一个负责把控AI开发方(fang)向(xiang)的“安全委员会(hui)”,负责监督与公司项目和(he)运营相关的“关键”安全和(he)安保决策,而这距离(li)其内部(bu)负责评估长期AI安全问题的“超(chao)级对齐(qi)(Superalignment)”小组正式解(jie)散不到半(ban)个月的时间。

据悉(xi),该委员会(hui)的首(shou)要任务将是在未来90天内评估并进一步发展OpenAI的流(liu)程和(he)保障措施。90天结(jie)束时,该委员会(hui)将与全体(ti)董事会(hui)分享他们的建(jian)议(yi)。在全体(ti)董事会(hui)审查之后,OpenAI将以符合(he)安全和(he)保障的方(fang)式,公开分享有关采纳建(jian)议(yi)的更新。

《每日经济新闻》记者注意到,其实这并不是OpenAI首(shou)次组建(jian)专门致力于AI安全的团队――去年(nian)12月OpenAI就成立过一个“安全顾问小组”,该小组向(xiang)领导层提出建(jian)议(yi),并且董事会(hui)被(bei)授予否决权。不过从本月17日“超(chao)级对齐(qi)”团队解(jie)散到本周二成立新的“安全委员会(hui)”,足以证明AI安全的问题在OpenAI内部(bu)仍未得到解(jie)决。

全新安全委员会(hui),全是“自己(ji)人”

除了(le)CEO Altman外,OpenAI新成立的安全委员会(hui)的其他成员还包(bao)括OpenAI董事会(hui)成员Bret Taylor、Adam D’Angelo和(he)Nicole Seligman,以及(ji)首(shou)席科(ke)学家Jakub Pachocki、OpenAI早(zao)期筹(chou)备团队的Aleksander Madry、安全系统(tong)负责人Lilian Weng、安保负责人Matt Knight和(he)“人工智(zhi)能对齐(qi)”(AI Alignment)负责人John Schulman。从成员构(gou)成可以看出,没有一个外部(bu)人员。

图片来源:OpenAI

为了(le)避免新成立的安全委员会(hui)因成员构(gou)成而被(bei)认为是“橡皮图章”,OpenAI承(cheng)诺将聘请第三(san)方(fang)“安全、安保和(he)技术”专家来支(zhi)持委员会(hui)的工作(zuo),包(bao)括网络安全专家Rob Joyce和(he)美国前司法部(bu)官员John Carlin。但除此(ci)之外,OpenAI并未更详细地说明外部(bu)专家组的规模和(he)组成,也没有透露专家组对委员会(hui)的具体(ti)影(ying)响(xiang)和(he)权力限制。

有专家指出,OpenAI成立此(ci)类企业监督委员会(hui),类似于谷歌的高级技术外部(bu)咨询委员会(hui),其实在实际监督方(fang)面几乎没有什么(me)作(zuo)为。

美国IT研究与顾问咨询公司Gartner高级研究总监高峰在接受《每日经济新闻》记者采访时指出,OpenAI安全委员会(hui)成员全部(bu)是“自己(ji)人”并没有什么(me)问题,“因为OpenAI的安全委员会(hui)是服务于内部(bu),是对OpenAI产品的安全和(he)发展方(fang)向(xiang)进行评估。一般(ban)来说,企业不太倾向(xiang)于引入外部(bu)人士,因为里面会(hui)涉及(ji)很多的商业机密信息。所以如(ru)果没有监管或者政府的强制要求,企业通常只会(hui)对自己(ji)的产品或股东负责。其实像(xiang)谷歌和(he)微软,他们也有相应(ying)的一些安全部(bu)门,主要就是确保产品的安全,并且不对社会(hui)带来一些负面的影(ying)响(xiang)。”

安全优先级下降引担忧,多名高管离(li)职

近期,OpenAI在安全方(fang)面的问题成为外界的关注点之一。几个月来,OpenAI流(liu)失了(le)不少(shao)非常重(zhong)视AI安全的员工,在这部(bu)分人中,有一些对OpenAI在AI安全方(fang)面的优先级下降表(biao)示担忧。

OpenAI的联合(he)创始人兼前首(shou)席科(ke)学家Ilya Sutskever也于今年(nian)5月离(li)职,据报道(dao)部(bu)分是因为Altman急于推出AI驱动的产品而牺牲了(le)安全性(xing)能。OpenAI前首(shou)席安全研究员Jan Leike也紧随其后宣布离(li)开,他在X平台上发布的一系列(lie)帖子中表(biao)示,他认为OpenAI“未走在解(jie)决AI安全和(he)安保问题的正确轨道(dao)上”。

在Ilya Sutskever和(he)Jan Leike这两位关键领导人离(li)职后,OpenAI专注于研究AI生存危险的“超(chao)级对齐(qi)”团队正式宣告解(jie)散。

对于Jan Leike发表(biao)的言论,上周离(li)职的AI政策研究员Gretchen Krueger也表(biao)示认同,她也呼吁(yu)OpenAI提高问责制和(he)透明度,并“更加谨慎地使用自己(ji)的技术”。另外,曾在OpenAI担任团队治理工作(zuo)的Daniel Kokotajlo也于4月辞职,原因是他对OpenAI能在AI开发中继续(xu)保持负责任的态度失去了(le)信心。

其实,这并不是OpenAI首(shou)次成立或组建(jian)专门的安全顾问团队。

去年(nian)12月18日,OpenAI就称正在扩展内部(bu)安全流(liu)程,以抵御有害人工智(zhi)能的威胁。一个新的“安全顾问小组”将位于技术团队之上,向(xiang)领导层提出建(jian)议(yi),并且董事会(hui)也被(bei)授予了(le)否决权。

在当时的博客文章中,OpenAI讨论了(le)其最新的“准备框架”,即OpenAI跟踪、评估、预测和(he)防范日益强大的模型带来灾难性(xing)风险的流(liu)程。对于灾难性(xing)风险的定义(yi),OpenAI的解(jie)释是这样的:“任何可能导致数千亿美元(yuan)经济损(sun)失或导致许多人严重(zhong)伤害或死亡(wang)的风险――包(bao)括但不限于生存风险。”

AI监管呼声日益高涨(zhang)

在人工智(zhi)能大模型的快速(su)发展之下,全球新一轮科(ke)技革命和(he)产业变革正在酝酿,但也衍生了(le)一些担忧,数据安全、终端安全以及(ji)个人的数字主权面临更大的挑战。

以生成式AI为例,普华永道(dao)在去年(nian)10月发布的一篇文章中称,在疏于监管的情(qing)况下,这项技术可能会(hui)生成违法或不当的内容(rong),可能涉及(ji)侮辱、诽谤(bang)、色情(qing)、暴力等(deng)不合(he)法或违规的元(yuan)素;另一方(fang)面,生成式AI可能会(hui)基于已有的受版权保护的内容(rong)进行学习,这可能导致知(zhi)识产权侵权。

被(bei)誉为“AI教父”的Geoffrey Hinton近日在接受BBC Newsnight节目采访直言,AI很快将超(chao)越人类智(zhi)能,并担心人类在AI发展方(fang)面的安全性(xing)不够重(zhong)视。他还指出,这不仅仅是他个人的观点,实际上这是该领域(yu)领导者的共识。

出于对AI各方(fang)面的担忧,4月下旬,美国国土安全部(bu)就针对研发AI的“安全与保障”成立顾问委员会(hui),集结(jie)了(le)22名科(ke)技业高层成员,包(bao)括OpenAI、微软、Alphabet、亚马逊(xun)网络服务(AWS)等(deng)企业高层,以及(ji)英伟达CEO黄仁勋和(he)AMD CEO苏姿丰(feng)。

美国国土安全部(bu)部(bu)长马约卡斯(Alejandro Mayorkas)表(biao)示,该委员会(hui)将协助(zhu)确保AI科(ke)技的安全开展,以及(ji)设法应(ying)对这类科(ke)技对能源、公用业务、交通、国防、信息技术、食品和(he)农业,甚(shen)至是金融(rong)服务等(deng)关键服务所构(gou)成的威胁。

不仅仅是美国政府部(bu)门,包(bao)括美国商业软件联盟(BSA)这样的行业组织(zhi),也在推动对AI的监管。同样在4月,BSA也发布了(le)文件呼吁(yu)在隐(yin)私立法中制定相关规则。

对于不断增强的监管呼声,高峰对《每日经济新闻》记者分析称,“任何技术的发展都是有风险的,而AI比(bi)之前的任何技术对于整个社会(hui)的影(ying)响(xiang)都要大,这也是为什么(me)各方(fang)对AI监管呼声较(jiao)高的原因。另外,一直以来大家可能受到了(le)一些科(ke)幻电影(ying)的影(ying)响(xiang),觉得将来AI可能会(hui)超(chao)过人类的智(zhi)慧,可能控制人类。”

“但是,现在的AI离(li)人类的智(zhi)慧还是有很大差距,短期AI是没有办法超(chao)过人类的。但当AI不再(zai)仅仅是个工具,而是成为主导的时候,就可能需要人工阻止了(le),我觉得这可能是比(bi)较(jiao)重(zhong)要的一个评判标准。”高峰对记者补充道(dao)。

每日经济新闻

发布于:北京(jing)市(shi)
版权号:18172771662813
 
    以上就是本篇文章的全部内容了,欢迎阅览 !
     资讯      企业新闻      行情      企业黄页      同类资讯      首页      网站地图      返回首页 移动站 , 查看更多   
sitemapsitemap1sitemap2sitemap3sitemap4sitemap5sitemap6sitemap7