近日，清华(hua)大学(xue)精密仪器系类脑计算研究团队(dui)论文(wen)“面向开放世界(jie)感知、具有(you)互补通路(lu)的视觉芯片”（A Vision Chip with Complementary Pathways for Open-world Sensing）作为(wei)封面文(wen)章(zhang)，登上5月30日的Nature（《自然》）杂志。这是该(gai)团队(dui)继异构融合(he)类脑计算芯片“天机芯”后，第(di)二次登上知名科学(xue)杂志《自然》封面，标志着我国在(zai)类脑计算和类脑感知两个重(zhong)要方向上均取得了基础性突(tu)破。
随着人工智(zhi)能的飞速发展，无(wu)人驾驶和具身智(zhi)能等(deng)无(wu)人系统正在(zai)现实社会(hui)中不断推广应用。在(zai)这些智(zhi)能系统中，视觉感知作为(wei)获取信息的核心途径，发挥着至关重(zhong)要的作用。然而，在(zai)复杂多变且不可预测的环境中，实现高效、精确且鲁棒（指在(zai)异常和危险(xian)情况下系统生存的能力）的视觉感知依然是一(yi)个艰巨(ju)的挑(tiao)战。
为(wei)了克服这些挑(tiao)战，清华(hua)大学(xue)精密仪器系类脑计算研究团队(dui)聚焦类脑视觉感知芯片技术，在(zai)世界(jie)范围内(nei)首(shou)次提出了一(yi)种基于视觉原语的互补双通路(lu)类脑视觉感知新范式，并基于这一(yi)新范式，进一(yi)步研制出了世界(jie)首(shou)款类脑互补视觉芯片“天眸芯”，实现了在(zai)多种极(ji)端场景下低(di)延迟、高性能的实时感知推理(li)，展现了其在(zai)智(zhi)能无(wu)人系统领域的巨(ju)大应用潜力。
“天眸芯”如何实现这一(yi)技术突(tu)破？“类脑计算”这一(yi)研究范式能为(wei)科技突(tu)破带(dai)来什么？新京报记者对话(hua)论文(wen)通讯作者清华(hua)大学(xue)精密仪器系教授(shou)施路(lu)平、赵蓉，以及共同第(di)一(yi)作者精密仪器系博士杨哲宇、王韬(tao)毅、林逸晗。
创新性提出“互补双通路(lu)类脑视觉感知范式”
“天眸芯”视觉感知芯片基于何种原理(li)研发？在(zai)技术上实现了何种突(tu)破？
两位教授(shou)介绍，传统视觉感知芯片由于受到芯片信息传输(shu)能力和功耗等(deng)限制，在(zai)性能设计上只能有(you)所取舍。比如分辨率越高，信息量越大，相应来说反应就会(hui)比较慢。相反，当要求芯片反应快、敏感度高时，就很难(nan)做到高度精细的分辨率。
而我们的大脑在(zai)处理(li)信息的时候，则(ze)采用的是“双通路(lu)机制”。大脑根(gen)据不同神经元组成信息通路(lu)来进行信息处理(li)，譬如其中一(yi)路(lu)主要负责处理(li)颜色、细节等(deng)高精度的信息，但该(gai)通路(lu)处理(li)速度相对较慢；另一(yi)通路(lu)主要负责处理(li)突(tu)发事情，能够做出快速反应，但精度不高。双通路(lu)配合(he)互补，能够在(zai)极(ji)端场景下完成信息处理(li)并做出应对。
“天眸芯”就是借(jie)鉴了人类视觉系统的这一(yi)基本原理(li)，提出了互补双通路(lu)类脑视觉感知范式。“这个范式要实现也(ye)很不容易。”赵蓉解释道，在(zai)感知端，也(ye)就是芯片上，团队(dui)需要研究如何把开放世界(jie)的视觉信息（如光的速度、强度、颜色、方向等(deng)等(deng)）拆解出来，进行基于视觉原语的信息表示。并通过模仿人视觉系统的特征，将这些原语再(zai)次进行有(you)机组合(he)，形成两条优势互补、信息完备的视觉感知通路(lu)。
互补双通路(lu)类脑视觉感知芯片“天眸芯”。清华(hua)大学(xue)供图
“天眸芯”的问世对于视觉感知芯片领域的研究具有(you)重(zhong)要意义。在(zai)开放世界(jie)中，智(zhi)能系统不仅要处理(li)庞大的数据量，还需要应对各(ge)种极(ji)端事件，如驾驶中的突(tu)发危险(xian)、隧道口的剧烈光线变化和夜间强闪(shan)光干(gan)扰等(deng)。传统视觉感知芯片由于受到“功耗墙”和“带(dai)宽(kuan)墙”的限制，在(zai)应对这些场景时往往面临失真、失效或高延迟的问题，严(yan)重(zhong)影(ying)响了系统的稳定性和安全性。
而在(zai)“天眸芯”上，人们可以实现在(zai)一(yi)个芯片上同时达到高分辨率、高速、高动态范围。“天眸芯”在(zai)极(ji)低(di)的带(dai)宽(kuan)（降(jiang)低(di)90%）和功耗的代价下，实现了每秒10000帧的高速、10bit的高精度、130dB的高动态范围的视觉信息采集。它不仅突(tu)破了传统视觉感知范式的性能瓶颈，而且能够高效应对各(ge)种极(ji)端场景，确保系统的稳定性和安全性。“这在(zai)传统芯片上是很难(nan)实现的，但是我们通过类脑芯片的通路(lu)组合(he)解决了这个问题。”赵蓉表示。
自动驾驶感知演(yan)示平台。清华(hua)大学(xue)供图
基于“天眸芯”，团队(dui)还自主研发了高性能软件和算法，并在(zai)开放环境车载平台上进行了性能验证。在(zai)多种极(ji)端场景下，该(gai)系统实现了低(di)延迟、高性能的实时感知推理(li)，展现了其在(zai)智(zhi)能无(wu)人系统领域的巨(ju)大应用潜力。为(wei)自动驾驶、具身智(zhi)能等(deng)重(zhong)要应用提供强劲的技术支持。
“天眸芯”的成功研制无(wu)疑是智(zhi)能感知芯片领域的一(yi)个重(zhong)大突(tu)破。结合(he)团队(dui)在(zai)类脑计算芯片“天机芯”、类脑软件工具链和类脑机器人等(deng)方面已应用落地的技术积累(lei)，“天眸芯”的加入将进一(yi)步完善类脑智(zhi)能生态，有(you)力地推动人工通用智(zhi)能的发展。
把脑科学(xue)思维和计算科学(xue)思维有(you)机结合(he)
赵蓉介绍，“我们是国内(nei)最早进行全方位类脑计算研究的团队(dui)，目标就是发展人工通用智(zhi)能，已经形成了从(cong)基础理(li)论到芯片、软件、系统研发的全链条能力。‘天眸芯’从(cong)底层原理(li)到最后实现，所有(you)技术都是自主研发的，是完全创新的。”
2019年8月1日，施路(lu)平教授(shou)团队(dui)在(zai)Nature上发表了封面文(wen)章(zhang)，发布(bu)了全球(qiu)首(shou)款异构融合(he)类脑计算芯片“天机芯”。Nature总编斯(si)基珀博士称其为(wei)“人工智(zhi)能领域的重(zhong)要里程碑”。
“最重(zhong)要的是，我们建立(li)了‘类脑计算思维’。底层思维是最重(zhong)要的，可以应用于更多的地方，帮助我们去做不同的研究。”施路(lu)平说道。
在(zai)研究中，团队(dui)把脑科学(xue)思维和计算科学(xue)思维进行了有(you)机结合(he)。“首(shou)先是要研究明白(bai)，大脑是如何在(zai)自然环境中进行视觉识(shi)别的。类脑计算的研究也(ye)扩展了脑科学(xue)研究的疆域，能够运用脑科学(xue)领域的研究成果助力其他学(xue)科的发展。”施路(lu)平同时也(ye)强调，“这是一(yi)项‘从(cong)0到1’的研究，过程非常困(kun)难(nan)。”
赵蓉回忆，由于没(mei)有(you)过往研究可以参考，研究过程非常艰难(nan)。“这时候，我们知道我们的目标和大方向是正确的，相信一(yi)定可以做出来。”
新京报记者 徐彦琳
编辑 缪晨霞 校对 翟永军