近日，清(qing)华(hua)大学精密仪器系类脑计算研究团(tuan)队论文“面向开放世界感知、具有互补(bu)通路的视觉芯片”（A Vision Chip with Complementary Pathways for Open-world Sensing）作为封面文章，登上5月(yue)30日的Nature（《自(zi)然》）杂志。这是该团(tuan)队继(ji)异(yi)构融合类脑计算芯片“天机芯”后，第二次登上知名科学杂志《自(zi)然》封面，标志着我国在类脑计算和类脑感知两个重要方(fang)向上均取得了基础性突破。
随着人工(gong)智能的飞速(su)发展，无人驾驶(shi)和具身智能等无人系统正在现实社会中不(bu)断推广应用。在这些智能系统中，视觉感知作为获取信息的核心途径，发挥着至关重要的作用。然而，在复杂多变且不(bu)可(ke)预测的环境中，实现高效(xiao)、精确且鲁棒（指在异(yi)常和危险情况下系统生存的能力）的视觉感知依然是一个艰巨的挑战。
为了克服这些挑战，清(qing)华(hua)大学精密仪器系类脑计算研究团(tuan)队聚焦类脑视觉感知芯片技术(shu)，在世界范围(wei)内首次提(ti)出了一种基于视觉原语的互补(bu)双通路类脑视觉感知新范式，并基于这一新范式，进一步研制(zhi)出了世界首款类脑互补(bu)视觉芯片“天眸芯”，实现了在多种极端场景下低延迟、高性能的实时感知推理(li)，展现了其在智能无人系统领域的巨大应用潜力。
“天眸芯”如(ru)何(he)实现这一技术(shu)突破？“类脑计算”这一研究范式能为科技突破带来什(shi)么？新京报记(ji)者对(dui)话(hua)论文通讯作者清(qing)华(hua)大学精密仪器系教授施路平、赵蓉，以(yi)及共同第一作者精密仪器系博士杨哲宇(yu)、王(wang)韬毅、林逸(yi)晗。
创新性提(ti)出“互补(bu)双通路类脑视觉感知范式”
“天眸芯”视觉感知芯片基于何(he)种原理(li)研发？在技术(shu)上实现了何(he)种突破？
两位教授介绍，传统视觉感知芯片由(you)于受到芯片信息传输能力和功耗等限制(zhi)，在性能设计上只能有所取舍(she)。比如(ru)分辨率越高，信息量越大，相(xiang)应来说反(fan)应就会比较慢。相(xiang)反(fan)，当要求芯片反(fan)应快、敏感度(du)高时，就很难(nan)做到高度(du)精细的分辨率。
而我们的大脑在处理(li)信息的时候，则采用的是“双通路机制(zhi)”。大脑根据不(bu)同神经(jing)元组成信息通路来进行信息处理(li)，譬如(ru)其中一路主要负(fu)责处理(li)颜色、细节等高精度(du)的信息，但该通路处理(li)速(su)度(du)相(xiang)对(dui)较慢；另一通路主要负(fu)责处理(li)突发事情，能够(gou)做出快速(su)反(fan)应，但精度(du)不(bu)高。双通路配合互补(bu)，能够(gou)在极端场景下完成信息处理(li)并做出应对(dui)。
“天眸芯”就是借鉴了人类视觉系统的这一基本原理(li)，提(ti)出了互补(bu)双通路类脑视觉感知范式。“这个范式要实现也很不(bu)容易。”赵蓉解释道，在感知端，也就是芯片上，团(tuan)队需要研究如(ru)何(he)把(ba)开放世界的视觉信息（如(ru)光的速(su)度(du)、强度(du)、颜色、方(fang)向等等）拆解出来，进行基于视觉原语的信息表示。并通过模仿(fang)人视觉系统的特征，将(jiang)这些原语再(zai)次进行有机组合，形成两条优势互补(bu)、信息完备的视觉感知通路。
互补(bu)双通路类脑视觉感知芯片“天眸芯”。清(qing)华(hua)大学供图
“天眸芯”的问世对(dui)于视觉感知芯片领域的研究具有重要意义。在开放世界中，智能系统不(bu)仅要处理(li)庞大的数据量，还需要应对(dui)各种极端事件，如(ru)驾驶(shi)中的突发危险、隧道口的剧烈光线(xian)变化和夜间强闪光干扰等。传统视觉感知芯片由(you)于受到“功耗墙”和“带宽墙”的限制(zhi)，在应对(dui)这些场景时往往面临(lin)失真、失效(xiao)或高延迟的问题，严重影响了系统的稳定性和安全性。
而在“天眸芯”上，人们可(ke)以(yi)实现在一个芯片上同时达到高分辨率、高速(su)、高动态范围(wei)。“天眸芯”在极低的带宽（降低90%）和功耗的代(dai)价(jia)下，实现了每秒10000帧的高速(su)、10bit的高精度(du)、130dB的高动态范围(wei)的视觉信息采集。它不(bu)仅突破了传统视觉感知范式的性能瓶颈，而且能够(gou)高效(xiao)应对(dui)各种极端场景，确保系统的稳定性和安全性。“这在传统芯片上是很难(nan)实现的，但是我们通过类脑芯片的通路组合解决了这个问题。”赵蓉表示。
自(zi)动驾驶(shi)感知演示平台。清(qing)华(hua)大学供图
基于“天眸芯”，团(tuan)队还自(zi)主研发了高性能软件和算法，并在开放环境车载平台上进行了性能验证。在多种极端场景下，该系统实现了低延迟、高性能的实时感知推理(li)，展现了其在智能无人系统领域的巨大应用潜力。为自(zi)动驾驶(shi)、具身智能等重要应用提(ti)供强劲的技术(shu)支持。
“天眸芯”的成功研制(zhi)无疑是智能感知芯片领域的一个重大突破。结合团(tuan)队在类脑计算芯片“天机芯”、类脑软件工(gong)具链(lian)和类脑机器人等方(fang)面已应用落(luo)地的技术(shu)积(ji)累，“天眸芯”的加(jia)入将(jiang)进一步完善类脑智能生态，有力地推动人工(gong)通用智能的发展。
把(ba)脑科学思(si)维和计算科学思(si)维有机结合
赵蓉介绍，“我们是国内最早进行全方(fang)位类脑计算研究的团(tuan)队，目标就是发展人工(gong)通用智能，已经(jing)形成了从基础理(li)论到芯片、软件、系统研发的全链(lian)条能力。‘天眸芯’从底层原理(li)到最后实现，所有技术(shu)都是自(zi)主研发的，是完全创新的。”
2019年(nian)8月(yue)1日，施路平教授团(tuan)队在Nature上发表了封面文章，发布了全球首款异(yi)构融合类脑计算芯片“天机芯”。Nature总编斯基珀(po)博士称其为“人工(gong)智能领域的重要里程碑”。
“最重要的是，我们建立了‘类脑计算思(si)维’。底层思(si)维是最重要的，可(ke)以(yi)应用于更多的地方(fang)，帮助我们去做不(bu)同的研究。”施路平说道。
在研究中，团(tuan)队把(ba)脑科学思(si)维和计算科学思(si)维进行了有机结合。“首先是要研究明白，大脑是如(ru)何(he)在自(zi)然环境中进行视觉识别的。类脑计算的研究也扩展了脑科学研究的疆域，能够(gou)运(yun)用脑科学领域的研究成果助力其他学科的发展。”施路平同时也强调，“这是一项‘从0到1’的研究，过程非常困难(nan)。”
赵蓉回忆，由(you)于没有过往研究可(ke)以(yi)参(can)考，研究过程非常艰难(nan)。“这时候，我们知道我们的目标和大方(fang)向是正确的，相(xiang)信一定可(ke)以(yi)做出来。”
新京报记(ji)者 徐(xu)彦琳
编辑 缪晨霞(xia) 校对(dui) 翟永军