清华大学依托精密仪器系的类(lei)脑计算研究中(zhong)心施路(lu)平教授(shou)团队提出了一(yi)种基于视(shi)觉原语的互补双通(tong)路(lu)类(lei)脑视(shi)觉感知新范式(shi)， 并据此研制出了世界首款类(lei)脑互补视(shi)觉芯片“天眸芯”，实现了高速、高精度、高动(dong)态范围的视(shi)觉信息采集，突破了传统视(shi)觉感知芯在稳定性和安全性等方(fang)面的性能瓶颈。5月30日，这项成果(guo)以“面向开放世界感知、具有互补通(tong)路(lu)的视(shi)觉芯片”为题，作为封面文章登上顶级学术期刊《自(zi)然》。
智能系统中(zhong)的视(shi)觉感知作为获取信息的核心途径，发(fa)挥着至关重要的作用。但是(shi)在复杂多(duo)变的环(huan)境(jing)中(zhong)，实现高效、精确的视(shi)觉感知仍是(shi)一(yi)个艰巨(ju)的挑战。传统视(shi)觉感知芯片受“功耗墙”和“带宽墙”的限制，在应对突发(fa)意(yi)外(wai)场景时往往面临失真、失效或高延迟等问题，严重影响了系统的稳定性和安全性。
“天眸芯”研究团队合(he)影
为了克服这些挑战，清华大学精密仪器系类(lei)脑计算研究团队提出了一(yi)种基于视(shi)觉原语的互补双通(tong)路(lu)类(lei)脑视(shi)觉感知新范式(shi)。该范式(shi)借鉴了人类(lei)视(shi)觉系统的基本原理，将开放世界的视(shi)觉信息拆(chai)解(jie)为基于视(shi)觉原语的信息表示，并通(tong)过有机组合(he)这些原语，模(mo)仿人视(shi)觉系统的特征，形成两条(tiao)优势(shi)互补、信息完备的视(shi)觉感知通(tong)路(lu)。基于这一(yi)新范式(shi)，团队进一(yi)步研制出了世界首款类(lei)脑互补视(shi)觉芯片“天眸芯”，在极低的带宽（降(jiang)低90%）和功耗代价下，实现了每秒(miao)10000帧的高速、10bit的高精度、130dB的高动(dong)态范围的视(shi)觉信息采集。它不仅突破了传统视(shi)觉感知范式(shi)的性能瓶颈，而且能够高效应对各种极端场景，确保系统的稳定性和安全性。基于“天眸芯”，团队还自(zi)主研发(fa)了高性能软件和算法(fa)，并在开放环(huan)境(jing)车载平台上进行了性能验证(zheng)。在多(duo)种极端场景下，该系统实现了低延迟、高性能的实时感知推理，展现了其在智能无人系统领域的巨(ju)大应用潜力。
这是(shi)该团队继异构融合(he)类(lei)脑计算“天机芯”后，第二次登上《自(zi)然》的封面，标志着我国在类(lei)脑计算和类(lei)脑感知两个重要方(fang)向上均取得了基础性突破。
摄影/张兆基
文/北(bei)京青年报记(ji)者 雷嘉
编辑/谭卫平