新突破！我国科学家研制出世界首款类脑互补视觉芯片“天眸芯”

中国青年报客户端北京5月30日电（中青报·中青网记者 杨洁）清华大学精密仪器系的施路平教授团队，提出一种基于视觉原语的互补双通路类脑视觉感知新范式，研制出世界首款类脑互补视觉芯片“天眸芯”。该研究成果的论文“面向开放世界感知、具有互补通路的视觉芯片”作为封面文章，登上5月30日的《Nature》杂志封面文章。

这是该团队继异构融合类脑计算“天机芯”后，第二次登上《Nature》杂志封面，标志着中国在类脑计算和类脑感知方向取得重要突破。

清华大学精密仪器系类脑计算研究团队聚焦类脑视觉感知芯片技术，提出了一种基于视觉原语的互补双通路类脑视觉感知新范式。该范式借鉴了人类视觉系统的基本原理，将开放世界的视觉信息拆解为基于视觉原语的信息表示，并通过有机组合这些原语，模仿人视觉系统的特征，形成两条优势互补、信息完备的视觉感知通路。

清华大学研制“天眸芯” 再次登上《Nature》杂志封面。清华大学供图

基于这一新范式，团队进一步研制出了世界首款类脑互补视觉芯片“天眸芯”。论文通讯作者为清华大学精密仪器系施路平教授和赵蓉教授，精密仪器系博士杨哲宇（现为北京灵汐科技有限公司研发经理）、精密仪器系博士生王韬毅、林逸晗为论文的共同第一作者。清华大学为论文第一单位，合作单位包括北京灵汐科技有限公司。

类脑互补视觉感知芯片“天眸芯”。清华大学供图

随着人工智能的飞速发展，无人驾驶和具身智能等无人系统正在现实社会中不断推广应用。视觉感知作为获取信息的核心途径，发挥着至关重要的作用。然而，在复杂多变且不可预测的环境中，实现高效、精确且鲁棒（即在异常和危险情况下系统生存的能力）的视觉感知依然是一个艰巨的挑战。

在开放世界中，智能系统不仅要处理庞大的数据量，还需要应对各种极端事件，如驾驶中的突发危险、隧道口的剧烈光线变化和夜间强闪光干扰等。传统视觉感知芯片由于受到“功耗墙”和“带宽墙”的限制，在应对这些场景时往往面临失真、失效或高延迟的问题，严重影响了系统的稳定性和安全性。

“天眸芯”在极低的带宽（降低90%）和功耗代价下，实现了每秒10000帧的高速、10bit的高精度、130dB的高动态范围的视觉信息采集。它不仅突破了传统视觉感知范式的性能瓶颈，而且能够高效应对各种极端场景，确保系统的稳定性和安全性。

基于“天眸芯”，团队还自主研发了高性能软件和算法，并在开放环境车载平台上进行了性能验证。在多种极端场景下，该系统实现了低延迟、高性能的实时感知推理，展现了其在智能无人系统领域的巨大应用潜力。

清华大学精密仪器系类脑计算研究团队。摄影/张兆基

清华大学精密仪器系类脑计算研究团队。摄影/张兆基

“天眸芯”的成功研制是智能感知芯片领域的一个重大突破。它不仅为智能革命的发展提供了一个强大的技术支持，还为自动驾驶、具身智能等重要应用开辟了新的道路。结合团队在类脑计算芯片“天机芯”、类脑软件工具链和类脑机器人等方面已应用落地的技术积累，“天眸芯”的加入将进一步完善类脑智能生态，有力地推动人工通用智能的发展。

这项研究得到了科技部科技创新2030“脑科学与类脑研究”重大项目和自然基金委的支持，也得到了清华大学/IDG-麦戈文脑科学研究院的支持。

来源：中国青年报客户端

新突破！我国科学家研制出世界首款类脑互补视觉芯片

在现代科技的舞台上，“视觉感知技术”正扮演着至关重要的角色。从自动驾驶汽车到灵巧的机器人，再到无处不在的智能监控系统，图像传感器的表现直接决定了这些技术的成功与否。

然而，当面对动态、多变且不可预测的环境时，传统图像传感器往往力不从心，面临诸多挑战。这些挑战主要包括动态范围有限、数据冗余、感知延迟等几个主要的方面。

动态范围 指在图像或视频中能够捕捉到的最暗到最亮的可见范围内的所有像素范围。动态范围越大，设备可以捕捉到更多的像素变化，从深黑到明亮的细节都可以更清晰地展示出来。然而传统传感器的动态范围非常有限，难以在强光和弱光环境下同时捕捉到清晰的图像。

数据冗余 则是指高分辨率和高速传感器会产生大量数据，增加了处理和传输的负担。感知延迟是指由于处理速度的限制，传感器在快速变化的环境中容易出现感知延迟，影响决策的及时性。

由于动态范围有限，导致相机在弱光环境下（第三幅）图像中无法捕捉到清晰的人像（图片来源：参考文献1）

在自动驾驶、机器人和人工智能等领域，这些问题尤为明显。例如，在自动驾驶中，传感器必须能够迅速而准确地识别路况和潜在危险，但传统传感器在处理复杂场景（如突然出现的行人或车辆）时常常表现不佳。

这些技术障碍限制了图像传感器在复杂环境下的应用，也催生了对更先进的视觉感知技术的迫切需求。科学家正在通过不断研究人类出色的视觉系统来试图寻找到解决方案。

人类视觉系统的启示

人类视觉系统（Human Visual System, HVS）在处理复杂视觉信息方面表现出色。即，初级视觉皮层作为视觉信息的初步处理区域，将视觉信息分解为原始的成分，如颜色、方向和运动，并将这些信息传递到背侧流和腹侧流，然后通过两条主要路径进行处理：

1.认知路径

腹侧流（Ventral stream）连接到颞叶（temporal lobe），主要负责高精度的认知和细节识别，如颜色和形状。这条路径使我们能够清晰地看到物体的细节和颜色，并对环境进行准确的认知。

2.动作路径

背侧流（Dorsal stream）连接到顶叶（parietal lobe），主要负责快速反应和运动检测，如方向和速度。通过这条路径，我们可以迅速识别运动的物体，并作出相应的反应，如避让障碍物或追逐目标。

背侧流（Dorsal stream）、腹侧流（Ventral stream）和初级视觉皮层（Primary visual cortex）（图片来源：VISUAL SYSTEM: CENTRAL PROCESSING）

这种双路径的处理方式使得人类能够在各种复杂环境中高效、准确地感知和反应。基于对人类视觉系统的模仿，清华大学的研究团队研发出了世界首款类脑互补视觉芯片——天眸芯片，突破了传统视觉感知芯片的缺点，提供了前所未有的高效、精准的视觉感知解决方案。

天眸芯片的诞生

天眸芯片的设计理念基于对人类视觉系统的深入研究，采用了混合像素阵列和并行异构读出架构。

混合像素阵列模仿了人类视觉系统中的锥状细胞和杆状细胞，分别用于颜色和运动检测。其中，上皮细胞（Epithelial cells）支持和保护感光细胞的细胞层。锥状细胞（Cone）主要负责捕捉颜色信息，使我们能够在明亮光线下看到丰富的颜色细节。而杆状细胞则对光线的强弱变化极为敏感，特别适用于低光环境，帮助我们在昏暗条件下看到物体的轮廓和运动。

锥状细胞、杆状细胞和上皮细胞（图片来源：Seeing color）

并行异构读出架构是天眸芯片的核心部分 。它的作用是将来自不同像素（如锥体和杆状像素）的电信号以高速度和高精度转换为数字数据。这种架构的优势在于能够同时处理高动态范围和高速度的感知需求，有效减少数据冗余，并在复杂光照条件下保持高性能。

天眸芯片的架构，包括混合像素阵列及其与多条路径的交互（图片来源：参考文献2）

通过这些新技术的应用，天眸芯片同时具备了高速感知能力、宽动态范围和带宽优化这三个特点，解决了传统传感器的缺点。

1.高速感知能力

天眸芯片能够实现每秒高达 10,000 帧的速度，确保在快速变化的环境中依然能够捕捉到清晰的图。这种高帧率感知能力对于自动驾驶和机器人等需要实时感知和反应的应用场景至关重要。

2.宽动态范围

动态范围的计算单位是 dB（分贝），传统传感器的动态范围通常在 60 至 80dB 之间，而人眼的动态范围约为 120dB。天眸芯片拥有高达 130dB 的动态范围，能够在强光和弱光环境下同时提供清晰的图像。这意味着即使在阳光直射和阴影并存的复杂光照环境下，天眸芯片也能提供细腻的画面细节。

天眸芯片在不同光功率密度下的信噪比，通过结合动作路径和认知路径的高增益和低增益模式，天眸芯片实现了 130dB 的宽动态范围。这表明该芯片能在极强和极弱光照条件下提供高质量的图像。（图片来源：参考文献2）

3.带宽优化

通过自适应技术，天眸芯片能够减少 90% 的带宽需求，有效降低了数据传输和处理的负担。这种带宽优化技术不仅提高了数据传输效率，还降低了能耗，使得天眸芯片更适合移动设备和物联网应用。

天眸芯片在快速运动和光闪干扰下的高性能表现。通过动作路径的高速响应，芯片能迅速处理不可预测的光闪事件，同时保持低带宽消耗。天眸芯片在功耗和带宽方面相对于传统和神经形态视觉传感器展现了优越的性能。（图片来源：参考文献2）

天眸芯片的应用案例

天眸芯片在自动驾驶系统中的应用是其强大性能的一个重要展示。它能够在复杂的道路环境中提供准确、快速和稳健的感知，即使在角落情况下也能做出迅速反应。这对于提高自动驾驶系统的安全性和可靠性具有重要意义。

例如，天眸芯片在自动驾驶测试中展示了其在应对突然出现的行人和车辆时的优越性能，显著降低了事故发生的概率。

除了自动驾驶，天眸芯片还可以广泛应用于无人机、安防监控等领域。 例如，在安防监控中，天眸芯片能够在光线变化剧烈的环境下提供高质量的视频图像，有助于及时发现潜在的安全威胁。在无人机应用中，天眸芯片的高动态范围和高速感知能力使得无人机能够在复杂地形和光照条件下进行高效地导航和监控。

天眸芯片在长途驾驶测试中的表现。测试中，车辆遇到日夜、隧道、高动态范围、异常物体和复杂场景等极端情况。天眸芯片通过认知路径和动作路径检测结果的无缝同步，确保了高精度感知。（图片来源：参考文献2）

多种实验的结果表明，天眸芯片不仅具有高动态范围和高分辨率，还能在高速运动和极端光照条件下保持优异的感知性，在极端环境下的表现远优于传统传感器。

天眸芯片在未来科技发展中拥有无限的可能。随着技术不断进步，它将在更多领域中扮演不可或缺的角色。试想在增强现实（AR）和虚拟现实（VR）中，天眸芯片带来的超高质量视觉体验，将如何彻底改变我们的感知和交互方式？这仅仅是开始。

未来，当天眸芯片与人工智能技术深度融合，会为智能城市建设、医疗影像分析、工业自动化等领域带来哪些颠覆性的变革？它将如何引领我们进入一个更加智能和互联的世界？悬念依旧，我们拭目以待。

参考文献

[1]Han, Yuqi & Yu, Xiaohang & Luan, Heng & Suo, Jinli. (2023). Event-Assisted Object Tracking on High-Speed Drones under Harsh Illumination Environment. 10.20944/preprints202312.1056.v1.

[2]Yang, Z., Wang, T., Lin, Y. et al. A vision chip with complementary pathways for open-world sensing. Nature 629, 1027–1033 (2024).

策划制作

出品丨科普中国

作者丨郑胜杰 计算与神经系统学博士生

审核丨中国科普博览

责编丨杨雅萍

审校丨徐来 林林

相关问答

性能碾压苹果，从芯片到算法100%国产，3D视觉黑马光鉴科技如何破局?

麒麟990就目前来说就是全球首款旗舰级的5GSoC芯片,三星虽然也宣布了SoC芯片,但可惜是中端芯片,至于高通也一样,同样也是中端芯片。不仅如此,高通研发支持5...

高精度定位芯片哪家质量好有经验的都说说高精度视觉定位机械...

[回答]他们的北斗芯片在第十二届中国卫星导航年会上获得了北斗卫星导航应用推进贡献奖—探索创新类奖项。长沙海格北斗,他们自主研发的海豚芯片及一系列产...

什么是“视觉追踪”激光打标机?，视觉打标机性价比怎么样??

[回答]把手机寄给我,我用你手机,你用我手机,这样他就只能找到我这来了首饰激光焊接机主要应用于金银饰品零件焊接。适用金银、铂金、不锈钢、钛等多种金...

国内外机器视觉现状如何?

机器视觉的主要功能有检测、定位及测量。机器视觉系统相对于人工或传统机械方式而言,具有速度快、精度高、准确性高等一系列优点。工业现代化的发展,机器视觉已...

什么是“视觉追踪”激光打标机?，视觉打标机买哪个牌子好??

[回答]坚持以市场为导向,以科技为先驱”的经营运行模式,推行“精雕细琢,追求完整”的品质方针,实施不断完善,拓展市场的经营策略,以不断开拓进取的姿态迎...

苹果笔记本视网膜屏的,同款13寸和15寸同分辨率下哪个更清晰?...

视网膜屏的意义就在于超越视觉极限的感受,即肉眼是看不出屏幕的颗粒感的,也就是13寸和15寸的效果是一样的,如果是视觉体验的话还是15寸的更好一点,...

复旦大学上海视觉艺术学院，数字媒体艺术，专业怎么样?

信息科学与工程学院(来自博志复旦考研招生目录)生物医学工程通信与信息系统光电系统与控制技术电磁场与微波技术微电子学与固体电子学电路与系统物理电...

什么是“视觉追踪”激光打标机?，视觉打标机好看吗??

[回答]锈钢、钛等多种金属及其合金,也可用于假牙补砂眼及微小精...适用金银、铂金、不锈钢、钛等多种金属及其合金,也可用于假牙补砂眼及微小精密零件,如...

怎样学习视觉定位?，视觉定位激光机使用率高吗??

[回答]以高科技、高质量为标准,为用户提供优质的、全面的售前、售中、售后技术支持和维护服务首饰激光焊接机主要应用于金银饰品零件焊接。适用金银、铂金...

EFD点胶设备的发展前景怎么样有谁可以回答一下吗？

[回答]点胶设备广东日成精mi仪器有限公司是主营产品有:精mi视觉压电喷胶系统、视觉压电滑阀点胶系统、视觉螺杆阀点胶机系统、全自动喷胶/点胶组装流水线...