549,795美元：重塑计算机视觉以模仿人类视觉

皮特大学助理教授Rajkumar Kubendran获得美国国家科学基金会颁发的549,795美元的生物启发计算机视觉研究职业奖。

　　

随着计算机视觉(CV)系统变得越来越耗电和内存密集，由于尺寸、重量和功率限制，它们变得不适合高速和资源短缺的应用，例如高超音速导弹跟踪和自主导航。

在匹兹堡大学(University of Pittsburgh)，工程师们正利用神经形态工程学(neuromorphic engineering)，以生物灵感——人类视觉——重塑视觉处理系统，开创下一代计算机视觉系统。

皮特斯旺森工程学院助理教授Rajkumar Kubendran因其在节能和数据高效神经形态系统方面的研究，获得了美国国家科学基金会(NSF)颁发的教师早期职业发展(Career)奖。神经形态工程是一个很有前途的前沿领域，它将通过在生物学启发的框架中通过基于事件的计算减少操作数量，从而引入下一代CV系统。

“Kubendran博士是神经形态、事件驱动传感器、算法和处理器等新领域的先驱之一，”“我们系对他在这一重要领域的研究和日益取得的成功感到非常兴奋。”皮特斯旺森工程学院电气与计算机工程系教授、R&H Mickle教授兼系主任Alan George博士说。

虽然目前的计算机视觉(CV)管道允许计算机使用摄像头和算法来实现视觉感知，但它消耗了过多的功率和数据。Kubendran将利用他获得的549,795美元的CAREER奖金，用生物启发的传感器、处理器和算法取代传统的相机和处理架构。通过从生物系统中获得灵感，Kubendran将能够通过使用更少的功率来优化CV系统，同时消除大量的数据传输。

Kubendran解释说:“人类通过眼睛的视网膜接收视觉刺激，这些数据通过视神经发送到我们大脑的视觉皮层，以实现视觉感知。生物视觉管道经过了大量优化，可以传输最少的数据。如果我们有视网膜启发的摄像头传感器和视觉皮层启发的处理器，那么我们就可以训练处理器学习和理解视觉场景，然后变得能够进行多用途的时空模式识别和感知。”

放眼未来

Kubendran的项目有可能引领当今社会的变革和代际转变。医疗保健、军事国防、物联网(IoT)、边缘计算和工业自动化等关键领域将受益于基于事件的CV。

Kubendran表示:“在个人电子产品上使用先进的计算机视觉技术，可以通过自动驾驶汽车、永远在线的智能监控以及虚拟和增强现实应用等技术，彻底改变我们的生活方式。”“仿生视觉传感器主要由欧洲和亚洲的公司开发，没有来自美国的工业或学术贡献。该项目将解决这一国家挑战，并为美国在部署下一代计算机视觉系统方面提供领先优势。”

Kubendran的研究将在三次同时推进中进行。在Thrust One项目中，研究人员将专注于创造一种新型视网膜视觉传感器，这种传感器在功能、效率和延迟方面都优于现有的相机。推力2将专注于硬件上可扩展皮质形态网络的建模、设计和实现。将对这些网络进行测试，以检查它们是否在使用混合反馈控制的多个时间尺度上表现出非线性神经调节动力学。推力三侧重于受神经科学启发的网络架构和算法的实现，如强化学习和基于事件的时间模式识别。

除了对CV行业的科学贡献外，Kubendran还计划利用他的CAREER奖的资金在匹兹堡当地社区建立一个教育联盟，该联盟将传播从该项目中获得的知识，并培训皮特大学的本科生以及当地高中的学生，使他们成为未来的神经形态和计算机视觉工程师。

---

---