光驱动AI相机在没有电力的情况下处理图像的速度提高99.4%

光驱动AI相机在没有电力的情况下处理图像的速度提高99.4%

这一突破利用超表面镜头超越了传统的人工智能,实现了超快速、低能耗的图像识别,重新定义了机器智能。

普林斯顿大学和华盛顿大学的研究人员取得了突破性进展,他们开发了一种盐粒大小的相机,宽度不到半毫米,能够捕捉到令人难以置信的清晰,全彩图像,细节前所未有。

现在,该团队似乎又一次突破了界限,开发了一种为计算机视觉设计的新型紧凑型相机,这是一种帮助计算机识别图片和视频中的物体的人工智能。

该原型机引入了一种新的计算机视觉方法,它依靠光而不是电,比传统计算机消耗的能量少得多,并且以光速识别物体。

“对我来说,问题一直是我们如何使用算法来感知和理解世界,”普林斯顿大学计算机科学助理教授、该研究的作者之一菲利克斯·海德博士(Felix Heide)说。

“这是一种全新的思考光学的方式,与传统光学非常不同,”Arka Majumdar博士补充道,他是华盛顿大学电子和计算机工程与物理学教授,也是该研究的第二作者。“这是端到端设计,光学元件与计算模块一起设计。

“在这里,我们用工程光学代替了相机镜头,这使我们能够在光学中进行大量计算,”Majumdar博士继续说道。

深入研究

海德博士回忆说,这个想法是在他开始探索超表面时形成的,超表面是一种具有亚波长特征的人造片状材料。

由于其独特的几何形状,超表面不会像传统透镜那样使穿过玻璃或塑料的光线弯曲。相反,它们在微小结构周围衍射光线,就像光线通过窄缝时传播一样。

为了制造它们,海德博士和他的学生与华盛顿纳米制造实验室的专家合作,他们专门研究超小型光控设备,设计相机并制造芯片。

但该团队没有使用传统的玻璃或塑料透镜,而是集成了50个堆叠的、扁平的、轻质的元透镜,它们使用微观纳米结构来操纵光线。

jrhz.info

这些元透镜兼作光学神经网络,这是一种受大脑启发的人工智能系统,为该方法提供了几个关键优势。尽管速度非常快,识别和分类图像的速度比传统神经网络快200多倍,但它也非常节能,依靠入射光而不是电力来运行。

在探索这项技术的过程中,海德博士和他的团队惊奇地发现,从柱阵列中发出的光根本不需要与原始图像相似。相反,这些柱子充当了专门的过滤器,将光学数据分类,如边缘、明暗区域,甚至是人类感知不到的特征,从而为计算机提供预处理的结构化信息。

“我们意识到我们不需要记录一个完美的图像,”海德博士说。“我们只能记录某些特征,然后我们可以汇总这些特征来执行分类等任务。”

进一步的见解

不久之后,该团队开发了一个系统,该系统能够使用不到传统方法所需计算能力的1%来识别图像中的物体,而超表面透镜可以处理令人印象深刻的99.4%的工作量。

该系统引入了一种新的范例,可以立即执行数亿次计算(FLOPS)。传统的神经网络使用数学过滤器(核)来提取数据,即使对几个像素也需要大量的计算,而这个神经网络自然地在光线通过时进行复杂的过滤,使几个大型过滤器能够一次分析整个图像。

每个超表面透镜内的微小柱子在没有电或主动控制的情况下重新组织和提取光线。海德博士和他指导下的博士生Ethan Tseng确信,该设计的成功依赖于使用更少的大型光学内核和无缝集成硬件和软件。

“动物视觉是光学硬件和神经后端处理的结合,”Tseng说,他引用了螳螂虾、蜻蜓和墨鱼等例子,它们可以探测到光的偏振,这是传统光学无法做到的。

“有些动物比我们拥有更奇特的视觉,我们怀疑它们的眼睛硬件与大脑一起工作来执行各种任务,”他继续说。

海德博士在新闻发布会上继续说道:“这可能会超出图像处理的范围,而这只是我们触及冰山一角的地方。”

Majumdar博士在一份声明中解释说:“目前,这种光学计算系统是一个研究原型,它适用于一个特定的应用,并补充说他们看到了它在多种技术上的革命性潜力。”“当然,这还有待观察,但在这里,我们展示了第一步。与所有其他现有的光学神经网络实现相比,这是向前迈出的一大步。”

这项研究发表在《科学进展》杂志上。

如果朋友们喜欢,敬请关注“知新了了”!

特别声明:[光驱动AI相机在没有电力的情况下处理图像的速度提高99.4%] 该文观点仅代表作者本人,今日霍州系信息发布平台,霍州网仅提供信息存储空间服务。

猜你喜欢

邓萃雯,侯佩岑,管乐登上时尚杂志封面——这是姐姐我的状态(邓萃雯的)

从照片中可以看到,三位女星的服装各不相同,展示出她们各自的独特气质与风格。这件事看似简单,却从某种角度揭示了她们独有的自信态度和生活方式。这三位女性的出现,不仅仅展示了她们的外貌和气质,更重要的是,她们通过…

邓萃雯,侯佩岑,管乐登上时尚杂志封面——这是姐姐我的状态(邓萃雯的)

五天两捷报,海南商业航天发射场实现双工位连续发射

据介绍,卫星互联网低轨07组卫星生产线采用了面向批产的模块化设计,并且大量应用了智能装配机器人等装备,以及数字化制造系统,支持多模块并行总装、集成和测试,还可以实现批量化并行测试,整星停放、翻转、转运一体化…

五天两捷报,海南商业航天发射场实现双工位连续发射

工业高精度防爆电子秤(工业产品防爆认证机构)

其外壳通常选用高强度、耐腐蚀的防爆材料制成,如不锈钢或特殊合金,能够有效抵御外部的冲击和化学腐蚀。外壳的密封性能极佳,采用多重密封工艺,确保在易燃易爆环境中,外界的爆炸性气体、粉尘无法进入秤体内部,从而避免了…

工业高精度防爆电子秤(工业产品防爆认证机构)

陈都灵现身杭州粉色系造型刷屏!“水蜜桃版嘟嘟” 梦回楚雨荨青春感(陈都灵个人)

月 5 日,陈都灵现身杭州线下活动,直接凭粉色系甜美造型杀疯全场!粉裙 + 浅色妆容,清新校园风拉满,被网友狂赞 “水蜜桃版嘟嘟”,青春感更是让大家梦回《一起来看流星雨》里的楚雨荨,# 陈都灵 楚雨荨风# …

陈都灵现身杭州粉色系造型刷屏!“水蜜桃版嘟嘟” 梦回楚雨荨青春感(陈都灵个人)

022Cr19Ni10N化学成分022Cr19Ni10N性能特点、022Cr19Ni10N应用领域等(022cr22ni5mo3n化学成分)

022Cr19Ni10N是一种奥氏体不锈钢,属于中国GB标准中的牌号,对应国际标准中的AISI 304LN。这种不锈钢是在304L基础上添加氮元素改良而成,具有优异的耐腐蚀性能、良好的焊接性和机械性能,广泛…

022Cr19Ni10N化学成分022Cr19Ni10N性能特点、022Cr19Ni10N应用领域等(022cr22ni5mo3n化学成分)