机器在雨雾天“看不见”怎么办？面临在低对比度视觉环境下辨认方针的应战，南京大学物理学院梁世军副教授和缪峰教授领导的团队立异提出了“传感器内动态核算”概念。经过在依据新式材料结构的传感器内集成更多核算与信息处理功用，该技能可以在对比度改变的环境中始终保持对方针的精准辨认和高鲁棒追寻。该作业推进了智能机器视觉技能的开展，有望在多个范畴内完成其改造使用。

  在雨雪大雾气候出行时，路上的行人、非机动车等方针物往往难以分辩，构成交通安全危险危险。这是因为在这些特别气候条件下，来自方针物的光强与周围布景光强十分挨近，全体视界内图画的对比度偏低，难以有用辨认出方针。相似的状况也发生在夜间等光照条件不抱负的场景下，例如在暗淡的走廊与街巷中，来自人和物体的反射光强与周围布景反射光强都比较弱。在上述这些低对比度光学环境下，方针物的概括与边际等要害特征含糊，极大添加了在布景环境中对方针进行相对有用分辩和辨认的难度。

  机器视觉是人工智能正在加快速度进行开展的一个分支，简略说来便是用机器代替人眼来完成方针辨认等功用，在工业自动化、无人驾驶、才智城市等很多范畴存在广泛使用。现有机器视觉体系（前端图画传感器+后端处理器）在低对比度环境下，首要经过在后端软件处理过程中，人为增强图画的对比度来进步方针的区分度，或许经过添加前端传感器内一切像元的感光度和延伸曝光时刻，这些方法不只会拖慢速度和引进更多噪声，并且会添加后端算力担负，可谓治标不治本。对此，一个可行的计划是在光电传感器进行勘探的一起，就在传感器内部完成对低对比度环境内方针特征的扩大与增强，用特征增强后的图画替代原始低对比度图画，这样使用后端处理器或神经网络进行方针辨认时，将有望显着提高辨认准确率和鲁棒性。

  针对上述应战，南京大学物理学院梁世军副教授、缪峰教授团队经过在传感器内引进更多核算与信息处理功用，初次提出传感器内动态核算范式，推进智能机器视觉技能功用晋级与使用拓宽。团队经过原理性试验验证，完成了低对比度光学场景下弱方针特征的准确提取，展现了对弱方针的鲁棒、准确的辨认与追寻才能。该动态核算范式的硬件完成依据石墨烯/锗异质集成构筑的光电呼应度多端口可调控感光器材。经过在相邻器材之间引进信号交互与相关操控，依据图画局域光强梯度动态调控卷积核权重，构成可自适应图画内容的传感器内动态卷积核算单元。

  研讨团队在图画传感器内构建了新式“动态卷积”核算单元（如图a）。传统卷积核在滑过整幅图画的过程中，卷积核权值是固定的，不随图画信息进行适应性改变，难以对图画部分特征进行有清晰的目的性和特异性处理。与传统卷积操作不同的是，经过传感器硬件构建的局域相关“动态卷积核”，由处于中心的1个动态像元和周围8个静态像元组合而成。其间，静态像元担任感知当时方位图画的局域光强（灰度）改变，例如图画的局域梯度，一切静态像元的光电呼应度（权重）是固定且共同的。而动态像元的光电呼应度（权重）会跟着周围8个静态像元的光电流输出特性（反映了图画的部分特征）进行动态调控。假如检测到此处有较大的局域光强改变，动态像元将调整本身光电呼应度使得整个“动态卷积”单元可以自动的依据图画局域信息，进行有选择性和针对性的特征扩大与增强。

  该“动态卷积”单元的硬件完成是依据多端口可调光电呼应特性的石墨烯/锗异质结光电器材。经过外围电路的合作，可以在阵列中的器材之间引进动态信号交互与相关操控。研讨团队经过原理性试验，展现了对暗淡走廊中站立的人这个典型弱方针的特征提取作用（如图b）。该动态相关核算范式改造了传统图画传感阵列中每个像元互相独立作业的静态传感形式，为智能机器视觉体系在杂乱与极点光学场景中的弱方针精准勘探供给了通用且可行的技能途径。

  图 (a) 局域相关感内核算原理示意图以及器材结构示意图；(b) 一种典型场景下弱方针特征提取的试验成果。

  原标题：《洞穿暗淡乌黑，赋能机器视觉！南大研讨团队提出“感内动态核算”》

  本文为汹涌号作者或组织在汹涌新闻上传并发布，仅代表该作者或组织观念，不代表汹涌新闻的观念或态度，汹涌新闻仅供给信息发布渠道。请求汹涌号请用电脑拜访。