日期
08/29
2018
咨询
  • QQ扫一扫

  • Vision小助手
    (CMVU)

眼擎科技朱继志:高动态范围是机器视觉升级发展的刚需
收藏
2018-08-29 14:22:08来源: 中国视觉网

    8月23日-25日,机器视觉产业联盟(CMVU)会员企业眼擎科技携带成像引擎方案亮相首届中国国际智能产业博览会(简称:智博会)。
   除了在展位搭建了复杂光线下成像引擎的体验区,眼擎科技创始人兼CEO朱继志还应邀出席了智博会同期的机器视觉与机器人应用技术论坛,并发表了主题为《高动态成像引领机器视觉2.0》的精彩演讲。

   以下是演讲主要内容:
   朱继志认为,所有图像的品质其实都是和动态范围有关系。动态范围是所有工业领域视觉系统升级的刚需。当前传统工业相机受AI驱动对成像性能要求大幅提升,而传统的ISP架构相机满足不了大量的用户对图像和视觉的需求。动态范围决定了视觉源头的环境适应能力,实际上是制约机器视觉发展的最大瓶颈。
动态范围不够已成传统ISP瓶颈
   看到很多人在关注视觉识别的软件,其实摄像头前面的摄像机在整个视觉里面很重要。未来的智能摄像头视觉体系里面有几个部分,从镜头到CMOS或者CCD,然后是图像的处理,最后是图像的识别。而CMOS之后的成像环节最容易被人忽视。
   目前,所有ISP源于90年代的日本,计算能力差,8位固有架构,不能很好的处理RAW数据,RAW格式通常用软件来处理,Photoshop或者是达芬奇调色这样的软件来进行调整。数码相机里讲到ISP的时候,经常去提到3A:白平衡、曝光、对焦。其实成像的处理,是一个非常复杂的过程。包含了CMOS的controller,以及很多信号和算法的处理。
   所以,三十余年来行业里形成了这样的误区,认为软件、算法强大后可以轻易获得前端的所有数据信息,可以弥补其不足。很多时候,我们通常把成像的问题移到CPU/DSP/GPU后端来打补丁,通过软件的方式来解决。但是软件场景的适应能力特别差。因为前面图像出来后,再没办法对CMOS进行控制,进行很多适应性的处理。事实上,后端能做的是“修修补补”,干不了“无中生有”的事情。
   传统的ISP包括在工业相机里面的不是很完整的ISP,最大的一个弊端是大家容易忽视动态范围的处理,把事情都丢给了后端软件来进行计算。在我们看到的图像结果可能是各种各样的现象。但是从本质上来讲,在成像端来看,绝大部分原因都是属于动态范围不够,我们讲机器视觉,包括AI用来替代人工,比如去做一些QC(质量检测)的工作,人眼睛能看得很清楚,为什么经过一个camera,它就变得不清楚了,或者一眼看到颜色是精准的,灰度等级是够的,细节边缘不是被识别出来的,里面很重要的原因是动态范围不够。
   在传统相机里面都有一些基本的ISP的功能,经常会讲3A。动态范围实际上决定了视觉源头的环境的适应能力,实际上是制约机器视觉发展的一个最大的瓶颈。而且它导致的问题在各种场景当中无所不在。
   眼擎科技就专注于做能够提供很高动态范围的一个系统,能够解决动态范围瓶颈。我们专注做了四年时间,自主研发了一个新的技术平台我们把叫它成像引擎,不仅包含了传统的ISP功能,以及我们加了几块大的处理平台,包括降噪的,还有颜色准确性的,还有动态范围处理eyeMix的。然后其中的范围还有一套完整的颜色还原体系,包括黑白、灰度、彩色以及在各种各样不同的光源环境下的颜色还原。
   成像引擎的技术原理可以简单概括为:CMOS传感器的控制者、从信号到图像的生成者、图像品质的动态调节者、光线环境适应的决定者。

   比如,像左上角的是我们eyemore的camera和普通相机成像效果对比,当光照过去的时候,普通相机整个过曝,而eyemore是非常稳定的。

   夜间,eyemore拍摄的灯和下面的路是同样的清楚。
   在新兴行业里面,有非常大的痛点:像过隧道的时候,暗光情况下怎么能够精准的还原物体的颜色?还有逆光的时候,如何保证颜色的还原准确性。
   成像引擎其实在机器视觉应用场景非常多,传统的工业检测可能是很大的一个类别,像自动驾驶、安防、机器人、医疗,还有3D。
eyemore高动态成像引领机器视觉新时代
   我们认为未来三年,中国视觉硬件厂商将达到一万家以上,视觉设备厂商须要集成上游最有优势的成像技术供应商,传统工业相机受AI驱动对成像性能要求大幅提升,动态范围是所有工业领域视觉系统升级的刚需。
   未来,算法端和前面的硬件端都会达到统一,所有图像的品质其实都是和动态范围有关系。什么是动态范围?其实是在一个图像里面亮度的对比,有三个重要动态范围的概念:
   第一个是环境动态范围,比如像今天重庆晴朗的天气,外面蓝天白云,如果从一个屋子里面看外面蓝天,和室内的反差可能会非常之大,这是环境动态范围。
   第二个是Sensor动态范围。通常情况下,相机的指标通常会标的是CMOS或Sensor的动态范围。比如是70 dB、80 dB等。
   第三个是相机动态范围。如果环境的实物动态范围超过了相机,后面是取得的图像就会受到损失。这不仅有光线的原因还有物体本身的反差,比如白色的衣服和黑色的衣服,或者白色的金属和黑色的塑胶的素材,在同样的光线情况下反差可能会非常之大。
   eyemore成像引擎是通过全新架构解决动态范围陷阱的问题,它是算力、算法、数据三者结合,具有强大的RAW数据处理能力,不损失任何的Sensor信息(8bit~20bit),并对Sensor的信息做增强处理,输出的是标准的视频,后端识别不用做任何修改。单帧处理机制,无拖影,适应所有场景,并且支持所有规格的CMOS、 Sensor。
   而eyemore能做到标准的所见即所得,这在成像端是一个很复杂的问题,它的实现基本上靠非常全新的、能力很强的硬件,很多新算法,以及各种各样的场景的数据的测试,这是一个非常直观的结果,很难用一个理论上来去验证。图像的成像know how比原理更重要。
   在做的时候,它的前提要实现沟通的范围,需要实现高信噪比。信噪比可以对应颜色的还原度,决定了后面的可识别性。信噪比有实验值和理论值,全局和局部信噪比。降噪是硬件+sensor属性+算法三者结合,Sensor的模拟属性导致了对成像处理的要求很高。
未来市场会有很多很多新的机会,需要整个产业链结合,共同把各种各样新的技术融合在一起,才能够去对行业进行智能突破。

   比如我们有一个客户,他们做3D电商扫描仪。这家企业的产品要面向于淘宝的卖家和京东的小卖家。想要开发面向淘宝卖家的3D电商扫描仪。比如,一家卖鞋的商家,可以像买一个单反相机一样,把这款产品买回去以后把鞋扫描成3D的模型图,这样用户可以360°翻来覆去的观察鞋子。现在这款产品即将上市。我们的目标是再过一两代升级,就会做成消费品。计划量产后产品售价6000元,和一个iPhone或一款入门级单反价格差不多。
   这是一个典型的把传统的大型机器视觉设备转换成一个准消费品的案例。这种产品可能会普及百万千万计的小商家。
从成像的角度来看机器视觉的未来
   最后我想给大家分享,从做成像的角度来看机器视觉的未来。
   第一、AI给机器视觉带来了巨大的挑战和机会。因为AI教育了很多用户,智能化、AI+,包括在工业领域也是一样的,这样就带来了很多机会,但同时有很多挑战。很多原本不是这个行业的人开始跨界。他们将各种各样的软件算法用到这个行业里面,而且算法比较新奇特,比本行业的人更加激进。和互联网颠覆传统行业一样,这是一个很大的挑战。

   第二、成像端的提升非常关键。以前,可能产业每个环节是割裂的,很少有人站在系统的角度去看这个行业到底有什么问题,怎么能够系统解决。但是随着AI兴起,和自动驾驶一样,各个环节会融合在一起,共同解决这些问题,最主要是要提升性价比。因为在机器视觉里面,如果在工业领域如果性价比不高而成本太高,可能导致部署受到非常大的影响。

   第三、高端化、定制化、标准化三种路径都有很大市场。因为这种行业,比如机器人,低端和高端的都会齐头并进。机器视觉会用到消费类的产品,包括工业领域的交通汽车等,在整个系统上都受到很大的制约和影响的。
   我认为未来产业要更多的融合,而以前产业其实划分的特别清楚,做系统做系统的,做相机做相机的,大家很多时候买工业相机,回来以后发现是个黑盒子,很难找到一个供应商或者一个合作伙伴,按照大家的需求定制一个面向未来的摄像机和摄像头,或者工业相机系统。而我们愿意做这件事情。因为我认为未来市场会有很多很多新的机会,需要整个产业链结合,共同把各种各样新的技术融合在一起,才能够去对行业进行智能突破。



为你推荐