从华为辞职创业他用AI技术将夜间图像亮度提升200倍

  在黑暗中视物是人类一直以来的追求，而智能时代的到来，又使整个夜视领域进入了新的阶段。

  今年3月，AI增强夜视公司深知未来完成数千万人民币A+轮融资，由景泰资本投资。

  所谓“AI增强夜视”，是指通过计算机视觉和深度学习卷积网络技术，能够在0.001Lux的极低照度下实现全彩细节成像。

  对于人眼来说，适宜阅读的照度约为500Lux，可以感觉到的极限照度为1Lux，相当于在全黑环境中点燃一根蜡烛。

  目前市场上大部分夜视相机可达到的极限为0.01Lux，也就是月夜下的亮度，而深知未来能达到的最低照度0.001Lux被称为“极弱光”，相当于夜晚星空下的光照强度。

  夜视技术最早诞生于20世纪初，本质是在低照度条件下， 将不可见的辐射加入转换，或将微弱的环境光进行增强，最终得以成像的一种技术。

  这种技术第一步是要一个感知光信号的前端设备，也就是图像传感器，负责感知和接收光信号，并将其转变成电信号。

  接下来，前端传感器输出的电压、电流信号就要通过ISP（图像信号处理器），对上一步的输出信号做“后期处理”——

  比如“降噪”，也就是在弱光条件下，当传感器难以接收到足够的光信息，因此导致发热，产生噪点图像时，去减少这些图案图案噪声，同时保留纹理细节。

  再比如“白平衡”，通过一系列分析来自传感器的亮度信息，计算和控制光圈、快门速度和感光度（ISO） ，使得图像亮度适宜。

  从本质来说，ISP是一系列图像处理算法的集合，通过种种增强、矫正、去噪、转换等环节，力求还原图像。

  在2018年之前，夜视领域的玩家们大都都选择卷硬件，试图对感光设备做工艺改进，增加其感光面积。

  其中的最强玩家索尼，就曾花费5年的时间，将低照度感光芯片的光照感知能力从0.14Lux提升到了0.07Lux。

  然而，由于材料学以及制造工艺难以突破，视觉成像效果渐渐难以从硬件层面得到大幅提升。

  与此同时，一些特定场景对于最低照度的需求慢慢的升高，比如夜间侦查瞄准等现代军事应用，或者安保监测等公共安全领域，都要求在0.001Lux及以下的星光级环境下仍能成像。

  这篇论文则论证了通过神经网络算法实现ISP全部功能的可能性——即通过深度学习海量场景和数据，输出算法模型，对图像进行精准处理。

  神经网络算法本就是模仿生物神经网络的结构所建立的，因此，这就像是将人类复杂的视觉神经网络融入ISP，使其成为了真正的“视觉处理中枢”

  这篇论文在当年被计算机视觉顶会CVPR收录，而文中提出的方法也为夜视领域带来了一条全新思路。

  2015年，32岁的张齐宁从任职8年的腾讯离职，开始做互联网方面的创业。

  他本科就读于武汉大学的计算机科学与技术专业，毕业后先后任职于华为和腾讯，在腾讯创新中心、腾讯研究院、IEG等多个部门历任研发、策划和管理职务。

  公司的另一位联合发起人兼CTO郭奇锋曾任腾讯SOSO搜索系统架构师、百度商务搜索部基础检索组技术负责人、小米MIUI 9多个人AI项目技术负责人。

  英特尔的那篇关键论文在他们企业成立一年后发布，也正是在那一年12月，深知未来获得了南岭投资的种子轮融资。

  在张齐宁看来，AI-ISP的定义，是完成从感光芯片到成像过程的一整个算法集合体，包含20-30个算法，如降噪、锐化、HDR等等。

  但如果通过神经网络实现ISP的所有功能，当时端侧的算力有限，不同功能要全部实现的难度也很高，从商业化角度来说性价比不大。

  此外，不一样的产品对于视觉成像的要求也不同，因此，一般芯片厂商会预留大量参数，以供产品厂商再做下游的调试。

  在去年的某次采访中，张齐宁提到，整个AI-ISP体系的20-30个算法，有的厂商关注了其中2-4个成像领域，而他们关注了7-8个领域，在涵盖范围和深度上是行业中最大的。

  基于英特尔论文的基本思路，深知未来利用神经网络深度学习噪声和信号的分布特性，在2019年推出了自研的夜视神经网络EODNet（end of dark），意为“黑暗终结者”。

  这套系统能够从极弱光信号中分离噪声和真实信号，在降噪的同时将真实信号增强至正常光环境强度，还能够在复杂光线、抖动和帧率等情况下保持稳定的成像质量。

  从最直观的数字来讲，能够将硬件的最低照度从0.1lux提升至0.003lux，最高能将夜间图像的亮度提升200倍。

  2023年，全球夜视设备市场规模约为89.5亿美元，而国内的夜视设备市场规模同比增长6.3%。

  这并不是一个规模巨大的市场，但其应用场景，却已在G端、B端和C端都形成了分支。

  比如，公安领域有多个方面数据显示，七成以上的犯罪都在晚上7点到次日凌晨5点的时间段内发生，但此前，市面上主流的热成像夜视仪和红外补光夜视仪，成像多为黑白或弱彩，存在目标细节特征不明显等缺点。

  因此，在这种极低照度下的夜间，可提供彩色清晰的图像，尤其是像衣着颜色、车身颜色、车牌等，往往就能成为破案的关键线索。

  不仅在刑侦领域，还有环境恶劣的边防、山岭和沙漠油田区的违规监控、国家自然保护区的野生动物监测、禁渔期的河流监测，都是低照度全彩夜视成像的应用范围。

  除此之外，面临夜间行驶场景的自动驾驶领域，在拍照功能上无限内卷的手机生产厂商，都在近些年或多或少地引入了基于AI-ISP的低照度全彩夜视成像，改善图像质量。

  过去一年，深知未来的全彩夜视产品已在多个全天候安防场景中实现落地应用，并与中海油等大规模的公司建立了深度合作关系。

  对于深知未来，他们目前最大的商业化场景是工业级无人机的全彩夜视相机挂载，也是最早商业化的领域。

  这类产品主要是针对B端场景，主要围绕着农业植保、电力巡检和警用安防三大领域。

  在汽车领域，张齐宁在去年接受媒体采访时透露，公司已与国内一线主机厂商联合开展相关研发，推进夜视模组上车应用。

  而对于C端客户，深知未来也在2023年推出了类似单筒望远镜形态的P8 Pro，和一款单反式的夜视设备P6。

  截至目前，算上最近的这一次，深知未来已获得5轮融资，团队规模则为50人左右。

  除了用于产品出海，组建北美小型本地化团队之外，张齐宁也在去年年底时表示，将接着来进行AI-ISP的研发。

  在五六年前，业界考虑到端侧算力、训练推理成本等问题，大多建立的是部分传统ISP+部分神经网络流程的管线。

  去年8月，张齐宁在接受各个媒体“机器之能”采访时这样说。他希望建立一个all in one的神经网络，不再依赖于任何传统ISP管线。