在低光照条件下实现视频增强的智能ISP (ARD/259)

图像传感器市场是一个快速增长的市场，从2018年到2025年的年复合增长率约為12％，其中汽车行业增幅最大，约為36％， 2018年图像传感器的总收入约為137亿美元。 在极端照明条件下（例如，昏暗的灯光，大动态范围（WDR））的视频/图像质量是监视、无人机和自动驾驶辅助系统（ADAS）等应用中重要的技术指标，但并未得到很好的解决。 另外，现有ISP（图像信号处理器）中有限的功能模组和模块之间固定的先后链接限制了整个ISP系统的调优，而且在系统调优中，需要花费大量的人力和时间，很难适应快速发展的应用需求。 為了解决当前的技术难题，应科院的智能ISP技术将传统ISP的关键功能模块和应用驱动的增强模块（例如在极端光照条件下的视频图像增强）结合到一个基於学习的神经网络中，该智能ISP的模型参数可以通过端到端自动学习获得，该智能ISP技术可以减少传统ISP参数调优和新演算法开发所需的大量人力和时间，从而满足快速发展的应用需求。 在这个项目中，我们将设计一个新的ConvNet，将传统的ISP功能模块集成到智能ISP中。在研究报告将通过峰值信噪比(PSNR)/结构相似性(SSIM)、噪声抑制等指标对传统ISP和智能ISP的性能进行定量比较。此外，我们还将建立一个光强可定量控制的图像数据采集系统，收集训练和评估数据用於微光图像/视频增强。最后，我们将在嵌入式GPU上对智能ISP算法进行移植和优化，构建產品原型，给出硬件可行性评估报告。