在低光照條件下實現視頻增强的智能ISP (ARD/259)

圖像傳感器市場是一個快速增長的市場，從2018年到2025年的年複合增長率約為12％，其中汽車行業增幅最大，約為36％， 2018年圖像傳感器的總收入約為137億美元。 在極端照明條件下（例如，昏暗的燈光，大動態範圍（WDR））的視頻/圖像質量是監視、無人機和自動駕駛輔助系統（ADAS）等應用中重要的技術指標，但並未得到很好的解決。 另外，現有ISP（圖像信號處理器）中有限的功能模組和模塊之間固定的先後鏈接限制了整個ISP系統的調優，而且在系統調優中，需要花費大量的人力和時間，很難適應快速發展的應用需求。 為了解決當前的技術難題，應科院的智能ISP技術將傳統ISP的關鍵功能模塊和應用驅動的增強模塊（例如在極端光照條件下的視頻圖像增強）結合到一個基於學習的神經網絡中，該智能ISP的模型參數可以通過端到端自動學習獲得，該智能ISP技術可以減少傳統ISP參數調優和新演算法開發所需的大量人力和時間，從而滿足快速發展的應用需求。 在這個項目中，我們將設計一個新的ConvNet，將傳統的ISP功能模塊集成到智能ISP中。在研究報告將通過峰值信噪比(PSNR)/結構相似性(SSIM)、噪聲抑制等指標對傳統ISP和智能ISP的性能進行定量比較。此外，我們還將建立一個光強可定量控制的圖像數據采集系統，收集訓練和評估數據用於微光圖像/視頻增強。最後，我們將在嵌入式GPU上對智能ISP算法進行移植和優化，構建產品原型，給出硬件可行性評估報告。