(1) Deep Neural Network (DNN) training and optimization algorithms for video applications (2) Optimization tool and performance simulation models in Matlab/C/CAFFE (3) Investigation report on DNN structures for video applications and hardware architectures (4) System functional specification of Intelligent Video Accelerator (IVA) FPGA board (5) Micro-architecture specifications of IVA functional modules (6) FPGA implementation and verification of IVA (7) IVA evaluation board and system for video applications (8) Performance evaluation report Customer service deliverables for customer (1): (9) Customized PCIe structured ASIC board with the implementation of intelligent video enhancement (10) Software plug-in for the customized PCIe board Customer service deliverables for customer (2): (11) Customized FPGA bit file of face recognition algorithm
目的： 深度學習技術是構成人工智能的主要支柱之一，也是當前最有希望推動智能應用的一項技術，特別是在視頻處理與計算機視覺領域。深度學習技術產業化的主要障礙是缺乏一種高效率的硬件平台來支持所需的海量計算。本項目致力於開發一個專用的硬件加速器，用以承擔深度神經網（DNNs）的高強度計算，以及應對各種視頻應用中的海量數據。項目的另一個目的是吸引相關的客戶進行下一步的大規模應用。 研發策略： 在本項的研發中，將提出一種拓撲映射的微架構來獲得高處理性能，並且通過可重構的處理流水線設計來支持各種不同的深度神經網（DNN）結構。此外，將開發訓練與優化工具，為各種不同的視頻應用訓練深度神經網（DNN）模型，並且優化其結構。這些技術都將在FPGA平台上實現和驗證。 影響與效益： 本項目的研發成果將強力推動深度學習在視頻相關領域的產業化。該加速器的大規模應用將極大提高視頻節目生產行業的工作效率，並且幫助提高視頻製作與消費領域設備製造商的核心競爭力。