自然用戶界面的感應平台構建主要針對於用戶眼部和手部信息提取的開發。
根據拍攝到的眼部圖像序列，我們可以獲知用戶注視方向、虹膜信息、眨眼頻率等與眼睛相關的信息。通過將所述提取的眼睛相關信息應用到HUD平台，當我們檢測到用戶處於一個不恰當的駕駛狀態時，困倦或注意力不集中時，我們可以給用戶發出相應的警告。通過將所述提取的眼睛相關信息應用到HMD平台，我們可以確定用戶身份登錄或進行網上支付。通過分析用戶凝視的方向，我們也可以判斷用戶的意向和注意力集中程度，進而可以應用在游戲開發或教育用途。
根據感測到的手部和手指的圖像序列，我們可以確定用戶的手勢、姿勢和指尖所指向的方向。通過將所述提取的手部相關信息應用到HUD平台，駕駛者能夠通過簡單的手勢，如翻轉左/右，對HUD的界面進行控制。通過將手部相關信息應用到HMD平台，用戶可輕易地在控制界面進行輸入，並與顯示的虛擬對像進行交流。
通過整合硬件處理平台及影像處理系統，眼部和手部的影像攝取能夠和外置光源同步及有效地處理，硬件平台把攝取的眼部和手部影像作出實時分析。系統整合使相關信息能更方便和有效地顯示在HUD或HMD的系統上。
