自然用户界面的感应平台构建主要针对于用户眼部和手部信息提取的开发。
根据拍摄到的眼部图像序列，我们可以获知用户注视方向、虹膜信息、眨眼频率等与眼睛相关的信息。通过将所述提取的眼睛相关信息应用到HUD平台，当我们检测到用户处于一个不恰当的驾驶状态时，困倦或注意力不集中时，我们可以给用户发出相应的警告。通过将所述提取的眼睛相关信息应用到HMD平台，我们可以确定用户身份登录或进行网上支付。通过分析用户凝视的方向，我们也可以判断用户的意向和注意力集中程度，进而可以应用在游戏开发或教育用途。
根据感测到的手部和手指的图像序列，我们可以确定用户的手势、姿势和指尖所指向的方向。通过将所述提取的手部相关信息应用到HUD平台，驾驶者能够通过简单的手势，如翻转左/右，对HUD的界面进行控制。通过将手部相关信息应用到HMD平台，用户可轻易地在控制界面进行输入，并与显示的虚拟对像进行交流。
通过整合硬件处理平台及影像处理系统，眼部和手部的影像摄取能够和外置光源同步及有效地处理，硬件平台把摄取的眼部和手部影像作出实时分析。系统整合使相关信息能更方便和有效地显示在HUD或HMD的系统上。
