Intelligent Sensing Technology System

自然用户界面的感应平台构建主要针对于用户眼部和手部信息提取的开发。

根据拍摄到的眼部图像序列，我们可以获知用户注视方向、虹膜信息、眨眼频率等与眼睛相关的信息。通过将所述提取的眼睛相关信息应用到HUD平台，当我们检测到用户处于一个不恰当的驾驶状态时，困倦或注意力不集中时，我们可以给用户发出相应的警告。通过将所述提取的眼睛相关信息应用到HMD平台，我们可以确定用户身份登录或进行网上支付。通过分析用户凝视的方向，我们也可以判断用户的意向和注意力集中程度，进而可以应用在游戏开发或教育用途。

根据感测到的手部和手指的图像序列，我们可以确定用户的手势、姿势和指尖所指向的方向。通过将所述提取的手部相关信息应用到HUD平台，驾驶者能够通过简单的手势，如翻转左/右，对HUD的界面进行控制。通过将手部相关信息应用到HMD平台，用户可轻易地在控制界面进行输入，并与显示的虚拟对像进行交流。

 

 

通过整合硬件处理平台及影像处理系统，眼部和手部的影像摄取能够和外置光源同步及有效地处理，硬件平台把摄取的眼部和手部影像作出实时分析。系统整合使相关信息能更方便和有效地显示在HUD或HMD的系统上。

 

应科院研发的扩增实境头戴式显示设备利用具有感测功能的光学系统实现显示和感测双重功能。这种智能投影解决方案适用于多种不同视场角的可透视和不可透视虚拟显示设备，包括小视场角的棱镜显示设备，大视场角的掌上型抬头显示设备等。由于此头戴式显示设备具有感测功能，手指虚拟触控、瞳孔检测追踪和虹膜识别便能实现。同时，该显示设备内置安卓系统，可以方便地连接到物联网，实现包括室内导航在内的多种扩增实境功能。

 

主要特征:
高解析度、高亮度的显示解决方案，可应用于室内外多种现实增强设备，内嵌感测模块，可实现虚拟触控、脸部识别和眼部追踪等功能。

解析度 720P 微型显示设备 LCoS 视场角 14° ~20° 镜片类型 可透视棱镜 内嵌感测功能的单眼显示器 小视场角头戴式显示设备

解析度 1080P 微型显示设备 Dual LCoS 视场角 60° ~80° 镜片类型 可透视镜片 现实增强型双眼显示设备 大视场角头戴式显示设备

 

在车载抬头显示与大屏幕投影显示应用中，尤其是户外明亮环境下，高亮度、小尺寸的投影光机才能符合要求，所以激光投影显示的开发必须要有新的突破，包括增加光学系统效率和减小体积重量以及成本。

此外，针对激光投影显示，包括传统成像投影技术与光束扫描技术，如果要满足商业化和市场认可度，便要达到以下若干点严格的要求：

• 高分辨率
• 高亮度
• 低散斑
• 人眼安全
• 大景深以及宽投射角度

应科院专注于开发激光全息二维显示的光机设计和计算全息算法，以其独特技术特性满足上述所列各种要求。

 

计算全息算法:

主要特征:

• 基于相位型LCoS空间光调整器
• 各种激光波长（红，绿，蓝，紫外）
• 简单光机结构
• 高亮度
• 高信噪比
• 广投射角，投射比<1.0
• 尺寸：~80mmx60mmx25mm

应用:

 

 

传统的硅基液晶芯片通过调节光幅度应用于投影显示。通过选择合适的液晶型号及调整输入光的偏振方向，硅基液晶芯片也可用作纯相位调制，实现一个动态衍射元件的功能。

应科院的硅基液晶芯片可作为一个光幅度调制器，具有高对比度，快速响应的特性，适用于头戴显示及抬头显示等应用。

应科院的硅基液晶芯片也可作为一个相位调制器，用以控制波的相位以作不同的应用，如高效全息头戴显示及抬头显示。

主要特征:
• 硅基液晶幅度调制器：

o 面板尺寸: 0.37”
o 分辨率: 720p
o 对比度: 1000:1
o 帧频率: 180Hz

• 硅基液晶相位调制器:

o 纯相位调制
o ≥2π 相位＠633nm
o 超小像素 4.5um
o 高分辨率 1080p
o 高衍射效率

应用: 头戴显示、抬头显示及平面投影显示

工业机器人技术早已被世界各地的工厂采用超过五十年以上。近年，随着劳动人口的减少，工资的快速增长，以及消费电子类产品周期的缩短，巿场对优化智能化的工业机器人的需求与日俱增。采用智能化工业机器人能够高效率地兼容于多个产品的生产中，使生产线更加灵活。三维机器人视觉技术为这一需求提供了解决方案。三维机器人视觉技术能够提供仿人类的三维感知功能，包括三维图像获取及其三维物体识别能力。

应科院正致力开发智能机器眼技术，使机器人具有高速高精度的三维感知功能。由此我们将开发出基于结构光的三维扫描技术。此技术可以广泛的应用到随机堆叠抓取、装配、导航、人体扫描和三维打印等。同时应科院也致力于智能机器人大脑技术的开发，即三维物体识别算法，能够引导机器人进行正确的抓取动作。

应科院研发出一种新的缺陷分析方法，以深度学习和机器学习来做缺陷分类。该深度学习模型是专为工业应用而定制和优化的，它拥有精确的多尺度机制，从而可以为高精度检测提供高精准的特征提取功能。此外，该模型还有自主学习能力，并可以自适应地调整和调优模型以提升其表现。该深度网络同样为高速工业应用进行优化。例如，网络平坦化技术减少了加速测试过程的网络复杂度，满足了产线上高单位时间产出（UPH）的需求。

基于此技术，我们可以开发出令人惊叹的工业应用。对高精度检测来说，现有的检测系统会遇到由生产线环境噪音所引起的误检测问题。该技术可以提取容易被忽略的复杂多模特征，从而避免了误检测并使得性能得到了提升。

 

我们提出的深度学习技术也可用作数据分析组件，对不同种类的缺陷做分类和数据统计。在我们的系统中，这些数据是实时处理的，而不是像现在的人工检测那样有时间的延迟。此外，经组织的数据会被应用于支持系统中，以改进制造过程中的生产周期。

在制造领域，无论对于终端产品外观还是模组功能来说，表面质量都是一项很重要的因素。以IPhone 代工厂为例，产品生产过程中超过30%的人力资源是用于产品的外观检测。这项开支每年高达40.8亿人民币。然而，目前中国每年的人工费用增长率高于10%，廉价劳动力的优势已经一去不返。如何减少人工开支已经成为制造业的最紧急议题。采用智能图像采集和先进图像处理技术的自动视觉检测系统，由于能有效取代工人，已成为一项高需求的产品。

应科院正在开发适用于各种表面属性的系统级智能在线表面缺陷视觉检测技术平台。该项目团队专注于如下具有专利保护的平台技术：（1）多层透明表面缺陷检测技术；（2）弯曲透明表面缺陷检测技术；以及（3）复合表面缺陷检测技术。

以上技术能被广泛应用在消费电子的外观缺陷检测。而全世界的电子产品，有超过60%在中国生产制造。

 

透明2D/3D玻璃外观缺陷检测:

像盖板玻璃、触控面板以及LCD显示器这类的透明表面，很容易会有缺陷。这些透明表面的外观缺陷自动检测是非常困难的，尤其是当某些透明表面是多层玻璃叠在一起的时候，情况更差。此外，当被检测物体是2.5D或者3D形状时，自动检测也亦十分困难。

应科院开发的视觉检测系统采用单个或多个图像采集设备，从透明表面上方或下方对被测物体进行多次图像采集。这些特殊设计的图像采集系统包括高分辨率16K 线扫相机镜头，以及独特的高光效多角度光源系统。这些设计保证了所有的缺陷都能有很高的对比度以供后续图像处理。这种图像采集系统可以检测划痕划伤、压伤、崩边、蚀刻不良、漏光和来料不良等各类常见的缺陷。

应科院目前已经完成2D玻璃缺陷自动检测系统。而2.5D和3D曲面玻璃的缺陷检测系统则正在开发中。

 

规格:

 

透明曲面瑕疵检测: 

微小的智能视觉设备如移动电话的摄像头，监控摄像机，自动化安全设备，街道和自然景观监控设备等等可使我们日常生活更便捷。它们可以是。因此，从事大规模生产的现代化企业对廉价塑料透镜制造技术有着巨大的需求。应科院成功研发了针对移动设备和其他设备上小摄像头的自动化检测系统。该系统可被应用于生产过程中，用以自动识别有缺陷的样品，以备进一步加工处理，亦可应用于缺陷数据统计和分类。缺陷样品可能有划痕、气泡、斑点、微粒、注塑成型偏差、涂层缺陷等等。

全套自动化移动相机镜头检测系统提供如下功能：

• 排除人为因素的影响如自身状况、主观判断以及洁净区域被污染等等。
• 直接采集和收集缺陷统计数据。
• 序列化瑕疵数量警告。

 

 

规格:

 

 

 

 

 

 

 

镜头样品图像

应科院的三维机器视觉系统（三维锡膏检测3DSPI，三维自动光学检测3DAOI）是采用数字投影技术开发的一种快速高精度三维视觉系统。该系统可以在SMT生产过程中高效地检测缺陷，提升质量，降低误判率。该系统的主要创新特点包括：(1)100%无阴影的多投影系统；(2)多频调制相位；(3)快速多相位整合算法。

技术优势

• 三维数位投影技术，客制化LCoS /DLP投影光
• 全数字化条纹生成
• 多频率条纹调制
• 高动态范围图像补偿技术
• 全域、快速、高精度、大范围

 

精確調製的高分辨率數字投影條紋，配合曝光時間的校準，完美克服引腳反光的盲點。

 

四投影多角度照射（AOI），以消除阴影区域。

 

高速高精度算法，高度信息覆盖所有像素点，全板扫描协助检测各类元件与引脚缺陷。

 

 

产品指标