聊天机械人和光学字符
识别技术

机器学习:
它们懂得交流、阅读和了解客户,提供更好服务。

Story #1

在香港,一个不谙粤语的人会发本地人的一般对话中原来夹杂了不少英文词汇,但在不久将来,他也能听懂本地人的对话了。

这就是港式英语(Kongish),是在香港才会出现的一种混合式语言 (请不要把韩语和英语混合的韩式英语Konglish混淆)。对于具备双语能力的香港人而言,他们能毫无困难地识别出这种自然发展而来的混合语言;但是,对于自动化机器而言,这是一个很大的挑战。

为了解究这独特难题,应科院专门建构了一个能将语音转换为文字的人工智能聊天机械人,并成功实现了商业化。这个研发项目的智能对话系统可以分辨夹杂英语的粤语 (包括术语和俚语)、普通话以至英语,并获配置及应用在 ─ 2019年标普全球市场财智报告 ─ 全球资产规模位居榜首的中国工商银行分行当中。

「中国工商银行每天接收到数以千计的查询,因而需要一种更加快捷的处理方式。」专门研究语言学、人工智能和大数据分析的应科院工程师冯颢筠女士解释:「我们的聊天机械人能处理一般银行业务查询,例如如何申请信用卡或开设账户,这让中国工商银行得以腾出人手来处理客户的投诉或较复杂的需要。」

研发项目的首阶段是整理中国工商银行通常给予新入职者的培训手册,以及其他内部文件的所有问题,应科院团队于是创建了一个树状式的试算表,让每个问题构成初始的主干,然后视乎可能的答案而分支开去。冯颢筠女士指出,虽然这项工作从零开始用了18个月的时间,但由于团队现在了解架构和拥有相关的经验,因此在制作新模型时只需要三分之一的时间。这对团队很有帮助,因为这可帮助其他银行在探索这项技术的发展潜力。

应科院的人工智能对话系统的原文档也能快速更新,以满足银行业和混合语言中迅速发展的用语,而这正是该项目别具意义之处。

「教导聊天机械人学习港式英语是最困难的部分。」冯颢筠女士说:「由于我们手上的能被使用做训练机械人的数据非常有限,所以团队成员须根据不同的银行情境进行角色扮演和录音,然后再转录和寻找出其模式。」

目前,这项技术已经掌握港式英语的知识,下一步是开发文本到语音的转换功能,让系统能检测回答用户的自然方式,并同时教导它如何处理客户情绪。

为进一步提高客户服务水平,应科院团队开发了一个情绪分析仪,它能够检测出客户是否满意还是已开始失去耐性。如果聊天机械人感觉到客户越来越恼怒,就会受训成以更缓慢和平静的语气回答。分析仪将因应客户的说话内容和说话方式来评估,从而作出反应。

这包括侮辱性的话语吗?冯颢筠女士回答:「这也我们正在研发中。」

聊天机械人是应科院用以快速理解香港独特语境复杂性的人工智能技术之一。

应科院还研发了手写中文光学字符识别技术,能识别8,000多个繁体和简体的手写汉字、英文键入的字母和数字,而且每页的平均阅读时间为三秒,准确率达97.12%,比人类高出一个百分点。

光学字符识别技术还配备理解上下文的智能分析,能自动更正本地地址。早前,这项技术配置于金融服务供应商,以尽量减低涉及人手输入数据的营运成本;目前,这项技术将为不同的政府部门量身定制,包括为创新科技署处理中小型企业科技券计划的申请,协助纪律部队例如消防、警队处理日常文件,及为税务局处理报税表等。

应科院多媒体系统及分析副总监邓羽真博士某天于求职网站进行搜索时,发现数据输入员有超过2,000份的职位空缺。根据预期薪酬和调整后的营业额作进一步计算,得出的结论是香港每年用于数据输入的费用超过40亿港元。这个痛点很快被确认出来。

「我们的技术可以帮助香港提高效率和节省金钱。」邓羽真博士说。

这项技术的关键卖点是读取汉字的高准确率。它能读取4,000个简体字,准确率为97%;它亦能读取6,000个繁体字,准确率为98%


邓羽真博士解释:「繁体字中的额外笔划使其更为复杂,而实际上,这正让机器更容易区分单词,令结果更为准确更有效率。」

中国汉字数量繁多,而且有许多相似字,因此教导机器学习是一个十分费时的过程。至于中国的许多古老汉字,虽然在其他华语世界中已经过时或不再流行,但是仍然在香港使用。 正如冯颢筠女士和聊天机械人团队需要研究大量的语言差异一样,邓羽真博士的团队在手写文字方面也遇到类似的挑战。

「我们为每个汉字收集许多不同的手写样式,并训练机器采纳及学习这些样式之间的巨大差异。」邓羽真博士说。

随着读取汉字具备更高准确率,研发光学字符识别技术的下一章将朝着稳健可靠的方向发展,因为准确率会随文档质素转差而下降。在未来,我们的最终目标是

让所有人能摆脱繁重和乏味的数据输入工作,利民便商