计算机通过看电视学习手语

 作者:赫连梧     |      日期:2019-02-05 09:09:02
科林巴拉斯不只是人类可以从看电视中学习在英国开发的软件通过吸收字幕和签名的电视节目来制定手语的基础知识虽然几乎所有的节目都播放了字幕,但有些节目还伴有手语,因为很多聋人更容易听文字和签名的节目有点像罗塞塔石碑 - 一种雕刻,提供了从古典希腊语的相邻翻译解码埃及象形文字的突破因此,牛津大学的Patrick Buehler和Andrew Zisserman以及利兹大学的Mark Everingham开始研究能够解释打字单词的软件能否从视频片段中学习英国手语他们首先设计了一种识别签名者手势的算法该软件使用手臂来计算快速移动的手的粗略位置,并识别这些区域中的肉色像素以显示精确的手形一旦团队确信计算机能够以这种方式识别出不同的标志,他们就会将其曝光到大约10个小时的电视镜头,这些镜头既有签名又有字幕他们要求软件学习210个名词和形容词的混合符号,这些名词在素材中多次出现该程序是通过分析每个单词出现在字幕中时伴随的符号来实现的在不明显签名序列的哪一部分与给定关键字相关的情况下,系统比较一个单词的多次出现以精确定位正确的符号 Everingham说,在不知道210字的标志的情况下开始,软件正确地学习了其中的136个,即65% “根据具体情况,有些词语有不同的标志 - 例如,砍伐一棵树与切割玫瑰有不同的标志”他说,鉴于任务的复杂性,这是一个很高的成功率英国萨里大学的Helen Cooper和Richard Bowden以不同的方式使用相同的软件来教他们自己的计算机手语 “我们的方法可以用更少的数据实现更高的准确度,”鲍登说为了获得如此好的结果,Cooper和他得到的软件可以扫描视频序列中的所有符号,并识别频繁出现的那些,因此很可能代表常用词然后通过参考字幕来确定这些符号中的每一个的含义 “这种方法非常具有可扩展性 - 它可以在大量数据上快速运行,”Everingham说但他认为这使得软件不能区分术语而不是使用他的团队更具特定于词的方法不过,这两种方法都不仅仅是对软件力量的学术展示它们可以用来创建一种自动为数字化身设置动画的方法,可以与任何电视节目一起流畅地签名 Everingham说,以前尝试这样做的结果是,对于能够流利使用手语的人来说,