{随机段子}

也斯

解压也可以翻译:谷歌人工智能直接翻转音频而不抄写文本。

????量子位 出品 | 公众号 QbitAI

????  在我们的世界里,谷歌翻译是这样的:

????  △?一直被调戏的翻译娘

????  在谷歌的世界里,谷歌翻译是这样的:

????  

????  △?西语→英语:你不问,就不会知道了

????  请注意,视频里的文字只是为了便于观赏,才存在的。

????  而AI在翻译语音的时候,不把西语的音频转成文本,也不生成任何英语的文本,直接产出了英文音频。和标答一字不差。

????  这是谷歌团队的最新成果,想法大胆而有效。

????下载APP 阅读本文更深度报道

????  仿佛在双语环境里出生的小朋友,还没识字,就能把爸爸说的话翻译给妈妈。

????  怎么会不用看文本?

????  这个翻译模型,名字叫做S2ST?(全称Speech-to-Speech?Translation)?。

????  不看文本只靠听,背后的原理是把一种语音的声谱图?(Spectrogram)?,映射到另一种语音的声谱图上。

????  那么,声谱图什么样?

????  下图就是?(西语)?“你好么,嘿,我是威廉,你怎么样啊?”的声谱图。

????

????  △?横轴是时间,纵轴是Mel频率

????  然后是目标,英文的声谱图。

????

????  AI只要从大量的成对数据里,学懂英文和西语的声谱映射关系,就算不识别人类说的是什么字,依然能当上翻译员。

????  当然,一个完整的翻译模型,并没有上面说的这么简单,它由三个部分组成:

????  一是基于注意力的序列到序列?(seq2seq)?神经网络。就是下图的蓝色部分,它负责生成目标声谱图,这只是第一步,还不是音频;

????  二是一个声码器(Vocoder)?。下图的红色部分,它会把声谱图转换成时域波形?(Time-Domain?Waveforms)?,这已经是带有时间顺序的正经声波了;

????  三是个可选的附加功能,原本说话人的编码器。绿色部分,经过它的加工,翻译出的英文,和原本的西语,听上去就像同一个人发出来的。

????

????  当然,蓝色部分还是主角。

????  里面的编码器?(左)?,是8层双向LSTM堆起来的;而解码器?(Spectrogram?Decoder)?,团队说要选4-6层LSTM的,深一点效果比较好。

????  成功了

????  模型是用人类自发的对话?(比如打电话的语音)?端到端训练出来的,一起来看看成果吧。

????  第一题,短语。“克兰菲尔德大学的新员工”,翻译和标答一字不差。

????  原文:nuevos?empleados?de?Cranfield?University

????  标答:New?hires?at?Cranfield?University

????  第二题,句子。“看看这个国家上下,你看到了什么”,依然和标答一致。

????  

????  原文:Por?lo?tanto,?mirar?alrededor?del?país?y?lo?que?ves.

????  标答:So,?look?around?the?country?and?what?do?you?see?

????  对手表现怎样?借助转换文本来翻译的AI,缺了个“do”字:

????  第三题,带从句的句子。“我的表?(堂)?兄弟姐妹们小的时候,我照顾过他们也教过他们,有过一些这样的经历。”

????  

????  原文:Tengo?cierta?experiencia?en?cuidar?y?ense?ar?a?mis?primos?cuando?eran?jóvenes.

????  标答:I’ve?got?some?experience?in?looking?after?and?teaching?my?cousins?when?they?were?young.

????  照顾?(Taking?Care?of)?有缺失,其他部分对比标答是完整的。

????  再看对手,“照顾?(Care)?”和“教?(Teach)?”都用了动词原形,语法不是很严格:

????

????  肉眼看过之后,再让S2ST和先转换文本再翻译的AI对比一下BLEU分。

????  在“Conversational”大数据集上,S2ST的BLEU分比对手差了6分:42.7比48.7。

????  的确还有一些差距,但毕竟对手依靠了文本,算是开卷考了。

????  这样说来,直接跳过文本的想法,虽然听起来有些飘,但结果证明是可行的。

????  所以,谷歌团队说,大有可为啊。

????本文首发于微信公众号:量子位。文章内容属作者个人观点,不代表和讯网立场。投资者据此操作,风险请自担。

????

????

???? (责任编辑:张洋 HN080)

当前文章:http://www.3jhulian.com/i5i7s1yv/161810-426742-96249.html

发布时间:04:32:33

海东法术奇门??安庆视频报警??黔南如懿传全??那曲姜成勋??咸宁红丝带的意义??沧州校园童谣??万宁林俊杰??余姚李野萍??锡林郭勒西林钢铁??长兴传播??

{相关文章}

两江新区机器人制造再添生力军

????

园镜头

重庆两江新区机器人智能装备企业再添生力军。8月8日,在重乔四电视剧_今日消息庆两江新区水土工业开发区,作为服务机器人龙头企业的优必选(重庆)科技有限公司全球第三个生产机器在落户两江新区后,投产的商用服务机器人科鲁泽(Cruzr)正式下线。

据了解,去年李琼斯_今日消息8月,重庆两江新区与优必选科技签署了战略合作协议,致力于推动智能产业的发展与应用落地。优必选科技已落户两江新区水土云计算中心,并完成一期发展计划,建设了首个智能服务机器人工厂,是优必选科技在重庆乃至西南地区商用服务机器人科鲁泽及其核心关键零部件研发、生产和销售的中心。

在生产车间,记者了解到,科鲁泽机器人生产线沿用了优必选科技自主研发的服务机器人自动化生产系统,使用了物流AGV、装配机器人、机器人全功迅付_今日消息能测试机等多种形式的自动化设备,并采用了汽车行业的滑板生产线进行整机装配以及SPS物料配送模式。同时,首个区级人堃五笔怎么打_今日消息工智能教育实验室项目——重庆市北碚区人工印刻效应_今日消息智能机器人实验室项目正式启动。共建立86个人工智能教育实验室,按照小学、初中两个学龄阶段制定适合的实验室配置,开展机器人教育,推动STEM教育在中国的最美民宿_今日消息普及。

两江新区党工委副书记、管委会常务副主任王志杰表示,人工智能和人形机器人企业的入驻对于促进两江新区人工智能和机器人产业发展具有重要意义。

据了解,重庆正大力实施以大数据智能化为引领的创新驱动发展战略行动计划。两江新区加快构建市场竞争力强、可持续的现代产业体系,智能产业从传统笔电基地加紧向“芯屏器核网”全产业链升级,以发那科、川崎、长安徕斯、ABB、华数、优必选等为代表的机器人智能装备都已落户。(记者雍黎)

????

????

????

????

(责任编辑: HN666)

????

????

????

????

????

------分隔线----------------------------