新闻中心新闻中心
神经网络如何改变谷歌翻译?
发布人:管理员   发布时间:2016-12-16 18:35
 
  Dean表示,Google Brain成立后一年左右,开发具有一岁儿童智力的机器的实验取得了巨大的进展。谷歌的语音识别团队将其旧系统的一部分改为神经网络,并且效果得到很大提升,甚至取得了近20年中最好的成果。谷歌物体识别系统的能力也提高了一个数量级。这不是因为Google Brain团队成员在短短一年间产生了一系列超棒的新想法,而是因为谷歌终于投入了资源——计算机和越来越多的人力。
 
  Google Brain成立的第二年,Geoffrey Hinton加入了,而吴恩达则离开(现在是百度首席科学家,领导1300人规模的AI团队)。Hinton当时只想离开多伦多大学在谷歌待三个月,所以由于各种原因,谷歌不得不被聘他为实习生。在实习生培训过程中,辅导人员会说“输入你的LDAP(及用户登录码)”,Hinton会举手问:“什么是LDAP?”在场所有二十几岁的年轻人,只知道人工智能的皮毛,都在想“那个老家伙是谁?为什么他连LDAP都不懂?”
 
  Hinton说,直到有一天,有人在午餐时对他说“Hinton教授!我选修了你的课!你在这里做什么?”自此以后,再也没有人质疑Hinton作为实习生的存在。
 
  几个月后,Hinton和他的两个学生在ImageNet大型图像识别竞赛中取得了惊人的成果,让计算机不仅识别出猴子,而且区分蜘蛛猴和吼猴,以及各种各样不同品种的猫。谷歌很快就向Hinton和他的学生提出了Offer。他们也都接受了。“我以为他们对我们的知识产权感兴趣,”Hinton说:“结果他们对我们这几个人感兴趣。”
 
  Hinton出身于一个古老的英国家族。他的曾祖父George Boole在符号逻辑方面的基础工作为计算机专业打下基础;Hinton的另一个曾祖父是著名的外科医生,Hinton的父亲是一个热爱冒险家的昆虫学家,Hinton父亲的表哥在Los Alamos研究所工作,等等等等。Hinton先后在剑桥大学和爱丁堡大学学习,然后在卡内基梅隆大学读博士,最后到了多伦多大学,现在Hinton大部分时间都在多伦多大学。(Hinton的工作长期以来一直受到加拿大政府的慷慨支持。)我在Hinton的办公室访问了他。Hinton 说话睿智诡异,比如“计算机会比美国人更早理解讽刺”。
 
  Hinton 从上世纪60年代末在剑桥大学读本科开始,一直致力于研究神经网络,也被认为是该领域的先驱。很长时间以来,每当Hinton 说起机器学习,人们都用不屑的眼神看着他。神经网络一度被视为学术死路,主要是由于感知机(Perceptron)这个当时得到过度吹捧的概念。感知机是康奈尔心理学家Frank Rosenblatt 在20世纪50年代末开发的一个人工神经网络。当时有报道,感知机项目自助者美国海军期望它“能够走路、说话、会看、会写,会生产(reproduce)自己,意识到自己的存在”。结果这些感知机基本都没实现。马文·明斯基(Marvin Minsky)在1954年普林斯顿的论文中以神经网络为研究主题,但他对Rosenblatt 关于神经范式所做的夸张说法已经厌倦了。(明斯基也在争取国防部的研究资金。)后来,明斯基与MIT 的同事合作出版了一本书,证明有一些非常简单的问题是感知器永远不能解决的。
 
  明斯基当时对感知机的批评只涉及只有一个“层”的网络,也就是在输入和输出之间只有一层神经网络——后来明斯基阐述了与当代深度学习非常相似的想法。但是,当时Hinton 就已经知道,如果使用很多层神经网络,就可以执行复杂的任务。简单说,神经网络就是一台机器,能够从数据中发现模式并以此进行分类或预测。有一层神经网络,你可以找到简单的模式;有多层神经网络,就可以找出模式中的模式。以图像识别为例,执行图像识别的神经网络主要使用“卷积神经网络”(这在1998年的一篇开创性论文中阐述的概念,该论文的主要作者、法国人Yann LeCun 跟着Hinton 在多伦多大学做了博士后,现任Facebook 人工智能实验室负责人),网络的第一层学习识别图像非常基本的视觉效果“边缘”,也就是一个像素旁边没有什么任何东西(反之亦然)。接下来网络的每一层都在前一层中寻找模式。边缘的模式可以是圆形,也可以是矩形。圆形或矩形的图案可能是面部,等等。这种方法类似于人眼将信息组合在一起的方式,从视网膜中的光线感受器返回信息到大脑的视觉皮层。在每个步骤中,不立即相关的细节被丢弃。如果几个边缘和圆圈合在一起成为一张脸,你不会在乎在视野中这张脸的位置;你只会在乎它是一张脸。
 
  1993年的一段视频演示,展示Yann LeCun 卷积神经网络的早期版本,这个系统到20世纪90年代末处理美国所有支票的10%~20%。类似的技术现在用于驱动大多数最先进的图像识别系统。
 
  多层也即“深度”神经网络的问题是试错法部分非常复杂。单层的网络很容易,多层的训练起来就复杂了。Hinton 和其他几个人发明了一个方法(或者说,改进了一个旧的方法)解决这个多层出错的问题,那是在20世纪70年代末到80年代,为此计算机科学家对神经网络的兴趣又短暂地复燃了一会儿。“人们对此非常兴奋,”Hinton 说:“但我们把它夸大了。”于是,计算机科学家很快回到了认为像Hinton 那样的人是怪人和神秘主义者的状态。
 
  不过,这些想法在哲学家和心理学家之间仍然很受欢迎,他们称之为“连接主义”或“并行分布式处理”。尽管加拿大政府很慷慨,但就是没有足够的计算机力或足够多的数据。Hinton 表示,支持我们想法的人不断说:“是的,只要有一个大的机器就会工作了,但这不是一个非常有说服力的论据。”
Copyright 2015 展地翻译中心 All Right Reserved