完美的优化目标，人工智能的盲点

内容导航：

完美的优化目标，人工智能的盲点

中国人工智能产业还存在哪三项弱点？

人工智能需要什么基础？

人工智能需要什么基础？

一、完美的优化目标，人工智能的盲点

译者丨辛西娅

编辑丨维克多

人工智能（AI）系统的脆弱性一直被行业人员所诟病，稍微的数据错误就会使系统发生故障。例如在图像识别中，图片微小的像素改变，不会干扰人类视觉，但机器可能会发生紊乱。正如CVPR 2017论文中所论述的那样“修改一个像素,就能让神经网络识别图像出错”。

至于原因，研究人员有过很多探究：数据不够好，算法设计不精妙....近日，在科技媒体wired上，计算机科学家Erik J. Larson撰文表示：优化思维是AI脆弱性的根源。（译者注：这里的优化思维，也可以翻译成“追求足够好”、追求完美AI）

“We then must step toward heresy by acknowledging that the root source of AI’s current fragility is the very thing that AI design now venerates as its high ideal: optimization.”

优化是推动AI尽可能准确的动力，在抽象的逻辑世界中，这种推动无疑是好的，但在AI运行的现实世界中，每一个好处都是有代价的。例如需要更多数据来提高机器学习计算精度，需要更好的数据来确保计算的真实性。

“这种更好”必须保证不断的进行数据收集，因此当AI开始逐渐形成完整的画面时，新数据的出现可能改变现有状况，从而导致系统崩溃。这也是大众眼中近乎完美的AI经常“犯精神病”的原因之一：将狗狗当成菠萝，把无辜的人看成通缉犯。

1

优化的脆弱性

人类不是一个优化者，过去几万年大脑本身也并没有进化出完美优化的功能。大脑是轻量级的，从不追求100%的准确性，并能够从小数据中得出假设。

换句话说，大脑满足于在“门槛”上混日子，如果1%的准确率就能让它生存，那么这就是大脑所需要的准确率。但这种最小生存策略也会导致认知偏见，让人们思维封闭、鲁莽、宿命论、恐慌。

AI严格的数据驱动训练方法能有效避免这种认知偏见，却也让其陷入“过度纠正”。确实，对人类而言，好的心态能够抵御完美主义带来的破坏性影响，一个不那么神经质的大脑已经帮助我们在“生活的冲撞和摇摆”中茁壮成长。

将这种“反脆弱”引入AI，那么也意味着：与其追求压缩越来越大的数据堆，不如专注于提高AI对不良信息、用户差异和环境动荡的容忍度。这种AI将消耗更少的能量，产生更少的随机失误，带来更少的负担。如何做？目前来看，有三种方式。

2

构建AI直面不确定性

五百年前，实用主义大师尼科勒·马基雅维利指出，世俗的成功需要一种反直觉的勇气。对于聪明人来说，大部分不存在的知识将是不必要的；生活往往不会符合我们的预期。因此，人类可以改变对模糊性的处理方式。

例如当AI遇到单词suit时，它会通过分析更多的信息来确定该单词是表示衣服，还是法律名词。分析更多信息通常意味着利用大数据缩小答案范围，这在99.9%的情况下有效，剩下的0.1%，AI仍然会“自信”的将suit表示为法律名词，但实际上它是衣服。

因此，AI应该有足够大的答案范围。研究人员在设计AI时候，应该允许“模棱两可”，并将模糊选项代入后续任务中，就像人类能够读懂一首诗歌的多个潜在含义一样。如果下游任务不允许“模棱两可”的存在，这时设计的AI应该能请求人类的帮助，让人类代替它进行决策。

3

用数据作为灵感来源

目前的AI希望通过大数据的发散性思维实现创造。但众多科学研究显示，生物的创造力往往涉及无数据和非逻辑过程。因此，依靠大数据或许能够批量创造出许多“新”作品，但这些作品仅限于历史数据的混合和匹配。换句话说，大规模的发散性思维的产生必然伴随着低质量。

数据驱动的创造所产生的局限性可以从GPT-3以及Artbreeder等文本和图像生成器中看到。通过“观察”历史场景，然后添加专家意见，试图产生下一个梵高。但结果往往是这位“梵高”只能复制以前画家的作品。这种AI设计文化，显然误解了创新的含义。这种情况从大家对FaceNet的盛誉中可见一斑，因为有一些面部识别的创新，仍然是蛮力优化。可以类比为调整汽车的扭矩带增加汽车性能，并称其为汽车交通革命。

因此，是时候将数据看成灵感来源，而不是伪造来源了。90年前，《科学发现的逻辑》一书的作者卡尔·波普尔就指出：用事实推翻想法比证明想法更合乎逻辑。将这种思维引入到AI产物中，我们可以将数据的功能从小想法的大量产生者转变成大规模的毁灭者（a mass destroyer of anything except），当然一些前所未有的想法除外。（译者注：这里的大规模毁灭者是指将“重复作品”筛选出来）

因此，与其无休止的产生“重复作品”，不如让计算机搜索有价值的作品，从而找到未被赏识的“梵高”。

4

人机结合

将人脑融入AI听起来很科幻，短期内很难有大的进展，但我们可以另辟蹊径，设计友好的人机关系。当前人与机器的合作关系并没有发挥它应有的作用，人类要么充当机器的保姆，要么充当AI系统更新的附属品。前者意味着乏味、枯燥，后者意味着被动。如何解决？当前的工作重点已经关注三个方面：

1.攻关科研，让AI有能力“知道”它何时缺少训练数据。换句话说，追求正确的AI，不如追求让AI知道自己何时不正确，赋予AI认知自己的智慧。人类的大脑无法拥有计算机的数据处理速度，所以当无知的算法认为自己无所不能的时候，人类的干预总是太晚。因此，应该通过编程让“傻瓜”发现自己是“傻瓜”。

2. 完善人机交互界面。因追求优化而造成的不透明设计，即黑盒算法。交互设计应该消除黑盒性质，例如将刚性按钮（只有一个选项）替换成包含概率的选项，标明第一个选项的可能性为70%，第二个选项的可能性为20%，第三个选项的可能性为5%，以此类推。如果没有满意的选项，那么就要求AI重新定向，或者进行手动操作，以最大的限度提高计算机的逻辑和人类的主动性。

3. 仿照大脑建立去中心化的AI模型。大脑包含去中心化的认知机制，例如逻辑、叙述、情感，它们之间相互制约、相互平衡。因此，AI系统也可以设计包含不同推理架构，例如如果深度学习不能访问它所需要的数据，系统就可以过渡到if-then的控制程序。更重要的是，人工智能可以向外看，从人类学的线索中学习，而不是狂热地集中在自己的内部优化策略上。

以上技术建议并不是未来虚幻的想象，它是现在就可以实现的设计创新。需要研究者抛弃大数据以及完美智能的假设，在这个不断变化的世界中，创造性要求比最准确要求来的更加明智。

雷峰网

一、中国人工智能产业还存在哪三项弱点？

如今，“智能+”社会已步步临近，社会各界也正积极勾勒未来社会图景。国外人工智能巨头动作不断，在基础技术、应用领域方面都有诸多突破，可以总结为三点：基础研究能力强、跨界创新密集、人才红利持续发挥。

我国在深度学习、识别技术等领域实力突出，在人工智能市场应用层面走在世界前列。但在基础技术、产业链跨界协同、核心人才培养方面则存有短板。业内专家呼吁，未来我国人工智能行业和学界应重点关注以上三项弱点，审时度势、全盘考虑、抓紧谋划、扎实推进，在巩固现有优势的同时，补足短板，推动中国人工智能产业可持续发展。

基础层研究成人工智能“硬指标”

人工智能研究可以分为基础层、技术层、应用层，美国在技术难度大、技术带动效应强的基础层方面，不断取得研究以及实践进展；而中国在基础层方面能力稍弱，在技术层和应用层发力更多。

基础层主要指处理器、芯片等支撑人工智能技术的核心能力；技术层包括自然语言处理、计算机视觉、技术平台等通用技术；应用层是指自动驾驶、智能机器人等实际应用主体。

人工智能浪潮的兴起，使得美国大公司纷纷进军基础层的研究。以芯片为例，美国的芯片制造企业英伟达推出了世界首款120万亿次级处理器Volta V100 GPU，可以将机器学习指令传达的效率从几周的时间缩短至几个小时，帮助客户更加快速地迭代并优化各自产品的上市时间。过去3年中，英伟达为深度学习提供了10倍的性能加速，被评论界称为“摩尔定律的平方”，保持目前的性能提升速率，到2025年，GPU将可实现比CPU快1000倍的性能。

谷歌、亚马逊、微软、苹果等最初并不研发芯片的公司，也开始发力芯片和处理器，这使得美国在全球人工智能基础层研究地位进一步增强。微软公司公布了其人工智能芯片制造项目，展示了一款专门为微软增强现实眼镜HoloLens打造的新型芯片。谷歌已于2016年宣布了其深度学习芯片的研发，并声称，随着语音识别技术的爆发，高性能处理器TPU已为公司省下了打造15个新数据中心的成本。谷歌同时在与生物公司合作开发高效计算DNA信息的芯片。2017年4月，苹果公司宣布苹果将通过自主研发和生产芯片，进一步掌握产业链主导权。消息一出，苹果芯片供应商英国公司Imagination的股价应声暴跌。

但是，中国在芯片基础研发领域仍然落后于美国企业，对进口芯片的需求居高不下。

从事计算机视觉识别的中国公司“旷视科技”品牌与市场中心总经理谢忆楠表示，在图像识别领域，公司同时应用英伟达和英特尔的芯片，目前还没有国产芯片能够完全取而代之。英特尔中国研究院院长宋继强也承认，我国人工智能领域不足之处在于我们原创理论创新、基础人工智能研发能力还不太够。中国学者需要在理论上有所突破。地平线机器人技术创始人余凯表示，在PC电脑与移动互联网时代，我们都错失了如操作系统等基础平台性技术，人工智能时代需要迎头赶上。

中国电子学会发布《中国机器人产业发展报告》指出，我国机器人领域核心技术积累不足，资金投入相对有限且分散，高端市场长期被外资企业占据，很大程度上以依托进口零部件和本体组装、集成为主营业务，虽有一定突破但基本上是被动地、跟随式发展，难以获得产业发展主动权。

计算机学家、图灵奖唯一的华人得主姚期智表示，中国想在2030年实现世界主要人工智能创新中心的战略目标，首先要解决人工智能发展缺少理论的问题。中国在下一波人工智能的发展上，应取得一些原创性的、有知识产权的成果，而不是追赶别人发明的科技。

跨界融合创新为智能生态“必修课”

未来人工智能领域不仅仅是单一的技术和产品，而是一个整合的“生态系统”。数字技术将结合神经研究等医学领域、自动化机械臂等工业领域共同组成人工智能的底层技术。

以人工智能为依托的机器人一方面会以“软件”形式融入社会，如自动翻译、图像识别等。另一方面也将通过集成“硬件”深入到百姓生活中，如特种机器人、医疗机器人等。

正是在这种“共识”的指引下，“不务正业”几乎成为美国人工智能巨头都在做的事，从IBM、苹果，到谷歌、脸书、英伟达，所有的人工智能巨头都在尝试软件、硬件、应用场景的联通，不再单一专注于自己的传统业务，而是着眼布局未来。 2016年9月，谷歌、微软、脸书、亚马逊、IBM更是组成人工智能联盟，大有形成合力、制定行业标准之意。

目前，谷歌的跨界非常广泛，跨越了芯片、机器学习平台、软件、云计算等各个领域。其人工智能学习系统TensorFlow目前是全世界应用最为广泛的人工智能软件平台。研发芯片起家的高通，也推出了自己的摄像头Spectra Module，旨在优化VR、AR的效果。最近，这一摄像头又添加了一些新的功能，如深度检测和生物认证，用户可以通过虹膜扫描来解锁认证。

IBM中国研究院认知交互技术总监秦勇表示，IBM打造人工智能平台，最终目的就是形成生态圈，可以满足客户的不同需要。比如IBM的WDC（Watson Developer Cloud），已经有很多应用程序编程接口公布出来，比如知识图谱、语音识别、计算机视觉、性格分析、对话管理等等。在教育领域和芝麻街合作，利用人工智能帮助小孩，用游戏的方式来做辅助学习。这一平台还和美敦力（Medtronic）合作，提前两三小时就可以准确预测一个人的血糖指标。

英伟达不仅有芯片，还发布了高效的深度学习软件平台，为客户提供综合全面的服务，其客户涵盖汽车、虚拟现实、图像识别、基因分析等各领域。电商起家的亚马逊，凭借其深度学习能力，崛起成为人工智能的巨头。去年，其发布的三大人工智能技术（图像识别、自动语音发音、语音互动）广受欢迎，中国的社群电商软件“小红书”就利用了亚马逊的人工智能技术开发了人脸识别痘痘的功能。

除以技术优势加速全链条布局外，国外巨头凭借投资并购等资本运作手段，提升自身技术实力，在人工智能领域迅速占据制高点，也有部分巨头在我国建立产业基地，抢占中国市场。如微软收购位于多伦多的人工智能初创企业Maluuba，谷歌收购数据科学公司Kaggle。库卡也宣布建设中国二期厂房，继续扩大产能。

而中国人工智能产业的跨界互动能力不足，部分企业存在短期套利思维。业内人士认为，从技术到产品的跨越非常之困难。不同于硅谷技术公司的“一呼百应、迅速抱团”，中国企业之间的“门户之见”较深，产业链倾向于为了短期利益，维护已有的客户链条，而不会积极拥抱新产品，这使得一项技术需要投产时，找生产商就十分困难，更别提以后的推广、应用了。

另一方面，中国科学院自动化研究所复杂系统管理与控制国家重点实验室主任王飞跃认为，目前市场上有很多风险基金来主导基础研究型公司，这对正常的创新过程会产生一定负面影响。特定阶段确实需要一些特殊的措施，但无论如何要给有能力、愿意做研究的人一个安静的空间，这才是科研创新真正的源头。

王飞跃认为，很多人蜂拥而至进入智能行业，其中不乏“语言创新”、炒作概念的PPT公司，好多核心硬件还要从外国进口，企业技术能力“配不上”它的名字，这是需要我们反思的地方。

《中国机器人产业发展报告》建议，围绕市场需求，加强新技术之间的整合能力，打造“政产学研用”紧密结合的协同创新载体。既要围绕智慧工厂、智能家居和智慧城市开展细分领域示范工程，也要打造重点领域机器人应用系统集成商和综合解决方案服务商，推进全产业链协同发展。

人才队伍建设是产业发展“脊梁柱”

任何产业的发展都依赖高素质的人才。美国人工智能产业的发展，得益于过去几十年来高校、科研院所没有停止过的探索，美国从而成为世界人工智能人才的最大输出地。而中国人工智能人才则较为稀缺。

腾讯研究院发布的《中美两国人工智能产业发展全面解读》，从企业人数分布可以看出中美之间的巨大差异。报告显示，截至2017年6月，美国共有1078家人工智能企业，员工数量为78700名；中国有592家人工智能企业，员工数量为39200名，约为美国的50%。分领域来看，在处理器/芯片领域，美国员工人数是中国的13.8倍，美国17900人，中国1300人。中国在技术层领域的企业人数也远远落后于美国，仅在智能机器人领域人才稍多，为6400人，是美国同领域人数的3倍。

根据全球职场社交平台“领英”的数据，7成美国人工智能人才从业10年以上，而中国仅有4成相关人才有这样的从业经验。报告分析，这源于中国人工智能产业起步比美国晚，人才培养模式尚存差距。

中国高校在很长时间内并没有人工智能专业，而美国是人工智能概念的诞生地，基本上大院校都有人工智能专业和研究方向。根据美国国家科技委员会的人工智能全球大学排名，前20名中有16所是美国大学，这些大学源源不断地向科技企业输送人才。

业内人士表示，由于人才匮乏，人工智能工程师的年薪水涨船高。博士毕业进入企业，起薪或可高达百万元，“否则根本留不住人”。而且，即便这样的人也很难“上手就用”，都要在公司经过数月至一年的专业培训。

目前，中国正在快速追赶美国人工智能人才的培养步伐。从论文发表数量来看，华人作者的领先优势日益明显。在“深度学习”领域，中国的论文数量从2014年开始超越美国。专家认为，人才培养是“智能+”发展的关键，而且，人才培养要与重点项目相结合，真正做到核心人才本土化、核心项目自主化。

《中国机器人产业发展报告》建议，应建立机器人行业亟须的多层次、多类型技能人才培养体系，建立校企联合培养人才的新机制。同时，建立培养标准体系，运用职业培训和职业资格制度加深与汽车、电子、化工、消防等相关行业合作，实现人才培养与企业需求的良好对接。

国务院2017年印发《新一代人工智能发展规划》，提到将“加快培养聚集人工智能高端人才”。伴随着巨大的市场需求和应用场景，我国有望吸引更多人才来华从事人工智能行业。

在面向2030年对我国人工智能发展进行的战略性部署中，我国新一代人工智能发展规划也明确提出了我国人工智能发展的“三步走”目标：

第一步，到2020年，人工智能总体技术和应用与世界先进水平同步，人工智能产业进入国际第一方阵，成为我国新的重要经济增长点；第二步，到2025年，人工智能基础理论实现重大突破、技术与应用部分达到世界领先水平，人工智能产业进入全球价值链高端，成为带动我国产业升级和经济转型的主要动力，智能社会建设取得积极进展；到2030年，人工智能理论、技术与应用总体达到世界领先水平，我国成为世界主要人工智能创新中心，人工智能产业竞争力达到国际领先水平。

专家认为，要想让机器人渗透到人们生活，真正实现智能社会，一定要把相应的基础设施建设好，建立知识库、大数据库、面向各类具体问题的智能系统等。“这不仅要有技术，还涉及整个社会体系、服务体系和治理体系等。”业内人士呼吁，要加快机器人向各领域的应用，实现人机协调、跨界融合、共创分享，营造有利于机器人发展的良好生态。

瑞银研究报告显示：至2030年AI每年将为亚洲贡献经济价值高达1.8万亿至3.0万亿美元，将对金融服务、医疗保健、制造、零售和交通等行业产生巨大影响。这些行业加起来，相当于目前亚洲GDP的三分之二。

据统计，2000至2016年，中国人工智能企业数量累计增长1477家，融资规模达27.6亿美元。其中，2014至2016年三年是中国人工智能发展最为迅速的时期。这三年里新增的人工智能企业数量占累计总数的55.38%。另据艾瑞咨询公开数据，中国人工智能产业规模2016年已突破100亿元。

面对优势，还需戒骄戒躁；面对补足，还需踏实补强；我国应在人工智能产业发展的浪潮中争当“弄潮儿”。

未来已来，当时代的钟声缓缓敲响，新科技革命和产业变革将是最难掌控但必须面对的不确定性因素之一，抓住了就是机遇，抓不住就是挑战，必须在日新月异的科技大变革中、在国际合作与竞争的征程中加速前进。

二、人工智能需要什么基础？

当下，人工智能成了新时代的必修课，其重要性已无需赘述，但作为一个跨学科产物，它包含的内容浩如烟海，各种复杂的模型和算法更是让人望而生畏。对于大多数的新手来说，如何入手人工智能其实都是一头雾水，比如到底需要哪些数学基础、是否要有工程经验、对于深度学习框架应该关注什么等等。

那么，学习人工智能该从哪里开始呢？人工智能的学习路径又是怎样的？
本文节选自王天一教授在极客时间 App 开设的“人工智能基础课”，已获授权。更多相关文章，请下载极客时间 App，订阅专栏获取。
数学基础知识蕴含着处理智能问题的基本思想与方法，也是理解复杂算法的必备要素。今天的种种人工智能技术归根到底都建立在数学模型之上，要了解人工智能，首先要掌握必备的数学基础知识，具体来说包括：

• 线性代数：如何将研究对象形式化？

• 概率论：如何描述统计规律？

• 数理统计：如何以小见大？

• 最优化理论： 如何找到最优解？

• 信息论：如何定量度量不确定性？

• 形式逻辑：如何实现抽象推理？


线性代数：如何将研究对象形式化？
事实上，线性代数不仅仅是人工智能的基础，更是现代数学和以现代数学作为主要分析方法的众多学科的基础。从量子力学到图像处理都离不开向量和矩阵的使用。而在向量和矩阵背后，线性代数的核心意义在于提供了⼀种看待世界的抽象视角：万事万物都可以被抽象成某些特征的组合，并在由预置规则定义的框架之下以静态和动态的方式加以观察。
着重于抽象概念的解释而非具体的数学公式来看，线性代数要点如下：线性代数的本质在于将具体事物抽象为数学对象，并描述其静态和动态的特性；向量的实质是 n 维线性空间中的静止点；线性变换描述了向量或者作为参考系的坐标系的变化，可以用矩阵表示；矩阵的特征值和特征向量描述了变化的速度与方向。
总之，线性代数之于人工智能如同加法之于高等数学，是一个基础的工具集。

概率论：如何描述统计规律？
除了线性代数之外，概率论也是人工智能研究中必备的数学基础。随着连接主义学派的兴起，概率统计已经取代了数理逻辑，成为人工智能研究的主流工具。在数据爆炸式增长和计算力指数化增强的今天，概率论已经在机器学习中扮演了核心角色。
同线性代数一样，概率论也代表了一种看待世界的方式，其关注的焦点是无处不在的可能性。频率学派认为先验分布是固定的，模型参数要靠最大似然估计计算；贝叶斯学派认为先验分布是随机的，模型参数要靠后验概率最大化计算；正态分布是最重要的一种随机变量的分布。

数理统计：如何以小见大？
在人工智能的研究中，数理统计同样不可或缺。基础的统计理论有助于对机器学习的算法和数据挖掘的结果做出解释，只有做出合理的解读，数据的价值才能够体现。数理统计根据观察或实验得到的数据来研究随机现象，并对研究对象的客观规律做出合理的估计和判断。
虽然数理统计以概率论为理论基础，但两者之间存在方法上的本质区别。概率论作用的前提是随机变量的分布已知，根据已知的分布来分析随机变量的特征与规律；数理统计的研究对象则是未知分布的随机变量，研究方法是对随机变量进行独立重复的观察，根据得到的观察结果对原始分布做出推断。
用一句不严谨但直观的话讲：数理统计可以看成是逆向的概率论。 数理统计的任务是根据可观察的样本反过来推断总体的性质；推断的工具是统计量，统计量是样本的函数，是个随机变量；参数估计通过随机抽取的样本来估计总体分布的未知参数，包括点估计和区间估计；假设检验通过随机抽取的样本来接受或拒绝关于总体的某个判断，常用于估计机器学习模型的泛化错误率。

最优化理论： 如何找到最优解？
本质上讲，人工智能的目标就是最优化：在复杂环境与多体交互中做出最优决策。几乎所有的人工智能问题最后都会归结为一个优化问题的求解，因而最优化理论同样是人工智能必备的基础知识。最优化理论研究的问题是判定给定目标函数的最大值（最小值）是否存在，并找到令目标函数取到最大值 (最小值) 的数值。 如果把给定的目标函数看成一座山脉，最优化的过程就是判断顶峰的位置并找到到达顶峰路径的过程。
通常情况下，最优化问题是在无约束情况下求解给定目标函数的最小值；在线性搜索中，确定寻找最小值时的搜索方向需要使用目标函数的一阶导数和二阶导数；置信域算法的思想是先确定搜索步长，再确定搜索方向；以人工神经网络为代表的启发式算法是另外一类重要的优化方法。

信息论：如何定量度量不确定性？
近年来的科学研究不断证实，不确定性就是客观世界的本质属性。换句话说，上帝还真就掷骰子。不确定性的世界只能使用概率模型来描述，这促成了信息论的诞生。
信息论使用“信息熵”的概念，对单个信源的信息量和通信中传递信息的数量与效率等问题做出了解释，并在世界的不确定性和信息的可测量性之间搭建起一座桥梁。
总之，信息论处理的是客观世界中的不确定性；条件熵和信息增益是分类问题中的重要参数；KL 散度用于描述两个不同概率分布之间的差异；最大熵原理是分类问题汇总的常用准则。

形式逻辑：如何实现抽象推理？
1956 年召开的达特茅斯会议宣告了人工智能的诞生。在人工智能的襁褓期，各位奠基者们，包括约翰·麦卡锡、赫伯特·西蒙、马文·闵斯基等未来的图灵奖得主，他们的愿景是让“具备抽象思考能力的程序解释合成的物质如何能够拥有人类的心智。”通俗地说，理想的人工智能应该具有抽象意义上的学习、推理与归纳能力，其通用性将远远强于解决国际象棋或是围棋等具体问题的算法。
如果将认知过程定义为对符号的逻辑运算，人工智能的基础就是形式逻辑；谓词逻辑是知识表示的主要方法；基于谓词逻辑系统可以实现具有自动推理能力的人工智能；不完备性定理向“认知的本质是计算”这一人工智能的基本理念提出挑战。
《人工智能基础课》全年目录
本专栏将围绕机器学习与神经网络等核心概念展开，并结合当下火热的深度学习技术，勾勒出人工智能发展的基本轮廓与主要路径。点击我获取学习资源


请点击输入图片描述

我们再来看看人工智能，机器学习、大数据技术应用方面有哪些联系与区别

大数据、人工智能是目前大家谈论比较多的话题，它们的应用也越来越广泛、与我们的生活关系也越来越密切，影响也越来越深远，其中很多已进入寻常百姓家，如无人机、网约车、自动导航、智能家电、电商推荐、人机对话机器人等等。

大数据是人工智能的基础，而使大数据转变为知识或生产力，离不开机器学习（Machine Learning），可以说机器学习是人工智能的核心，是使机器具有类似人的智能的根本途径。

本文主要介绍机器有关概念、与大数据、人工智能间的关系、机器学习常用架构及算法等，具体如下：

机器学习的定义

大数据与机器学习

机器学习与人工智能及深度学习

机器学习的基本任务

如何选择合适算法

Spark在机器学习方面的优势

01 机器学习的定义

机器学习是什么？是否有统一或标准定义？目前好像没有，即使在机器学习的专业人士，也好像没有一个被广泛认可的定义。在维基百科上对机器学习有以下几种定义：

“机器学习是一门人工智能的科学，该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能”。

“机器学习是对能通过经验自动改进的计算机算法的研究”。

“机器学习是用数据或以往的经验，以此优化计算机程序的性能标准。”

一种经常引用的英文定义是：A computer program is said to learn from experience (E) with respect to some class of tasks(T) and performance(P) measure , if its performance at tasks in T, as measured by P, improves with experience E。

可以看出机器学习强调三个关键词：算法、经验、性能，其处理过程如图所示。

▲机器学习处理流程

上图表明机器学习是使数据通过算法构建出模型，然后对模型性能进行评估，评估后的指标，如果达到要求就用这个模型测试新数据，如果达不到要求就要调整算法重新建立模型，再次进行评估，如此循环往复，最终获得满意结果。

02 大数据与机器学习

我们已进入大数据时代，产生数据的能力空前高涨，如互联网、移动网、物联网、成千上万的传感器、穿戴设备、GPS等等，存储数据、处理数据等能力也得到了几何级数的提升，如Hadoop、Spark技术为我们存储、处理大数据提供有效方法。

数据就是信息、就是依据，其背后隐含了大量不易被我们感官识别的信息、知识、规律等等，如何揭示这些信息、规则、趋势，正成为当下给企业带来高回报的热点。

而机器学习的任务，就是要在基于大数据量的基础上，发掘其中蕴含并且有用的信息。其处理的数据越多，机器学习就越能体现出优势，以前很多用机器学习解决不了或处理不好的问题，通过提供大数据得到很好解决或性能的大幅提升，如语言识别、图像设别、天气预测等等。

03 机器学习、人工智能及深度学习

人工智能和机器学习这两个科技术语如今已经广为流传，已成为当下的热词，然而，他们间有何区别？又有哪些相同或相似的地方？虽然人工智能和机器学习高度相关，但却并不尽相同。

人工智能是计算机科学的一个分支，目的是开发一种拥有智能行为的机器，目前很多大公司都在努力开发这种机器学习技术。他们都在努力让电脑学会人类的行为模式，以便推动很多人眼中的下一场技术革命——让机器像人类一样“思考”。

过去10年，机器学习已经为我们带来了无人驾驶汽车、实用的语音识别、有效的网络搜索等等。接下来人工智能将如何改变我们的生活？在哪些领域最先发力？我们拭目以待。

对很多机器学习来说，特征提取不是一件简单的事情。在一些复杂问题上，要想通过人工的方式设计有效的特征集合，往往要花费很多的时间和精力。

深度学习解决的核心问题之一就是自动地将简单的特征组合成更加复杂的特征，并利用这些组合特征解决问题。深度学习是机器学习的一个分支，它除了可以学习特征和任务之间的关联以外，还能自动从简单特征中提取更加复杂的特征。下图展示了深度学习和传统机器学习在流程上的差异。如图所示，深度学习算法可以从数据中学习更加复杂的特征表达，使得最后一步权重学习变得更加简单且有效。

▲机器学习与深度学习流程对比

请点击输入图片描述

前面我们分别介绍了机器学习、人工智能及深度学习，它们间的关系如何？

▲人工智能、机器学习与深度学习间的关系

请点击输入图片描述

人工智能、机器学习和深度学习是非常相关的几个领域。上图说明了它们之间大致关系。人工智能是一类非常广泛的问题，机器学习是解决这类问题的一个重要手段，深度学习则是机器学习的一个分支。在很多人工智能问题上，深度学习的方法突破了传统机器学习方法的瓶颈，推动了人工智能领域的快速发展。

04 机器学习的基本任务

机器学习基于数据，并以此获取新知识、新技能。它的任务有很多，分类是其基本任务之一。分类就是将新数据划分到合适的类别中，一般用于类别型的目标特征，如果目标特征为连续型，则往往采用回归方法。回归是对新目标特征进行预测，是机器学习中使用非常广泛的方法之一。

分类和回归，都是先根据标签值或目标值建立模型或规则，然后利用这些带有目标值的数据形成的模型或规则，对新数据进行识别或预测。这两种方法都属于监督学习。与监督学习相对是无监督学习，无监督学习不指定目标值或预先无法知道目标值，它可以将把相似或相近的数据划分到相同的组里，聚类就是解决这一类问题的方法之一。

点击我获取学习资源

除了监督学习、无监督学习这两种最常见的方法外，还有半监督学习、强化学习等方法，这里我们就不展开了，下图展示了这些基本任务间的关系。

▲机器学习基本任务的关系

请点击输入图片描述

05 如何选择合适算法

当我们接到一个数据分析或挖掘的任务或需求时，如果希望用机器学习来处理，首要任务是根据任务或需求选择合适算法，选择哪种算法较合适？分析的一般步骤为：

▲选择算法的一般步骤

请点击输入图片描述

充分了解数据及其特性，有助于我们更有效地选择机器学习算法。采用以上步骤在一定程度上可以缩小算法的选择范围，使我们少走些弯路，但在具体选择哪种算法方面，一般并不存在最好的算法或者可以给出最好结果的算法，在实际做项目的过程中，这个过程往往需要多次尝试，有时还要尝试不同算法。不过先用一种简单熟悉的方法，然后，在这个基础上不断优化，时常能收获意想不到的效果。

三、人工智能需要什么基础？

人工智能（AI）基础：
1、核心三要素——算力、算法、数据（三大基石）：
算法、算力、数据作为人工智能（AI）核心三要素，相互影响，相互支撑，在不同行业中形成了不一样的产业形态。随着算法的创新、算力的增强、数据资源的累积，传统基础设施将借此东风实现智能化升级，并有望推动经济发展全要素的智能化革新。让人类社会从信息化进入智能化。
1）算力：

在AI技术当中，算力是算法和数据的基础设施，支撑着算法和数据，进而影响着AI的发展，算力的大小代表着对数据处理能力的强弱。
（2）算法：
算法是AI的背后“推手”。

AI算法是数据驱动型算法，是AI的推动力量。
（3）数据：
在AI技术当中，数据相当于AI算法的“饲料”。

机器学习中的监督学习和半监督学习都要用标注好的数据进行训练，由此催生了大量数据标注公司，它们将处于未经处理的初级数据，转换为机器可识别信息。只有经过大量的训练，覆盖尽可能多的各种场景才能得到一个良好的模型。
2、技术基础：
（1）文艺复兴后的人工神经网络。
人工神经网络是一种仿造神经元运作的函数演算，能接受外界资讯输入的刺激，且根据不同刺激影响的权重转换成输出的反应，或用以改变内部函数的权重结构，以适应不同环境的数学模型。

（2）靠巨量数据运作的机器学习。
科学家发现，要让机器有智慧，并不一定要真正赋予它思辩能力，可以大量阅读、储存资料并具有分辨的能力，就足以帮助人类工作。

（3）人工智慧的重要应用：自然语言处理。
自然语言处理的研究，是要让机器“理解”人类的语言，是人工智慧领域里的其中一项重要分支。
自然语言处理可先简单理解分为进、出计算机等两种：
其一是从人类到电脑──让电脑把人类的语言转换成程式可以处理的型式；
其二是从电脑回馈到人──把电脑所演算的成果转换成人类可以理解的语言表达出来。