机器学习就是在巨量数据上执行某类复杂运算，并且效率越来越来高，成功的案例也越来越多。现在，机器学习已经从一个相对晦涩的计算机科学概念快速发展成了一种可靠的方法，并且已经被应用在了从人脸识别技术到自动驾驶汽车等各种应用中。

　　机器学习可以应用于每一种企业职能，并且会影响到经济体中每个部分的公司。所以无怪乎资金正在大量涌入这一行业。麦肯锡公司的一项调查表明：在2013年到2016年之间，对人工智能（AI）开发的总投资额增长了2倍，达到了200亿到300亿美元。其中大多数都来自科技巨头。这些公司预计机器学习及其衍生的其它AI模型将成为它们未来客户发展的关键，就像现在的移动性和网络化一样。

　　机器学习技术为何如此吸引人？因为机器学习和其它形式的AI技术可以在很多领域得到广泛的应用，同时仍然还能产出显著的利益。Gartner预计到2020年，AI技术将会在新的业务软件中实现普及，并且将成为30%的CIO的前五大投资优先选择之一。

　　事实上，这一市场的主要发展推动力来自那些已经站稳脚跟的公司，它们可以将它们的进展应用到其它领域，比如：

　　英伟达已经成为了GPU领域的主导者，而GPU正是机器学习训练阶段的最主要平台。到目前为止，大多数已经实现的机器学习开发成果都基于GPU。

　　英特尔已经推出的Nervana神经处理器（NeuralProcessor），这是一种低延迟、高内存带宽的芯片，据说是专为深度学习设计打造的。（英特尔在2016年收购了Nervana。）

　　谷歌的张量处理单元（TPU/TensorProcessingUnit）已经占据了机器学习加速器的部分市场。其第二个版本是CloudTPU，这是一种更加高性能的TPU集群。CloudTPU是为机器学习的训练阶段设计的，可与英伟达的GPU平台竞争；而谷歌第一个版本的TPU则是该公司为了在自己的服务器上加速语音转文本应用的推理而开发的一款ASIC。

　　机器学习分为两个阶段：训练阶段和推理阶段。其中大部分开发工作都集中在第一个阶段：训练阶段。这篇文章主要限于数据中心和云计算方面，而且这本身就是一个巨大的市场。LinleyGroup的首席分析师LinleyGwennap预计数据中心方向的AI加速器市场将在2022年达到120亿美元。

　　Gwennap说：“在接下来的一两年时间里，我们将开始看到将会出现远远更多针对数据中心和其它设备的选择。所以世界各地的谷歌和Facebook这样的公司所面临的问题是：‘我应该继续设计自己的芯片吗？或者，如果我能从公开市场获得同样好的芯片，我还应该自己设计吗？’”

　　推理的发展机会

　　机器学习的第二个阶段是推理，基本上就是将学习阶段应用于特定应用和细分市场。也就是算法被投入实际应用的阶段，而人们预计这方面的发展机会甚至还更大。因此，VC支持的创业公司正在大量涌现，但其中只有很少一些已经推出了或演示过任何产品；当然，已有的公司也在这一领域大力推进。

　　ARM的研究员JemDavies说：“推理和训练是相当不同的。推理是做各种古怪的事情（比如分拣黄瓜）或有用的事情的阶段。这个阶段离用户更近，所以你能看到各种‘有趣的’用例。但也有在手机中执行文本预测（这始于25年前）以及人脸检测和识别的应用。”

　　推理也是辅助驾驶和自动驾驶的重要组成部分，其中传感器收集到的数据需要基于机器学习进行预处理。

　　Cadence的TensilicaDSP组的产品营销总监PulinDesai说：“推理需要在边缘进行。在汽车中，你可能会有20个图像传感器，另外还有雷达和激光雷达（LiDAR），以便提供360度的视野。但如果你将一个图像传感器放在汽车上，它可能就有180度的视野了。那就会需要畸变校正，这是一种图像处理。”

　　训练和推理之间的一个关键差异是训练是以浮点形式完成的，而推理则使用定点形式。DSP和FPGA都是定点形式。

　　FlexLogix的CEOGeoffreyTate说：“我们不再只使用x86处理器解算所有任务或为特定的负载对硬件进行优化。大多数计算都要在数据中心外完成，所以FPGA等器件的作用将不得不改变——尽管随着音频和视频的支持需求扩大，你可能仍将看到传统架构与新架构的混合使用。我将这全部都看作是加速器。”

　　在机器学习领域，FPGA和eFPGA玩家正争先恐后要在推理市场分一杯羹。Linley估计，在2022年总共将会有17亿台机器学习客户端设备。

　　Achronix总裁兼CEORobertBlake说：“GPU在机器学习的学习阶段已经得到了很大的重视。但推理方面的市场会更大，而这些产品的关键因素将会是成本和功耗。因此，嵌入式解决方案将会成为这些领域的瞩目焦点。”

　　ARM的Davies同意这个观点。他说功率预算保持在2W到3W的范围内，而电池技术的发展一直以来都相对平稳。锂电池的改进幅度一直都在每年4%到6%的范围内。考虑到所有这些情况，计算性能将会需要几个数量级的增长。

　　那将需要不同的架构，还要理解应该在哪里完成哪些处理。

　　Rambus的杰出发明家StevenWoo说：“我们看到有各种各样的AI、神经网络芯片和内核。在更高层面上看，它们是将信息融合在一起。这方面有很多探索正在进行。你可以看到，现在有很多公司在寻找主要市场，以便围绕其构建基础设施。你可以看到手机的数量达到了数十亿。这些都在驱动新的封装基础设施发展。你可以看到汽车领域背后有很多资金支持。物联网（IoT）的潜力也很明显，但难在寻找共同点。而在神经网络和机器学习方面，似乎每周都有新算法出现，这使得我们难以开发出单个一个架构。这就是人们对FPGA和DSP的兴趣如此之大的原因。”

　　定义机器学习

　　公司交替地使用机器学习、深度学习、人工智能和神经网络这些术语并没有什么帮助。尽管这些术语的差别很微妙，但共有的思想是：使用足够多的实时数据，计算机可以给多种不同的场景加权，并根据这些预定义的权重响应给出最好的选择。这个加权过程是训练和推理过程的一部分，对机器学习而言至关重要。

　　深度学习是机器学习的一种——具有更多的层，这些层执行着不同类型的分析，并最终能得到更加完整的解决方案，但完成深度学习训练也需要更多计算资源。这两者往往都涉及到神经网络，即围绕信息节点创建网状的连接，这种连接有一点类似于人脑中细胞之间的网状连接。人工智能则是一个涵盖性术语，很多人对此都有不同的看法：从IBM的Watson到电影《2001太空漫游》中的HAL。但主要是指无需明确编程就能自己学习不同行为的设备或程序。

　　谁在使用机器学习

　　在以客户为中心的应用中，机器学习已经非常常见，其中包括预测销量、寻找客户流失的迹象、通过交互式语音响应或聊天机器人提供客户服务、谷歌翻译那样的消费者应用等等。

　　Facebook使用了三种深度学习应用来过滤上传的内容，比如：一种用于识别上传的图片中的人脸并进行标注，一种用于检查帖子中的仇恨言论或其它客观内容，一种用于定向广告。

　　英伟达首席科学家兼研究部门高级副总裁BillDally说：“让我惊讶的是深度学习革命的速度是如此之快。在过去三年中，各种应用几乎在一夜之间就完成了从传统方法向深度学习方法的转变。这不需要在软件上进行大量投入；你找到应用，再训练网络，然后就完成了。这在一些领域里已经得到了普及，但对于每一个已经转向神经网络的应用，还可能还会有多次转变。”

　　据麦肯锡的研究：尽管科技行业内已经采用AI实现或改进了其它服务或增加了新服务给客户，但在科技行业之外，对AI技术的采用还大都是实验性的。在受调查的3000家公司中，仅有20%表示它们在业务中的重要部分使用了与AI相关的技术。麦肯锡调查了160种AI用例，发现其中仅有12%实现了AI的商业部署。

　　换个角度看，也就是说有88%的公司仍然还没有实现AI的商业部署，所以其中还有巨大的机会。谷歌和百度等科技巨头则相反，它们在2016年中投入了200亿到300亿美元，其中90%投入了研发，10%用于收购。

　　深度学习是下一个大事件

　　据西门子旗下Mentor的传感器融合部门首席工程师NizarSallem说，深度学习可能不仅在客户服务和分析上表现优良，而且也是用于自动驾驶汽车所需的即时感知、决策和控制的主要候选系统。

　　Sallem说：“机器学习最重要的应用是基于交通规则和汽车当时所在位置的预期理解汽车周围的环境、道路上不同的行为者和背景。它必须确定你的行为应该会怎样，还要确定什么时候允许你打破规则以避开危险或保护汽车中的人类。”

　　市场预测

　　不管AI技术可能将会有多么能干，它目前仍还处于起步发展阶段。据Tractica的一份报告，主要的服务提供商还仍然是已有的科技公司，最赚钱的还仍然是面向消费者的服务。其中包括谷歌的语音转文本和翻译服务以及来自亚马逊、Facebook、百度等公司的消费者交互/客户服务应用。这份报告估计2016年AI驱动的消费者服务价值19亿美元，并将在2017年年底增长至27亿美元。

　　Tractica估计AI的整个市场（包括硬件、软件和服务）将会在2025年增长至421亿美元。

　　机器学习即服务（MLaaS）是一个不同的类别——亚马逊、IBM和微软占据了其中73%。据TransparencyMarketResearch（TMR）在今年4月份的一份报告称，这个市场将从2016年的10.7亿美元增长至2025年的199亿美元。

　　据Tractica称，目前大多数使用了机器学习的服务都是面向消费者的——这个类别中包括谷歌的翻译和语音转文本应用，这些应用为其客户级TPU提供了概念证明。

　　客户变成竞争对手

　　深度学习的出现也凸显出了半导体行业与其最大的客户之间的日益复杂的关系——尤其是谷歌等超大规模数据中心的所有者，这些公司的规模非常大，足以开发设计它们自己的服务器和芯片。

　　多年以来，芯片公司一直都在开发或定制满足特定的云客户的需求的芯片。以英特尔为例，它为微软开发了FPGA深度学习加速器，还为阿里巴巴的云客户开发了基于FPGA的应用加速器。英特尔还邀请了Facebook来帮助设计英特尔推出的Nervana神经处理器的封装以及即将到来的用于深度学习的“LakeCrest”ASIC。

　　谷歌已经宣布了其它芯片，比如新闻报道的该公司为其Pixel2手机开发了一款机器学习协处理器，这也是其第一款移动芯片。谷歌也已经开发出了Titan，这是一款连接到服务器的微控制器，可以确保服务器在板上出现故障、损坏或感染了恶意软件时不会启动。

　　谷歌在解释其对第一款TPU的投资时说TPU可以“为机器学习在单位功耗下的性能带来一个数量级的优化”并能将谷歌的机器学习应用向前推进大概七年时间。第一款TPU的设计目的只是加速运行机器学习模型的推理的普通服务器，而不是为了一开始的模型训练。因此，它们不会与英伟达或英特尔的机器学习训练产品直接竞争。

　　当谷歌在5月份宣布了CloudTPU时，听起来似乎就将与英特尔和英伟达的产品进行更加直接的竞争了。

　　谷歌描述说，每个CloudTPU都有180teraflops的浮点运算性能，将4个TPU封装成一个TPUPod可以实现总共11.5petaflops的性能。这种配置似乎是为了与英伟达备受关注的DGX-1“超级计算机”竞争而设计的。DGX-1包含8个顶级的TeslaV100芯片，并声称总体最高吞吐量达1petaFLOP。

　　云上的竞争

　　Dally说：“谷歌和其它一些公司没使用加速或只使用TPU取得了一些早期的成功，但有些网络是很容易训练的；标准的图像搜索就很简单。但对于需要处理越来越多信号的训练（处理图像和视频流）以及对于每周都要重新训练网络的人或重点关注训练过程的人，GPU要高效得多。”

　　据Cadence的IP组的前CTOChrisRowen说，问题是来自谷歌的一款新处理器是否足以夺走其它公司的客户，答案可能是“不能”。任何云提供商都必须支持不止一种架构，所以使用了深度学习的数据中心将会是CPU、GPU、ASIC、FPGA和各种技术的IP的混合。Rowen现已创立了CogniteVentures公司，为神经网络、物联网和自主式嵌入式系统领域的创业公司提供资金和建议。

　　Rowen说，某些训练负载也可以转移，从而让客户端设备也能具备数十亿个推理引擎。在这一领域，很多公司肯定都有机会；但是对于在数据中心服务器上进行的机器学习训练，新进入的公司很难取代已经站稳脚跟的玩家。

　　Rowen说：“我们希望有所选择，理由很充分，但选择也非常多，而且英特尔、高通和其它公司也都在关注。不能因为你有一个用于智能手机的神经网络，就假设你的生产制造能超越三星，这种假设可不好。”