人工智能正渗透到我们现代生活的每一个角落，人工智能可以在Facebook上给你发布的图片上的朋友贴上名字的标签，或者帮你选择在Instagram上看到的图片，而材料科学家和NASA研究人员也开始使用人工智能来帮助发现新科学和太空探索。
　　但这一技术存在一个核心问题，无论是在社交媒体上还是在火星漫游车中使用过程中，因为建造它的程序员都不知道人工智能做出每一个决定的原因。
　　现代人工智能仍是一种新事物，在过去的5年，大型科技公司对于人工智能的投资和研究才刚刚开始。而在此之前，已有几十年历史的关于人工智能的理论最终在2012年得到了证实。受人脑的启发，一个人工神经网络依赖于“神经元”之间的成千上万个微小的连接，或者是小范围一串串的数学计算，这类似于大脑中神经元的连接系统。但这种软件架构给我们带来了一种新的权衡：由于数百万个连接的变化如此复杂和微小，研究人员无法准确地确定正在发生的连接结果，他们只会得到一个输出的结果。
　　“随着机器学习在社会变得越来越普遍而且风险越来越高，人们开始意识到我们不能把这些系统当作可靠和公正的保险箱，”Hanna?Wallach在一封电子邮件中告诉Quartz，他是微软的高级研究员，也是会议的发言人。“我们需要了解它们内部发生了什么，以及它们是如何被使用的。”
　　执行关键任务的人工智能
　　在美国国家航空航天局的喷气推进实验室中，人工智能能够让火星探测器在探索未知行星表面时能够半自主地运行。人工智能还被用于进行梳理探测器在传回地球时拍摄的数千张照片的过程中。
　　Kiri Wagstaff是JPL的一名人工智能研究人员和发言人，他说，由于每一个决定都带来了巨大的风险，在使用人工智能之前，我们需要完全理解它的每个决定。
　　“如果在火星轨道上有一艘宇宙飞船，这代表说它就在2亿英里之外，并且需要数亿美元的费用，甚至可能是十亿美元。如果出了什么问题，一切都难以挽救了。”Wagstaff说：“不花费大量的金钱的话是没有办法修复、访问、或者替换这些东西的。因此，如果我们想让机器学习发挥作用，那么让机器执行这些任务的人需要了解它需要做什么，为什么要去做这个行为，因为如果机器人不知道自己为什么要做出选择，人们为什么会信任它来控制他们昂贵的火星探测器或轨道飞行器呢？”
　　Wagstaff正致力于通过NASA的各种航天器在太空中捕捉到的图像建造人工智能对它们进行分类，由于这些图片的数量可以达到数百万，所以如果人工智能在这庞大的数据库中识别出有趣的照片，那么我们可以节省很多时间来找到我们想要看到的这些照片——但前提是人工智能知道一个“有趣”的图像是什么样的。
　　对Wagstaf而言，他觉得理解人工智能的目的是实现特定算法的关键。如果执行机器学习过程中在如何使用图像方面存在计算错误，那就意味着数据转移的任务成本价值数百万美元以上。
　　Wagstaff说：“当你看到一个电脑说‘这很有趣，让我看一看这张图片’时，你就会处于不确定的状态，因为你自己没有完整的看过这百万张照片，你不知道这些哪些是有趣的，或者为什么这是有趣的。”“图片有趣是因为它的颜色，因为它的形状，或者因为场景中物体的空间排列顺序吗？”
　　隐藏的知识
　　2007年，康奈尔大学的人工智能教授安德鲁⋅戈登⋅威尔逊与一个团队合作开发了一种新型PET扫描机。由于某些粒子在这台机器上与像其他一般的粒子表现的不一样，他的任务是追踪某个粒子穿过一盒氙气的过程。
　　他的顾问建议尝试使用神经网络来进行监测，而神经网络在当时还是一种比较模糊的概念。利用这种技术，威尔逊能够利用粒子发出的光将其定位在该盒氙气中。
　　当他得到了他想要的答案之后，威尔逊表示利用该算法用来理解光如何表示粒子位置的内部规则之后，可能将会为接下来的研究开辟了一条新的道路。
　　威尔逊说：“在某种程度上，一个模型是我们观察得出的理论，我们不仅可以利用模型进行预测，还可以更好地理解为什么这种预测方向是正确的，以及这些自然过程是如何运作的。”
　　解读能力
　　不过微软研究人员Wallach说，要在解释性语言能力上开辟新领域，最大的挑战之一就是怎样简单地定义它。
　　解读能力是否意味着人工智能专家知道为什么Facebook数据的算法会向每个人展示一个特定的帖子，或者说，这是一种能让你了解自己的方式？使用人工智能治疗推荐系统的医生是否需要知道为什么采用特定的建议治疗方案，或者说我们还需要在医院里创建另一个角色——人工智能监测人员？
　　Wallach称解读能力是一种潜在的构想：一种无法察觉的东西，但却被测试了真实的人们如何正确或错误地使用人工智能系统。这不仅仅是提升算法观察以及引擎运行的方式。
　　了解一种算法并不仅仅是为了防止局限性或确保你的火星漫游者不会从太空悬崖上掉下来，而是可能可以帮助人工智能研究人员建立更精确的系统。
　　优步公司的Yosinski说：“如果你不知道这个系统不工作的原因，要提高它的性能是相当困难的。”“通常情况下，如果你知道它为什么会工作失败的话，最后必然会找到一个解决方案。”
　　为了弄清楚其中一种算法是如何思考的，谷歌正试图对每次通过算法处理图像时进行的数百万次计算过程进行层层筛选研究。在NIPS大会上发表的一篇论文中，通过观察树皮和鸟的互动联系，谷歌研究人员Maithra Raghu展示了她修复的之前有问题的哑铃与机器人手臂之间的联系。
　　当人工智能研究鸟类的图像时，我们可以观察到人工智能网络中哪些神经元被激活，而Raghu能够通过这些数据确定哪些神经元专注于鸟的叫声或者集中在树皮上，最后再把树皮神经元关掉看看会有什么结果。取得这一成功意味着尽管人工智能是一个复杂的产物，但将神经网络的工作转化为人类所理解的东西并非是不可能的事情。
　　Wagstaff说：“在学校里，我们要求学生用自己的理解来证明他们学到的东西，并展示这些来证明他们的理解是正确的。”“现在我们希望机器也能做同样的事情。”