HAL 9000 (2001: A SPACE ODYSSEY) Explained
我们如何阻止未来A.I.不遵守命令并选择走自己的路？这可能听起来像是情节 2001年：太空漫游 但是有一位专家声称这是我们可能已经开始考虑的事情。当然，我们可以关闭谷歌搜索算法，如果它曾经是流氓，但面对财务和法律后果，说起来容易做起来难。在未来，随着我们越来越依赖于更先进的A.I.，它可能被证明是不可能的。
“这个算法并没有刻意设计 本身 不可能重新启动或关闭，但它是这样共同演变的，“人类未来研究所研究员斯图尔特阿姆斯特朗周三在海盗峰会上说。这意味着无意中导致的改变可能难以纠正，并且可能不是第一个A.I.在那种情况下找到自己。
艾萨克·阿西莫夫（Isaac Asimov）的解决方案是机器人技术的三个定律，它们很难对不会对人类造成伤害的想法进行编码。问题是，伤害是相当主观的，并且可以解释。人类更多地关注价值观，比如理解造成伤害和解释情况是不好的，而不是制定一些他们永远不应该伤害的硬性规则。
“正是因为这种问题，人们现在更热衷于利用机器学习来获取价值，而不是试图用这种传统方式对它们进行编码，”阿姆斯特朗说。 “价值稳定，其他方面不是A.I.价值观本身就是自我保护。“
但即使在这些情况下，设计A.I.也很重要。使它们在运行时可以中断。安全中断允许安全的策略更改，这可以避免学习值的意外后果。如果HAL 9000试图阻止吊舱门打开，重要的是我们可以识别出A.I.的值被弄乱，并且在不使系统脱机的情况下进行干预。