好的开端？
鉴于阿西莫夫三定律是第一个真正试图解决人工智能行为问题的方案，那么就算是超级人工智能，它能不能也起到一定效果——或者至少有所启迪呢？
“老实说，我真没从机器人三定律里获得什么灵感，”海尔姆说。“机器伦理学的共识是，它无法成为机器伦理的合适基础。”三定律的确广为人知，但现实中无论是AI安全研究者还是机器伦理学家，都没有真的使用它作为指导方案。
“原因之一是这套伦理学——我们称之为‘义务伦理学’（deontology）——作为伦理基础是行不通的。依然有几个哲学家试图修复义务伦理学体系，但同一批人常常也热衷于‘智能设计’或者‘神命论’之类的东西，”海尔姆说，“没几个人严肃对待他们。”
按照义务伦理学，一项行为合不合道德，只决定于行为本身是否符合几条事先确定的规范，和行为的结果、动机等等完全无关。
他总结了三定律的几处缺陷：
·内在的对抗性
·基于有缺陷的伦理框架（义务伦理）
·不被研究者接受
·哪怕在科幻文学里也会出问题
格策尔表示赞同。“设立三定律的目的就是以有趣的方式出问题，这也正是为何围绕它们的小说如此有趣，”他说，“所以三定律只在这个意义上有指导作用：它 告诉我们，用具体的定律来规范道德伦理是必定行不通的。”三定律在现实中完全无法运作，因为其中的术语太模糊，受制于主管解释。
歧视机器人？
三定律的另一个侧面是显而易见的基质沙文主义——按照定律，就因为机器人的躯体是硅做的，不是血肉之躯，他们就必须遵从人类的需求，不管他们有多么强大的能力也没用。
“百分之百，”格策尔说，“阿西莫夫的未来社会是光天化日的基质沙文主义，人类拥有的权利比人形机器人的权利更多。三定律的目的就是维持这种社会秩序。”
但是，如果真的出现了和人类一样聪明一样可爱一样有能力自主决策的机器人，我们还应该因为他们是“人造”的而不给他们平等权利吗？
海尔姆的视角略有不同，他认为，如果我们真的身处这样的场景，那我们已经走得太远了。
“我认为设计有意识、有自我觉知的人工智能或机器人，本身就是很不明智的，”海尔姆说，“而且，虽然那些电影小说里AI研究者常常‘不小心’就搞出了有 意识的人工智能，我认为这在现实中不可能发生。人们不可能纯靠好运碰上意识，需要大量的努力和知识才行。而且大部分AI研究者都是遵循伦理的人，他们会避 免创造出哲学家所谓‘有道德意义的存在体’。毕竟，他们完全可以创造出不具有内在道德问题的高阶思考机器嘛。”
因此，关于设计不对称定律、管理机器人价值的问题，海尔姆并不太在意。他认为未来的AI研究者只需少许道德约束即可。
“话虽如此，我认为人类也是原子组成的，所以理论上也可以人工合成一种生命形态或者机器人，让它拥有道德意义，”海尔姆说，“我希望没人会真的这么做， 大部分人应该也不会做。但恐怕不可避免地，总会有些好炫耀的傻瓜为了追名逐利而第一个做些什么事情——任何事情——哪怕是如此不道德、如此愚蠢的事情。”
三定律2.0？
三定律有显而易见的缺陷，能否用修正或者补丁之类的挽救它呢？而且确实有很多科幻作家这么尝试过，多年来有不少修正版本。
“不，”海尔姆说，“三定律不会有补丁。不存在能挽救它的办法。”
除了太不自洽、无法实现之外，海尔姆说，三定律本质上是对抗性的。
“我更偏爱的机器伦理路线是更合作性的、更自我一致的，而且更多使用间接规范性，这样就算系统一开始误解了或者编错了伦理规范，也能恢复过来，抵达一套合理的伦理准则。”海尔姆说。
格策尔呼应了海尔姆的观点。
“定义一套伦理原则、把它作为机器伦理的核心路线，恐怕毫无希望——如果我们讨论的是灵活的人工通用智能（AGI）的话，”他说。“如果AGI拥有直 觉、灵活、适应性的伦理观，那这些伦理原则对它来说可以是有用的基本指南，帮助它使用它自己的伦理直觉。但这样的话，这些原则就不是它的核心了，只是一个 侧面。人类就是这样的——我们学会的伦理规范是有用的，但用法只是指引我们的伦理本能和直觉而已。”
如何建造安全AI？
既然定律路线行不通，那么应该怎样保证AI不会毁灭人类呢？
“AGI研究者里，很少有人相信能造出一个百分之百安全毫无隐忧的系统，”格策尔说，”但这对于大部分人来说并非什么困扰，因为说到底，人生中也没什么东西是百分之百的。”
格策尔相信，一旦我们造出了早期AGI系统，或者至少是比我们现有东西强大得多的AGI原型机，我们就可以通过研究和实验获得多得多的AGI伦理学信息。
“希望这种方式下我们能建立良好的AGI伦理学，让我们能更清晰地理解这个话题，”他说，“但目前为止，研究AGI伦理理论还是很困难的，因为我们既没有很好的伦理理论，也没有很好的AGI理论。”
他又说：“对于那些看《终结者》看多了的人，这听起来估计有些吓人——我们试图建立AGI，但却认为只有在我们试验过原始AGI系统之后才能得到相关的坚实理论。然而，绝大部分激进的进展都是这么发生的。”
电影《终结者》可能是最著名的机器人末日场景之一：高度发达的机器人和人类开战，毁灭了大部分人类文明。
“当一群聪明的原始人发明语言的时候，他们是等到一套成熟的语言形式理论出现、用它预测了语言引入社会后的未来影响，然后才动手的吗？”
这一点上两位受访者又取得了一致。海尔姆所在的机器智能研究所花了很长时间考虑这件事情——简短的答案是，这还不是个工程学问题。需要更多研究。
“这么说是什么意思？我在机器智能研究所的同事卢克·穆豪森总结得很好。他说，问题总是从哲学领域移到数学领域再到工程领域，”海尔姆说，“哲学提出有 意义的问题，但这些问题常常太不精确，没人能知道一个新答案是否意味着我们又进了一步。但如果我们能把重要的哲学问题——智能，本体，价值——复述成足够 精确的数学，要么对要么错；接下来就可以建立模型，在此基础上成功扩展，总有一天能够用作真实世界的工程目的。”
海尔姆说，这是科学和哲学里的一个真正难题，但是进步依然是可能的：“我怀疑哲学能不能只靠自己解决它，毕竟过去三千年里它似乎没有什么特别显著的进展。但是我们也不能凭现有这点粗浅的了解就去编程。我们还需要大量的理论研究。”
