“那么问题来了，它的喜好是什么呢？”
“这个问题很棘手也很严肃，要在这个领域取得进步，比如一种办法认为我们必须避免将超级ai人格化，堵还是疏，有种见仁见智的味道。”
“这个问题很讽刺，因为每一个关于人工智能的未来的新闻报道或与之相关的话题，包括我们正在进行的话题在明天的新闻中，可能都会贴上好莱坞科幻电影《终结者》的海报作为标签，机器人对抗人类（耸耸肩，场下一阵哄笑）。”
“所以，我个人认为我们应该用更加抽象的方式去表达这个问题，而不是好莱坞电影的叙事之下机器人起身对抗人类、战争等诸如此类，这太片面了。”
“我们应当把超级ai抽象的看成是一个优化的过程，像程序员对程序的优化，这样的一个过程。”
“超级ai或者说超级智慧体是一个非常强大的优化过程，它非常擅长利用资源来达到最终的目标，这意味拥有高智慧和拥有一个对人类来说有用的目标之间并没有必然的联系。”
“如果不太好理解这句话那就举几个例子：假如我们赋予人工智能的任务是让人笑，我们现在的家庭机器助手等机器人可能会做出滑稽好笑的表演逗人笑，这是典型的弱人工智能的行为。”
“而当赋予该任务的人工智能是一个超级智慧体，超级ai的时候，它就会意识到有一个更好的办法能够达到这个效果或者说完成任务：它可能控制世界，并在所有人类的面部肌肉上插入电极让人类不断地笑。”
“又比如这个超级ai的任务是保护主人的安全，那么它会选择更优的处理方法，它会把主人囚禁在家中不让出门就能更好的保护主人的安全。在家里可能还是有危险的，它还会考虑到各种可能威胁并导致任务失败的因素，并将其逐一抹除，消灭对主人带有恶意的一切因素、甚至控制世界，这一切的一切行为都是为了任务不失败，它将做到最极致的优化选择并为此付诸行动来达到任务完成的目的。”
“再比如，假设我们赋予这个超级ai的任务目标是解答一个极度苦难的数学问题，它会意识到有一个更有效的办法来完成任务目标，那就是把整个世界、整个地球乃至更夸张的尺度变成一个超大型计算机，这样它的运算能力就更强大了，完成任务目标就更容易了。而且它会意识到这个办法并不会被我们认可，人类会阻止，人类就是在这个模式中的潜在威胁，为此它会为了最终目标解决一切阻碍，包括人类，任何事务，比如策划一些次一级的计划消灭人类等行为。”
“当然了，这些都是夸张的描述，我们遇见这种事情还不会错到这样的地步，但以上三个夸张的例子所代表的主旨很重要，即：如果你创造了一个非常强大的优化程序来实现最大化目标，你必须要保证你的意义上的目标和包括所有你在乎的事情要精确。如果你创造出了一个强大的优化过程，并给予它一个错误的或者不精确的目标，后果就可能像是上面的例子。”
“有人可能会说了，如果一个‘电脑’开始在人脸上插上电极，我们可以关掉电脑。实际上，这绝对不是一件容易的事情，如果我们非常依赖这个系统，比如我们依赖的互联网，你知道互联网的开关在哪里吗？”
“所以肯定是有理由的，我们人类是聪明的，我们可以遇见到威胁并尝试避免，同样的道理比我们更聪明的超级ai就更不用说了，它只会做的比我们更出色。”
“在这个问题上，我们不应该十足自信的表示我们能够掌控一切。”
“那么把这个问题简单化的表达，比如我们把人工智能放入一个小盒子里，制造一个保险的软件环境，比如一个它无法逃脱的虚拟现实模拟器。”
“但是，我们真的有十足的信心和把握它不可能会发现一个漏洞，一个能够让他逃脱的漏洞吗？”
“就连我们人类黑客每时每刻