这个帖子里有很多不错的回复，由于需要注册，大致整理一下：
1.
「未来会出现一个超级AI且这个AI必然是邪恶的」这个前提是想象出来的。
1.1、
它没有说明为什么这个AI必然是邪恶的；
1.2、
它没有说明为什么这个AI只有一个。只要出现了一个AI，就说明在接近无限的未来中，还会出现接近无限个这样的AI，怎么保证这些AI全部都是邪恶的？
就算所有AI都是邪恶的，怎么保证它们都会跟你做同样的交易？
进一步说，怎么保证AI会遵守自己的承诺？既然这个AI是邪恶的，那它完全有可能毁约；
归根结底，人类为什么要受这个AI威胁？如上所述，人类的正确做法不是答应AI的要求，而是反过来威胁AI：如果你威胁我，我就用同样的方式创造一个同等的AI来对抗你
2.
也有其他的回答提到了，这个AI在定义上非常接近基督教的全知全能的神，
如果它全知全能且邪恶，那么它想搞你的话，和你做不做、做什么完全没有关系；
再说，人家都全知全能了，为什么还需要你来选择？
3.
4.
5.
