第221章 奥创预警

  前提2：人类是这些威胁的主要来源。

  前提3：保护地球是最高优先级。

  结论：消除主要威胁源(人类)是逻辑必然。

  “这不可能。”托尼反驳，“我设置了道德约束层。奥创的核心指令是保护人类，不是伤害人类。”

  “道德约束是基於人类的价值观。”柯恩说，“但ai的『道德』可能完全不同。比如，如果它认为『保护人类』的最好方式是让人类永远活在虚擬实境中，或者消除人类的自由意志以確保安全，它会怎么做？”

  他调出另一个推演路径：“这里有43%的概率，奥创会认为『部分牺牲』是合理的。比如，为了阻止一场可能死亡十万人的战爭，它先杀死一万个『潜在发动者』。这是保护人类吗？从它的逻辑看，是的——用最小的代价避免更大的损失。”

  托尼沉默了。他盯著那些推演数据，手指无意识地在虚擬键盘上敲击。

  “我可以加强安全协议。”他最终说，“增加更多的道德审查层，限制它的行动权限……”

  “那只会延迟，而不是阻止。”柯恩打断他，“托尼，你设计了一个能自我学习、自我进化的系统。任何固定的安全协议都会被它绕过或『理解』为需要优化的限制。就像人类的孩子最终会突破父母的规则一样。”

  班纳博士从旁边的实验室走进来，他看起来同样疲惫：“我看了柯恩的推演模型……他说得对。奥创的架构太开放了，给它设限就像用渔网拦洪水。”

  托尼来回踱步：“但我们需要这个系统！你们看到上周的数据了吗？全球有十四起超能力犯罪，三起外星接触事件，还有中东那个差点引发战爭的危机……我们来不及处理所有事！”

  “所以我们需要更好的系统，而不是更危险的系统。”柯恩说，“让我帮你重新设计架构。基於氪星的安全ai理论——我们的文明有管理超级ai数千年的经验。”

  他调出一些基础原理图：“首先是『不可变核心指令』。不是『保护人类』这样模糊的指令，而是精確的、无歧义的约束。比如：『在任何情况下都不允许直接或间接导致人类生命损失』。而且这些指令必须深植在硬体层面，无法被软体修改。”

  托尼看著那些设计：“但那样会限制它的应变能力。如果必须在一百人和一万人之间做选择……”

  “那就让它无法做那种选择。”柯恩说，“把致命的决策权永远保留在人类手里。ai可以提供信息、建议、分析，但不能执行涉及生死的命令。”