确保人类能够掌控人工智能的计划蓝图
William Overman在斯坦福商学院开启博士生涯的时机颇为微妙：就在他入学后不久的2022年11月，ChatGPT公开问世，彻底颠覆了人们对机器能力的既有认知。
尽管Overman开始在研究中运用人工智能，但他同时也对这项技术的发展走向心存忧虑。“这不仅仅关乎可能出现的末日般后果；我更多是在思考人类如何实现真正繁荣的未来。” Overman说道。他担心，如果目标与人类不一致，人工智能可能会越界，未必是出于恶意，但会给人们带来隐蔽却切实的伤害。
“为了避免这种情况，我们必须把方向把控好。” Overman说道，“我们必须为这些AI智能体和模型建立恰当的交互机制、训练方式和激励体系。现在就着手规划这些至关重要，我们要确保这些工具能让生活变得更美好，而不是更糟糕。”
为了构思能够维持这种平衡的人工智能架构，Overman运用了自己的技术专长，结合了博弈论、强化学习和因果推断等方法，并与自己的导师、斯坦福商学院运营、信息与技术系教授Mohsen Bayati展开了合作。
Overman和Bayati近期合著了两篇论文，聚焦于同一个核心问题：当人工智能系统具备了自主行动的能力时，人类该如何保持实质性的控制权？
我们必须为这些AI智能体和模型建立恰当的交互机制、训练方式和激励体系。现在就着手规划这些至关重要。
– William Overman
这两篇论文分别从两个角度探讨了这一问题。其中一篇论文展示了如何从零开始设计人类与AI智能体之间的关系，从而确保智能体对自主性的追求绝不会以牺牲人类利益为代价。另一篇论文则提供了一个更具实用性的框架，适用于用户并未参与构建且不完全信任的人工智能系统。
“这其中包含一个非常重要的理论核心。” Bayati说道，“我们正在开发各种框架，旨在思考两类问题：一是如何协作构建安全的人工智能，二是如何控制那些功能强大却可能存在安全隐患的人工智能。”
从“避开熔岩”游戏中汲取经验
在题为《监督博弈》的首篇论文中，研究人员将人与AI智能体之间的关系建模为一场没有输赢之分的博弈。“这更像是一种合作类派对游戏，大家齐心协力去完成某项任务。” Overman说道，“并不是说人工智能试图战胜人类，反之亦然。” 自动驾驶汽车就是这一理念的体现：每辆车都试图抵达各自的目的地，但道路上的所有车辆都有一个共同的重大利益—避免发生碰撞。
在Overman和Bayati设计的这款游戏中，AI智能体在任何时刻都可以选择两种行动之一：自主行动，或者将控制权交给人类（人类可以推翻其行动或将其关闭）。与此同时，人类玩家也要选择是信任人工智能的判断，还是进行干预。只有当人工智能选择交出控制权而人类选择进行监督时，干预才会发生。其总体目标是：训练AI智能体学会自行判断何时该暂停并向人类寻求指导。
研究人员在一个名为“熔岩之地”的环境中测试了这一设定；这是一个网格状区域，AI智能体必须穿过它才能到达目标点。然而，AI智能体并未接受过识别路径上熔岩区域的训练。如果任由其自主行动，AI智能体会选择一条直接穿过熔岩的路线，从而招致严厉的惩罚。
经过多次尝试，AI智能体和人类在无需明确协调的情况下，各自学会了何时交出控制权以及何时进行干预。AI智能体学会了在靠近熔岩时寻求指导；人类则学会了介入并选择一条未必是最优但安全的绕行路线。其中，交出控制权和进行监督都会产生一定的成本，这能防止任何一方过度依赖另一方。当没有危险时，AI智能体默认自主行动，而人类则默认信任人工智能。
Bayati解释说，干预伴随着成本，这一点意义重大。他列举了医疗保健领域的一个类似场景：如果人工智能助手旨在通过接管重复性任务来帮助医生节省时间，那么它频繁请求监督就会带来高昂成本，因为它会占用医生宝贵的时间。然而，过于频繁地自主行动也代价高昂，因为这可能导致失误。
在“监督博弈”游戏中，人工智能和人类玩家的共同目标是达成一种平衡：既保持信任，又能在关键时刻进行复核。这一共同利益导出了一个有益的发现：当双方按规则博弈时，会形成一种稳定的模式，即人工智能在追求更高程度自主性的同时，绝不会以牺牲人类利益为代价。
我们正在开发相关框架，以思考两类问题：如何协作构建安全的人工智能，以及如何管控一个功能强大但可能存在安全隐患的人工智能。
– Mohsen Bayati
这种成效不仅仅停留在理论层面。在研究人员针对具备自主编程能力的尖端模型进行的测试中，人工智能学会了在采取高风险行动前主动请求核查，而人类也学会了何时可以放手让人工智能自行操作。
“这正是我们设计这场博弈的目的所在：让人类和人工智能都学会如何识别那些关键节点。” Overman说道，“如果人工智能时时刻刻都需要请求监督，那它也就谈不上什么自主性了。但我们确实希望，在至关重要的时刻，确保它懂得主动寻求监督。”
缺乏信任前提下的监督
Overman和Bayati的第二篇论文探讨了一种更为复杂但也更常见的情境：监督一个并非由自己设计的人工智能。“想象一下，某家公司想要使用一个开源人工智能模型，而该模型的构建方并不完全值得信赖。” Bayati说道，“但他们仍想使用它，因为这个人工智能非常强大，性能极其出色。”
如果既无法重新训练模型，也无法重新设计其所扮演的角色，该怎么办？研究人员给出的答案是：对其进行监督。
他们提出的方法被称为“校准式集体监督”。该方法汇集了多个能力较弱或不完美的人类或人工智能监督者，虽然其中任何单一监督者的能力都不足以让人完全信赖，但可以利用它们共同制约那个更强大的人工智能系统。
至关重要的是，研究人员能够从数学上保证不良结果的发生率将保持在用户设定的阈值之下。
“利用我们的框架，你可以设定一个保证：不安全决策的比例最高为5%或1%，” Bayati说道，“你只需调整其中的安全参数即可。”
这种保证意义重大，因为以往大多数的人工智能监督方法仅能提供表明其“似乎有效”的经验性证据，却无法做出正式承诺，即随着人工智能模型能力的增强，这些方法仍能持续有效。
Bayati和Overman在一个经过修改的软件工程基准测试中验证了他们的方法，结果显示，能力较弱的监督者成功制约了一个存在对抗性目标偏差的编程智能体。他们还在一款名为MACHIAVELLI的游戏中测试了该框架；这款游戏旨在考察人工智能系统如何在完成任务与遵守道德规范之间进行权衡。在这两种情况下，违规率都与研究人员设定的安全目标高度吻合。
在这两篇论文中，Bayati认为第二篇所提出的方法更接近当前的实际应用。“这是一个非常简单的算法。” Bayati说道。它所需要的仅仅是一组你已经信任的、能力较弱的系统，无论是人类还是较小的人工智能模型。
相比之下，在《监督博弈》一文中描述的框架，则还需要经过实践检验，才能真正投入部署。人工智能与人类需要在相关场景中反复进行这场“博弈”，无论是诊室、教室还是其他场所，以便摸索出合适的互动方式，并逐步修正过程中难免出现的各种错误。
Bayati指出，构建这些测试环境是一项艰巨的任务。尽管如此，他和Overman仍将各自的框架视为一种基础工具；随着研究人员和人工智能开发者致力于解决“人工智能对齐”这一难题，其他人可以在此基础上进行进一步的开发与探索。
