半岛彩票布莱恩•克里斯在其著作《人机对齐》中，为我们描绘了一个与日俱增的现代困境。随着人工智能技术的迅猛发展，我们好似置身于一部现代版的“魔法师学徒”的故事中。如同初出茅庐的巫师，我们召唤出强大而不可知的力量——人工智能。我们给它下命令，期望它既能自主运作又能绝对服从。但当我们意识到指令的不完整或不精确时，又陷入惊慌失措，拼命阻止它，担心自己的智慧不慎唤出了某种无法控制的怪物。
《人机对齐》，布莱恩•克里斯汀 著，唐璐 译，湖南科学技术出版社2023版
这种情境引发了一系列问题：如何防止人工智能偏离我们的预期，造成灾难性的背离？我们该如何确保它能够理解并遵循我们的规范和价值观？最关键的是，我们怎样才能确保人工智能按照我们所期望的方式行动？这就是所谓的“人工智能对齐问题”（the AI alignment problem）。它目前已经超越“人工智能安全”（the AI safety）,成为人工智能领域中最为核心和紧迫的议题之一。
那么，究竟什么是“人工智能对齐”？为什么这个概念在当今世界如此重要？让我们先放下技术细节，转而关注一个之前的热点新闻。如果让我来评选2023年度人工智能十大事件，“ChatGPT之父”山姆奥特曼和OpenAI董事会的“宫斗剧”一定会名列榜单。回溯到2023年11月17日，OpenAI这家举世闻名的人工智能初创公司突然宣布解雇其CEO山姆奥特曼。随后的5天里，经历了一系列复杂的政治纷争，被罢免的奥特曼又重返高位。这场发生在硅谷的内斗，被外界广泛视为人工智能领域的“灵魂之战”。
争端背后，其实折射出对人工智能未来两种截然不同的视角。一方面是我所称的“人工智能技术加速主义”，代表人物就是山姆奥特曼。他们主张无条件加速人工智能技术的创新发展，并快速推出创新内容来颠覆社会结构，让人类随着技术的进步而进化。另一方面则是“人工智能对齐主义”，这一派的代表人物是要把山姆奥特曼赶出董事会的首席科学家伊利亚苏茨克维。他们认为，人工智能虽然能力强大，但在道德和伦理层面仍然存在混沌，我们在弄清楚它的本质之前，最好持谨慎态度。
在OpenAI内部的这场纷争中，一个深刻的问题浮现出来：随着人工智能技术的飞速发展，我们是否已经做好准备迎接超级人工智能的诞生？许多研究者强调，在这种强大的智能形式出现之前，解决人工智能对齐问题是至关重要的。那么，人工智能对齐究竟是什么呢？简而言之，人工智能对齐就是确保人工智能系统的目标、决策和行为与人类的价值观和利益相一致，避免出现人工智能选择执行与人类意图不一致的行为。
这种对齐不仅是技术层面的挑战，更涉及深层的伦理和道德问题。它要求我们在推进技术的同时，也要考虑如何使这些强大的工具服务于人类的长远利益。如果处理不当，可能导致不可预测的后果：人工智能的行为可能会背离我们的意图和利益，甚至可能带来无法预料的灾难。
2018年，在美国亚利桑那州坦佩市，一辆优步自动驾驶汽车撞死了过马路的伊莱恩赫尔茨贝格。美国国家交通安全委员会的审查发现，造成这一悲剧的原因之一，在于“系统从未将她归类为行人……因为她在没有人行横道的地方过马路；该系统的设计没有考虑乱穿马路的行人”。这个案例突显了人工智能对齐在自动驾驶领域的至关重要性。仅仅遵循交通规则是不够的，我们还需要确保：在保护乘客和行人安全方面，自动驾驶汽车的人工智能系统，能够做出符合人类道德和伦理标准的决策。
2023年12月底，杭州市上城区网警破获的一起重大勒索病毒案件，进一步揭示了人工智能对齐问题的复杂性。该犯罪团伙成员都具备网络安防的专业资质，并在犯罪过程中利用ChatGPT优化其程序。这些犯罪分子分工合作，一方面编写勒索病毒，另一方面借助ChatGPT进行程序优化，最后实施网络敲诈勒索。这一事件不仅展示了人工智能技术在误用时的潜在危害，也凸显了防止其被用于有害目的的重要性。
在《人机对齐》中，布莱恩•克里斯也列举了一系列引人深思的实例：越来越多的美国州法和联邦法，允许使用“风险评估”软件来决定保释和假释。越来越多的自动驾驶汽车，在高速公路和城市的大街小巷中穿梭。贷款申请、求职简历甚至医学检查的结果，往往不再需要人工审核便可得出。这种趋势仿佛表明，21世纪初的人类正试图将社会的管理交给人工智能，就像将驾驶汽车的任务交给自动驾驶系统一样。
然而，这里存在一个极为关键的问题：如果人工智能模型缺乏价值观对齐，它们可能输出具有种族或性别歧视的决策，协助网络黑客编写用于网络攻击和电信诈骗的代码，或者在更极端的情况下，它们甚至可能试图说服或帮助有自杀念头的用户结束自己的生命。这些例子清楚地表明：我们需要确保人工智能系统不仅在技术上高效，而且在道德和伦理上符合人类社会的基本价值观。
因此，为了确保大模型的安全性、可靠性和实用性，我们必须防止它产生有害输出或被滥用。2024年1月，谷歌DeepMind的机器人团队宣布了一项雄心勃勃的计划：建立一个名为“AutoRT”的系统。这个系统将作为“机器人宪法”，指导机器人在收集和使用训练数据时的行为。这部“机器人宪法”的构思，明显受到科幻作家艾萨克阿西莫夫“机器人三定律”的启发。这三条定律要求：机器人不得伤害人类或见人受伤而无动于衷；应服从人类的命令，但这些命令不能与第一条定律相冲突；机器人应保护自己的安全，但不得违背前两条定律。
“机器人宪法”将通过“以安全为重点的提示”来指导大语言模型，避免选择可能对人类和动物造成风险的任务。这不仅仅是一种技术上的限制，实际上，它代表着对人工智能进行道德编码的一种尝试，确保它的行为和决策过程符合人类的伦理和道德标准。通过这样的措施，我们可以朝着创建更加可靠和负责任的人工智能系统迈进。
实现人工智能对齐无疑是一个错综复杂的挑战，目前这个领域还没有找到一个完全的解决方案。然而，科学家们已经提出了一些富有前景的方法和思路。其中之一是利用人类反馈来训练人工智能系统。这意味着研究者们需要对人工智能的行为进行持续的监督和评估，以便及时发现并纠正任何与人类价值观不一致的行为，进而对系统进行调整和改进。此外，也可以开发人工智能系统以辅助人类进行这种评估，确保其决策过程更加透明和可靠。甚至，可以考虑专门训练一个用于人工智能对齐研究的人工智能系统，以更深入地理解和解决对齐问题。
在这篇文章中，我们不会深入探讨上述这些技术细节，但是，无论选择何种技术路径，都必须面对一个核心问题：如果让人工智能遵循人类的价值观，它究竟应该向谁看齐？
斯坦福大学的计算机科学家斯特法诺埃尔蒙（Stefano Ermon）曾指出，虽然大多数人都认同人工智能对齐人类价值观这一理念，但挑战在于定义这些价值观究竟是什么。毕竟，不同文化背景、社会经济地位和地理位置的人们对价值观有着截然不同的理解。
以ChatGPT等大模型为例，它们大多由美国公司开发，并以北美数据为基础进行训练。因此，当这些模型被要求生成各种日常物品时，他们会创建一系列美国式的物品。随着世界充满越来越多人工智能生成的图像，反映美国主流文化和价值观的图像将充斥在日常生活中。这不禁让我们思考：人工智能是否会成为一种文化输出的工具，从而在全球范围内影响其他国家和文化的话语表达方式？
在这个阶段，我们面临着选择合适价值观的挑战。这里的难题并非仅仅让人工智能模仿人类，而要决定它应该模仿怎样的人类特质。人类本身的不完美性——包括多样化的价值观、个人偏好、缺点，乃至歧视倾向——都可能无意中被编码进人工智能。在为人工智能制定价值观时，除了要寻找不同文化和价值观之间的共识，还要考虑如何融合这些共识，来塑造一个更全面、更公正的人工智能。这就要求我们开发出更先进的道德和伦理规则，以确保人工智能不仅反映人类的优点，同时也能避免我们的缺陷。
为此，我产生了一个更加激进的想法，为什么人工智能对齐一定要和人类对齐？也许我们应该探索一种与人类截然不同的、独立于人类局限性之外的价值体系。2018年，人类未来研究所的尼克博斯特罗姆说过这么一句话：“人类的技术能力和人类的智慧在进行一场长距离赛跑，前者就像疾驰在田野上的种马，后者更像是站不稳的小马驹”。这个比喻不仅揭示了技术发展和人类智慧之间的失衡，也暗示了我们在构建人工智能价值观时可能存在的狭隘视角。
也许，在人工智能的发展中，我们不应该局限于模仿人类现有的思维和行为模式。相反，我们可以探索更广阔的可能性，例如基于人类理想中的伦理和道德原则，甚至完全超越人类经验的新型智能。人工智能模型应该超越人类能力的局限性，而不仅仅是复制人类能力的局限性，这才是人工智能对齐故事中最激动人心的一幕。它给了人类一个审视自我的机会。这种全新的价值观对齐方式，可能是我们在面对不断发展的技术时所需的一次重大飞跃。（作者胡逸为大数据工作者）
