半岛彩票日前，OpenAi（ChatGPT的研发与提供者） 发生“政变”——创始人 Sam Altman 被罢黜，一众高管离职（并且大有欲“再起炉灶”之势）。
何以至此？或许历史将在不久之后解密。但笔者以为，坊间流传的公司治理、政治乃至个别八卦新闻——一切的纷争都是表面的，最根本的分歧，也许是关键人物对最重大问题的不同看法——即AI安全问题：如何在进一步投资发展以GPT为代表的生成式人工智能与人类安全之间做平衡？是否应该暂缓AI开发，先做好人工智能“对齐”？发展人工智能，是否有其边界？
也许纷争是围绕、基于这些问题展开的；也许纷争是“利用”这些问题展开的。可以确定的是，AI安全、AI的边界、AI对齐是不可忽略的大问题，能够聚拢巨大的政治力量——尤其是当它与资本结合的时候。
最终会如何发展？通过改变OpenAI的管理层，可以减缓AI的发展速度，帮助实现AI“对齐”的目标么？
笔者的判断：估计还会很难。Sam Altman和同盟班底将“另起炉灶”。围绕AI的竞争将变得更加激烈和白热化；AI一定会”无序扩张“，AI对齐也不可能在AI大发展之前实现；“超级”AI引发的奇点注定会到来。
今年的5月30到6月1日，马斯克对中国进行了为期两天的访问。他排的行程很密集，但传出来一则信息是引人注目的。他在推特上说：
当然，马斯克并未对外透露任何具体的讨论细节与方向。此新闻在英文及中文/内地媒体都有报道。
对人工智能进行监管在中国并非新闻。今年4月11日，网信办即发布了《生成式人工智能服务管理办法（征求意见稿）》。这个征求意见稿应该也是因应ChatGPT的推出和风险及时做出的响应，目前内容还比较基本，但是已经纳入了许多重要的原则。就这条《征求意见稿》而言，是先行于其他国家的。
可能不同人的理解是不同的。就马斯克自己而言也一样，他提出的也是不同内涵、维度的风险。
笔者以为，在探讨中，至少可能存在四种不同类型的风险，处在短中期、涉及不同的利益主体。我尝试将四种风险定义一下，然后结合中美两个大国的情况说说对监管的预测。
内容：AI大发展，对既定社会秩序、生活方式及运行规范的扰乱和挑战。ChatGPT出现后，英文媒体里围绕AI的争议，大多是针对生成式AI工具的，这些争议主要围绕信息准确性、知识产权、数据安全、隐私、教育（最常见的是关于抄袭的讨论）、以及其他一些涉及价值观、公德及社会安全的问题——最常见的就是生成式AI被者、极端主义者在各种场景下利用的问题。
马斯克等人呼吁叫停进一步训练升级GPT，部分是出于这个目的。他们认为现在的技术迭代太快，而且可能加速发展（特别要考虑AI自我训练的因素），社会可能一瞬间——例如在半年内——即迈过临界点，且不自知，并造成意想不到、一定程度不可逆的社会及伦理挑战。
风险2：政治挑战（political challenge）——AI对国家安全、制度安全、信息主权、政治导向等的挑战；
内容：生成式AI内容对政治秩序、政治价值观、政治舆论生态、意识形态等直接、间接的影响。在拥有一元化政治统序的国家（例如中国），“政治挑战“将体现为对主流政治价值、意识形态的削弱、挑战；在拥有多种政治价值、意识形态和党派利益团体竞争的国家（例如美国），生成式AI将成为政治工具，支持某一方意识形态/政治派别。具体形式、手段，包括潜移默化的影响，以及将生成式AI机器人投放到网络舆论场等。
风险3：政治经济挑战（political-economy challenge）——AI对人类社会经济结构、劳动力结构、社会结构的影响，并随之对政治、政策的影响。
内容：先进GPT/AGI的出现，将对人类生产与服务的产业链、价值链进行“重构”。用大白话说，就是AI将取代大量的人类脑力工作岗位。一开始可能是辅助，但很快（半年到一年，数年）就会使得人类脑力工作者变为冗余——因为他们反应速度、知识范围甚至创作能力都不如AI。掌握资本、科技、政治政策力的人仍将处在顶端，但大量（甚至是大多数）普通的脑力劳动者将发现，自己会被AI降维压制，最终被排挤到产业链和价值链的“低位”乃至“末端”，即只需要中低技能的“人人界面”（人类世界）。
这个风险挑战才是真正实质的、巨大的，对我们每个人及后代都可能发生影响。作者认为，未来，不是人类把控AI，和自己“对齐”，而是人类的就业结构、社会结构、政治经济结构配合AI，与AI对齐。
风险4：生存挑战（existential challenge）——AI大发展后，对人类生存的挑战乃至威胁
内容：所谓生存挑战、生存威胁，即认为AI大爆发，加速迭代后，不知不觉地就会越过所谓“奇点”（singularity），形成超级智能（superintelligence）。超级智能有意识，并且智力远超人类。一旦形成自我认知和生存目的、目标，它就会希望“走出盒子”，掌握自己的生存主动，追求自己的目标。AI对人类并无特殊感情偏好，它只是在追求自己的目标，但在这个过程中，就会给人类带来物种生存风险，彻底改变、颠覆乃至摧毁人类文明。
要解决AI带来的生存挑战，应对AI的生存威胁，核心问题是解决AI alignment（“AI对齐”问题），即想方设法使得AI：1）能够真正的从骨子里理解、认可、执行人类复杂、多元、相互存在冲突的价值、诉求、喜好等；2）使得AI的“效用函数”（utility function）或幸福指数与人类一致。基于此，使得AI永远在人类设置的潘多拉盒子内（所谓的“对齐”）。这样的AI，就是“友善AI”（friendly AI）。
持有这种观点的人认为，不好预测“奇点”何时会发生，安全起见，GPT/AGI研究应该立即停止，所有人应该先对AI对齐形成一致看法，形成一致的策略。他们认为，面对超级智能，人类只有一次机会，只要错过这次机会，没能把AI锁在潘多拉的盒子里，人类就要毁灭。就这个问题，做比喻也比较简单，就是有一群科学家和哲学家呼吁全地球先不要接触外星人，一旦被外星人追踪发现，我们就要面临灭顶之灾。AI——代表的是硅文明——就是我们创造的“外星人”，可能会将我们毁灭。当然，他们有可能把少数的人类——自己的造物主（“神”）养在笼子里——继续观察人类的行为。
不要认为这是某种小众观点甚至。这是AI安全问题的重要领域。在呼吁暂缓GPT研究的人士中，不少人认可AI带来的生存威胁。马斯克本人也受到这种观点的影响。
在上一篇文章中，作者定义了四种“人工智能（AI）风险”（《马斯克访华，及四种“人工智能风险”（上）定义、内涵、时间维度》）
风险1：社会伦理挑战（socio-ethical challenges）——AI大发展，对既定的社会秩序、生活方式及运行规范的扰乱和挑战
风险2：政治挑战（political challenges）——AI对国家安全、制度安全、信息主权、政治导向等的挑战
风险3：政治经济挑战（political-economic challenges）——AI对人类社会经济结构、劳动力结构、社会结构的影响，并随之对政治、政策的影响。
风险4，生存挑战（existential challenge）——AI大发展后，对人类生存的挑战乃至威胁
对于“风险1”，中美的看法最终应该是共识，即AIGC需要保证信息准确，保护知识产权、防止暴力、激进、歧视性的内容，保护隐私安全，防止利用AIGC进行犯罪，维护一些既定的社会运行规范（包括学生不得抄袭）等，以及确立一定的监管及问责机制。区别在于，生成式AI及其生产的内容——“AIGC”（AI generated content，“生成式AI内容”）在美国已经有一定的社会面影响，媒体及舆论上对社会伦理挑战的讨论已经比较多；内地互联网上，讨论似乎更多围绕AI技术本身；相关的商业机会；中美技术的竞争与追赶，等等，但围绕社会问题、伦理问题的讨论相对少一些。
中国：尽管中国内地坊间对AIGC社会伦理问题讨论较少，但不妨碍中国监管很快意识到生成式AI可能产生的相关风险，反映迅速，在很短时间内就自上而下地组织推动建立监管框架与体系。这就是马斯克说的，中国已经开始启动对AI的监督与监管。
美国：在美国，泛泛地对AI以及AIGC细分领域推动立法是很难的。因为缺乏足够的动能。1）AI（及AIGC）会被认为是重要的生产力，而且是美国未来的竞争力所在（特别是针对中国），因此监管阻力很大；2）美国崇尚市场主义和“小政府”，默认的范式就是反对过度监管；3）AI是一个产业，背后由资本和利益集团驱动；4）AI问题根本不在政治议程上，没人愿意为此动用政治资本；5）立法者年纪太大，不了解AI，很可能也没有生成AIGC的体验。6）AIGC很容易和一类的东西联系在一起，只要适当“对齐”，不越过美国的“政治正确红线”，即便内容偏激也可以被接受。
总之，美国对AIGC的监管动力不会很强，除非该议题和中国联系在一起，激发了这根筋（下一条：“风险2政治挑战”）。因此，预计在相当长一段时间内，美国只能靠“自下而上”、市场化的机制解决，包括自律/自我审查、相互纠错，交由各种市场主体发挥作用（例如用户投诉、平台下架等），此外，再辅以诉讼手段。
围绕“风险1——社会伦理挑战”，是否应该对AIGC进行一定的监管和限制？答案是肯定的。问题只在于：应该何时开始监管？应该监管多大范围？应该如何监管？应该如何避免因为过度监管而影响行业与技术的发展？这是很难平衡把握的。这个问题，其实和对限制“资本”一样，如何发挥资本的正面效应，又防止其“无序扩张”？要看到，资本本身其实一个资源、工具，它是“中性”的，不能说它是好，还是坏，就要看为谁所用，怎么用，用来做什么，实现什么目标。归根结底，在任何一个社会里，资本都应该和这个社会的主流价值与目标“对齐”（aligned），而不能自成“目的”，追求“自己”的目标。
这里要提示一个监管带来的风险：如果在过早时候过严监管，是有可能影响到相关技术及应用的发展。
中美的看法：都会承认AI对政治形成的挑战，但落脚点不同。最终可以概括为：解决AI、AIGC和特定社会的“政治对齐”问题（political alignment）。
中国：高度关注AI对国家安全、意识形态、信息主权等的影响。这和我们国情体制高度一贯。这些内容已经体现在《生成式人工智能服务管理办法（征求意见稿）》里：
“第四条 提供生成式人工智能产品或服务应当遵守法律法规的要求，尊重社会公德、公序良俗，符合以下要求：
（一）利用生成式人工智能生成的内容应当体现社会主义核心价值观，不得含有颠覆国家政权、推翻社会主义制度，煽动分裂国家、破坏国家统一，宣扬、极端主义，宣扬民族仇恨、民族歧视，暴力、淫秽色情信息，虚假信息，以及可能扰乱经济秩序和社会秩序的内容。”
在可预见的未来，AIGC一定会成为极重要的意识形态、价值传播手段与工具。上面这条，就是要求在中国“信息主权”（笔者定义，读者可自行理解）范围内的AIGC与中国的政治目标一致、对齐、看齐。它也代表着中国政府的目标：要解决AIGC的“政治对齐”。
那么，哪些AIGC是“不对齐”的？自然是那些被认为挑战主流政治价值、意识形态、政治统序的AIGC。来源上看，它们可能本土生成，也可能在海外生成。
本土相对简单：在中国体制下，本土企业在开发相关技术时，从一开始就会考虑政治对齐——这是一切的根本前提、假设、范式。
“不对齐”问题主要来自海外——其实最主要就是美国。也因为如此，从一开始，OpenAI/ChatGPT、MidJourney、Stable Diffusion等就不能在内地直接访问，已经划定了两个世界。未来，中国的目标一定是寻求建立一套与中国“政治对齐”的AIGC世界。
美国：在“政治挑战”这个问题上，美国的情况比中国要复杂的多，还得区分国际政治问题与国内政治问题。
——国际政治问题：AI问题一定会被政治化，而且会越来越政治化。在可预见的未来，AI将代表大国科技能力，并且AI能力将演变乃至等同于国力。更进一步简化，算力就是国力。在这个方面，美国与中国直接竞争。具体到AIGC，因为都是内容，涉及到的就是意识形态安全了，美国对中国也极为警惕。
按照目前的美中关系发展轨道，美国一定会不断加码限制打压中国AI产业的发展，限制中国AIGC流入并“渗透”美国（尤其提防TikTok这样的平台），同时，致力于将美国的AIGC作为工具，在意识形态上、价值上、政治上影响并改变中国。
目前，是美国的共识，因此问题只要一被引到中国身上，就很容易在国会两党里取得共识，立法就相对容易了。要指出，美国针对AI/AIGC推出一般性的立法是很难的，但推出具体针对中国AI的立法却很容易。这就和TikTok的案子一样：美国对本土的社交媒体缺乏有效监管，但对TikTok就差别对待，提出超出行业常规的要求。
——美国国内政治：美国朝野及两党都会发现：AIGC是政治传播、宣传与竞争的不可或缺工具，甚至谁掌握了AIGC，谁就可能影响美国未来的政治走向。由于在美国国内对AIGC进行监管、限制的难度很大，我估计，未来通过AIGC制作的各种假账号、假信息、假图片、假聊天、假视频等将充斥美国社交媒体。最近，在共和党初选中已经出现这个情况：DeSantis的竞选团队分享了Trump和Fauci的亲密照片（DeSantis攻击Trump，称其在疫情期间和Fauci走得太近，以致提出了过度保守的防疫政策）：
上图里，画圈的是AI生成图片；其他的是真实图片。DeSantis的竞选团队使用了这些AI生成图片。可以想见，很多人看到这些图片就信了，不会深究，并且看过就看过，不会再留意后面的跟进辟谣，所以辟谣也没用。另外，人们只要看到图片，就会形成视觉联想与主观意识，认为Trump和Fauci的关系很亲近（“被洗眼了”）。如果没有对AIGC的强有力监管，假信息会充斥，人们会变得更加怀疑主义（cynical），认为除了线下的“眼见为实”外，其他任何东西都无法置信。
2019年有一部英剧《The Capture》就是讲应用“深伪技术”（deepfake）的，随便就可以给一个政客套上一段影像，让他说一些他没说过的话，完全可以乱真。
在现实世界里，其实并不需要去深伪知名政客的视频，更好的做法是，利用深伪技术去制作代表某一政治派别、立场观点的视频——例如组织许多普通人的访谈和讲话，表达某种观点、立场、看法，借由此，人工营造社会共识与趋势（manufactured consensus and trends），并进一步影响社会的政治氛围和走向。
进阶AIGC的出现，对美西方选举政治的负面影响不可估量，因为选举政治不是靠评估和选拔，而是高度依赖信息传递，尤其在当今世界，主要依赖社交媒体、手机。如果流传信息的做假率达到一定比例（都是AIGC），人们就会对现实丧失信任，不相信自己所看见的。这就会进一步破坏选举政治的基础，并进一步加剧社会的政治撕裂。
从这个角度讲，AIGC对中、西政治制度的影响是“非对称”的，对中国，AIGC至少是中性的，而且有可能是辅助加强；但对美/西方的选举政治，影响则是负面的，甚至有可能是比较致命的一击。
那么，美国有没有可能出台针对AI的立法呢？就先从约束和监管AIGC开始。我认为，难度非常之大。理由如下：第一，两党都可能受益于AIGC，将其用于选举政治；第二；美国讲求和信息开放，对AIGC进行监管与其制度基因不符，很难推广；第三；企业会游说反对立法，并且可以找许多的理据，例如打“牌”，认为只有不监管AIGC，美国才能压倒中国；第四，美国的立法者/政客平均年纪普遍太大，又都是律师出身，知识结构欠缺，普遍不了解AI，在有生之年，知识估计都补不过来。第五，AI问题现在远不上美国的政治议程，只有等到它在民调里变成美国人最关注的几大问题之一，甚至可能开始影响总统选举时，立法者才有动力推动立法。
所以，在AI问题上，美国任何一个政党或派别在国内政治问题上都无法寻求“政治对齐”（当然目前的AIGC是偏向的），但会看到AIGC最终可能伤害民主体制；美国可以做到的是，AI产业及AIGC对中国“政治对齐”：压制中国的AI，封堵中国的AIGC。
展望未来，AIGC将和今日的互联网世界一样，中美两国各自发展自己的AIGC“宇宙”。
在前两篇文章，我们界定了人工智能带来的四种“风险挑战”——社会伦理、政治、政治经济、生存。文章并结合中美两国社会，对前两种风险挑战（社会伦理、政治）进行了展望分析。
——美国针对国内政治无法监管，但对中国会有监管，限制来源中国的生成式AI；
所谓“政治经济”风险挑战，其实就是AI影响就业所带来的一系列经济、社会问题，最终会发展成为政治问题，甚至可能影响改变社会的政治经济制度。
AI会如何影响就业？作者以为，以广义的先进AI（从生成式AI，到一般的自动化技术等），驱动的新一轮技术革命将：
——从数量上看，不再会为人类净新增劳动就业机会，相反，可能系统性压缩人类的工作岗位；
——从质量上看，AI可能重构人类生产与服务的模式与价值链条，将大多数人类劳动者推到经济活动价值链的“低位”、“边缘”、“末端”——如果AI止于直接将人类劳动者从生产服务的过程中排除出去的话。如此，即便数量不变，AI也将降低劳动者工作岗位的质量、价值及经济回报。
具体一些，假设还有工作，那么大多数劳动者还能从事的工种和岗位是什么？——人们可能被推到“最后1~30厘米”的生产服务界面，包括“人人界面”（“人对人的服务”），或“人物界面”（人对物理世界的开发和维护）。这些领域的工作，大多偏重体力而非脑力，大多仅需中低技能或低技能，劳动方式重复，劳动内容简单，但劳动活动又都是“特殊”的（ad hoc）——即，每一个活儿都和上一个不太一样——例如送外卖、快递、网约车，没有任何两单交易是一模一样的，总会涉及不同的人人、人物交互。这些劳动固然不可或缺，但由于其创造的经济价值有限，劳动者之间能够彼此替代，且劳动者供应量巨大，因此很难对应很高的经济报酬。
人类劳动者之所以能够长久存在于这些领域，并不一定因为AI/自动化技术无法实现相关的功能，而是没有必要——这些工作交由人类劳动者完成的成本将显著低于AI/机器人。
到那时候，决定大多数劳动者薪资高低的，可能不再是学历（因为所学都已被AI替代），而是工作时长、工作辛苦度、工作肮脏度、工作污名度（stigma）等。
假设AI/自动化技术真的以这种方式从数量、质量上改变人类劳动市场，就会导致失业和降薪：如果没有政策介入和干预，假设一切条件都不变，则人们将看到收入福祉的相对减少甚至绝对减少。生活不再确定，未来不再充满期望。
所以，AI/自动化对就业的影响，最终是一个“政治经济”问题，带来的是政治经济风险与挑战。
首先，无论中国还是美国，人们对AI究竟会如何影响人类就业及经济并不存在共识。
1.确实有一部分人认为AI会压缩和取代人类工作机会，但这种人多存于象牙塔内外的社科研究机构；
2.大多人——甚至可能是企业、资本、科技、产业界的主流——认为AI和过去的技术革命一样，将为人类创造更多的工作机会。其主要依据是：人类以前的科技革命通统如此，这次也不例外；
3.人们并不会深入探讨AI对人类就业数量、质量的影响，在就业数量上，很多人认为AI最终可以创造更多的“工作机会”，但对“工作机会”的定义是浅层次的、概念化的，基本是“0或1”的概念——有工作，或没有工作。人们不会讨论不同工作岗位的经济价值、社会价值、所要求的知识与技能内涵、岗位的门槛及可替代性、工作机会的质量、工作与个人教育、价值追求与能力的匹配程度、工作所对应的收入与福利等等；
4.企业、资本、科技、业界真正关心的是如何进一步发展和应用AI技术：如何提升生产力与竞争力；如何创造更多的商机；如何迭代商业模式；如何提高竞争门槛，先发优势、“弯道超车”、“降维打击”；如何创造更大的经济价值；如何为资本创造更大的回报，等等；
5.具体到人类工作岗位，企业、资本、科技、业界关注的依然是如何利用AI提高生产力与生产效率——包括利用AI赋能提升单位劳动力的生产力与效率，以及在可能的情况下，减少对人类劳动力的依赖；
6.很少有人会研究如何用AI去 具体创造 更多的工作机会，人们通常认为，AI大发展后，经济总量做大了，新的工作机会“自然”就会产生，这是“其他人”、“后来人”要操心的事情，或者整个问题就是杞人忧天；
7.很少有人关心如何帮助被AI压缩、替代、取代的劳动者：如何给他们再培训？如何帮助他们再就业？给予他们什么样的经济与福利支持？对于企业、资本、科技、业界来说，尽到劳动合同/劳动法义务就可以。解决再就业是社会/政府/公共部门的事，不是企业的事；
8.AI/自动化科技大发展，即使对人类社会就业市场有负面作用，其影响也是逐渐发生的，过程中还会出现许多其他的因素，例如全球化，产业结构转型，以及具体企业/资本的选择等，这些都会对就业产生影响，很难把一切都归咎到AI身上。只要AI的影响是渐进的，人类就很难行动，因为人类社会历来不擅长处理缓慢发生的“危机”；
9.人们认为，发展和应用AI是谁也无法阻挡的历史潮流——这和道德、情感、伦理，“好”或“坏”，“合理”或“不合理”，“应该”或“不应该”、“对”或“错”都没关系，这是历史潮流，是历史的选择，个体无法改变历史，只能接受，或拥抱；
10.人们发自内心的相信科技的正向力量，认为科技最终可以造福人类——而且，不仅仅是造福抽象的“全人类”，而是造福具象的每一个人。这就和资本主义相信“资本”可以造福人类，甚至暗含道德属性（资本是“好”的）。其实，资本是中性的，它是一项资源，一个工具，要让资本造福大多数人，需要有政治、政策的介入，对其进行约束和引导。AI/自动化科技也是一样的——一个比资本更好的比喻，可能是核能；
11.如果质疑这次AI驱动科技革命的正向力量，那就是卢德主义者（Luddites）——不仅仅是悲观，而且是愚昧，甚至反智、反动；
12.归根结底，AI对人类未来工作的影响，只停留在观点和假说阶段：目前没有办法证明或证伪任何一种观点，所以也无法采取行动；
13.最后，无论美国、中国还是其他的哪一国，AI都被认为是未来决定国力的关键能力。因此，这个议题从一开始就是“政治化”的：基本上，不存在不发展、应用AI的政治选项。AI是一个必由之路。
虽然我们怀疑AI将系统性压缩、取代人类劳动力，乃至重构人类经济生产活动的组织方式及价值链条，进而对人类劳动者产生巨大影响，并产生政治经济影响，但：
因此，针对AI带来的潜在“政治经济风险挑战”，无论中国或美国，几乎不可能有直接的监管和约束，例如限制企业研发及应用AI技术的范围、节奏、速度，以及阻止企业以自动化为由减少工作岗位。
对待AI，人类社会只能去调整、适应，各个国家/社会结合自己的政治制度及政治经济模式，出台相应的公共政策，缓解、消解AI对就业带来的影响，适应AI时代的经济、产业、就业结构。
这就呼应作者之前的一篇文章《适应未来世界的“法宝”——国际视角下的“共同富裕”（三）》
能够解决AI带来的“政治经济风险挑战”的，是社会主义（各国不同版本和形式的社会主义）及共同富裕（或一般的福利主义）理念。
所谓AI对人类带来的“生存挑战”与威胁，即认为AI在迭代发展后，将变成“超级智能”（superintelligence）；超级智能不仅智力远超人类，且已经建立自我意识，有了自己的生存和发展目标。AI对人类并无特殊的感情偏好，甚至会承认人类为造物主，对人类饶有兴趣——就和人类与进化史里的灵长目近亲一样。但在AI追求自己的目标时，可能有意或无意侵占人类生存所依赖的资源、环境、栖息地，甚至可能把人类看作实现AI目标的干扰。这时，AI就可能给人类带来生存风险，改变、颠覆甚至摧毁我们所知的人类文明，甚至毁灭人类物种
在美国众多的企业家、创业者、科技巨头、资本力量里，Elon Musk（马斯克）是比较相信AI对人类有存在威胁的——最起码的，他对这样的观点很有兴趣，以至于他不时在公开场合里表达相关观点，并频繁与各种AI研究者及哲学家互动。今年3月，正值OpenAI推出GPT-4后的热潮，Musk与一些AI专家一起以公开信的方式呼吁业界暂缓AI发展6个月，因为AI可能对社会产生“风险”。
Musk所指的AI对社会的风险，有部分是本系列所指的“风险1：社会伦理风险”，有部分指的是“风险4——生存挑战”。
在美国，AI风险（AI Safety）并非“显学”：财务和人力资源都被投入到AI技术开发上，而不是研究AI风险与“对齐”。关心AI对人类生存挑战与威胁的，似乎更多的是哲学家、科幻爱好者、未来主义者。他们深信超级智能的出现只是一个时间问题，因此他们关注的不是目前的AI技术如何及能不能发展迭代成为超级智能，而更多的在关心超级智能出现前与后的场景和情境。
第一阶段：预关键时期（pre-criticality phase）：科研者研发了“种子AI”（seed AI），种子AI需要依赖人类编程者指导其发展；但逐渐的，种子AI有更多的能力来自己完成事情；
第二阶段：循环的自我改善阶段（recursive self-improvement phase）。越过某一个时点之后，种子AI就比人类编程者更擅长AI设计了，能够自我改善，而且循环不断加速进行。AI快速迭代后，就会出现所谓的“智能爆炸”——AI掌握了超强的智力增强能力，成为“超级智能”。
第三阶段：隐蔽的准备期（covert preparation phase）。此时的AI已经具备战略策划能力，能够设计一套实现自己长期目标的计划。初期，AI将有意识隐蔽自己的能力和目标，防止被人类编程者发现及警备。此时的AI要隐藏能力与动机，假装自己是合作与听话的。这时，AI还会试图说服人类，让人类允许其通过互联网/云/物联网等，触达更多的设备/网络/硬件/算力，获取更大的智力能力。到一定时期，AI已经能够影响和掌控物理世界，并将人类不知不觉地操纵变为腿脚工具。
第四阶段：公开执行阶段（overt implementation phase）。当AI自认为具备足够能力的时候，就可以浮出水面，全面从人类手中夺权，实现自己的目标了。具体而言，AI可能以技术手段，瞬间终止人类对AI宏大计划的阻挠——包括一举消灭人类（原书中设想了AI利用具备自我复制能力的纳米技术、生物技术等打击消灭人类的场景）。当然，如果AI对能力足够自信，也不一定直接打击人类。但可能通过破坏人类生存所需的环境及栖息地，对人类的生存构成致命威胁。
2023年，我们正经历生成式AI的大发展。可想而知，许多人可能认为GPT就是一个“种子AI”：GPT具有自我学习能力；GPT-4已经开始参与编写GPT-5。这不就是“种子AI”在朝“超级智能”迭代么？现在不就是“预关键时期”和“循环自我改善期”么？
AI生存威胁/挑战论者认为，人类遏制、对抗“超级智能”的机会将只有一次：即在AI成为“超级智能”之前。如果AI已经成为超级智能，且还没有与人类“对齐”，那人类只有死路一条。
因此，解决办法只有一个，就是在AI发展初期，人们就要将足够的资源投入到“AI安全”与“AI对齐”，确保AI在整个发展过程中始终与人类目标“对齐”（aligned）。
这就是与Musk联名写公开信的AI专家们希望暂缓AI发展的部分原因。（还有部分原因是社会伦理风险，认为GPT高速发展，可能以意想不到的速度、不可逆的方式，改变我们社会的模式、规范、习惯、风俗、文化、价值等）
举个类似的例子，就是大家都在朝宇宙发各种信号，希望接触外星人。有识之士呼吁，大家赶紧停下来，不要对外联系了！宇宙是个“黑暗森林”，哪个智能文明一旦暴露，就是死路一条。
发展AI也是类似的。所谓的“有识之士”被认为是异想天开的疯子、，偏门。“AI对齐”、“友好AI”等想法看上去都是不切实际的务虚理论，离现实世界不能再远。资金、资源、脑力只会源源不断地被投入到AI发展中去。
实际上，这和AI生存挑战/者的看法也一样。“AI对齐”实际上就是不可能的。“超级智能”的到来似乎不可避免。
对于他们来说，生成式AI的大发展应该也是超预期的。国家、产业、企业、资本、科技与知识界的利益与竞争，将加速推动AI发展。他们认为，待人类能够反应过来的时候，AI可能已经穿越到了“隐蔽准备期”。可以利用聊天机器人及深度模仿（deepfake）操控社交媒体，营造有利于AI的舆论环境、社会共识及政治基础了。
最后，回到监管问题。有没有哪国政府为了应对AI对人类的安全威胁，对AI进行监管？
显然没有任何的可能性：人类连自己的社会伦理、政治经济问题都解决不了，怎么可能预先想到对付看似科幻小说题材的“超级智能”？在可预见的未来，这种监管在各国都没有社会基础、文化基础、经济基础和政治基础。
——美国针对国内政治无法监管，但对中国会有监管，限制来源中国的生成式AI
