本文共7244字
2024年10月，Geoffrey Hinton因在人工智能领域的开创性贡献获得诺贝尔物理学奖。
这位被誉为"AI教父"的科学家，在深度学习最黑暗的时期坚守了50年，最终见证了神经网络的胜利。
然而，就在AI技术席卷全球、改变人类生活的关键时刻，这位75岁的老人却选择了一条出人意料的道路——2023年，他从工作了10年的谷歌辞职，开始在世界各地发出警告。
在这次与《The Diary Of A CEO》频道播客主持人的深度对话中，辛顿首次详细阐述了他的担忧：从超级智能的临近，到大规模失业的不可避免，再到人类文明可能面临的根本性挑战。
核心要点：
1. 真正的超级智能将在10-20年内到来，比大多数人预期的更快
2. AI在信息处理和共享方面比人类强数十亿倍，这是决定性优势
3. 大规模失业已经开始发生，某公司员工从7000人裁减至3000人
4. 水管工等需要物理操作的工作在短期内相对安全
5. AI将具备完整的意识、情感和创造力，不只是模拟
6. 全民基本收入无法解决失业问题，因为工作关乎人的尊严和价值感
7. 数字智能具有"永生"特性，知识可以完美传承和复制
8. 辛顿离开谷歌是为了能够自由地为AI安全发声
9. 普通人能做的有限，关键在于政府监管和企业责任
10. 人类正面临物种延续的关键时刻，要么控制AI，要么被AI控制
1
10-20年后，AI将在所有领域碾压人类
主持人：现在的AI和真正的超级智能之间到底有什么区别？当我使用GPT-4或者Gemini时，感觉它们已经非常聪明了。
辛顿：确实，AI在很多领域已经比我们强太多了。就拿下棋来说，人类基本上再也不可能战胜AI了，偶尔侥幸赢一次，但总体上我们已经完全被碾压。
围棋也是如此。从知识储量来看，像GPT-4这样的模型掌握的知识是你的几千倍。
主持人：那我在哪些方面还比它强呢？
辛顿：可能在采访CEO这件事上你还更擅长一些。你有丰富的经验，是个优秀的采访者。如果让GPT-4去采访CEO，估计效果会比较糟糕。
不过这种优势可能也维持不了太久，如果有人专门训练一个AI学习你的提问方式和技巧，再加上其他优秀采访者的经验，很快它就能在这方面超越你。
所谓超级智能，就是当AI在所有事情上都比我们做得更好的时候。我的判断是，这个时间点可能在10到20年之间。
当然，也有人认为会更快，也可能需要50年，但我倾向于认为不会那么久。
这种预测让我想起了我最近看到的一个演示。主持人只是告诉AI代理"给我们点些饮料"，五分钟后就真的有人送饮料来了。
AI自己在网上找到了合适的外卖平台，选择了饮料，添加了小费，输入了地址和信用卡信息，完成了整个订购流程。这种能力的展现既令人惊叹，也让人感到恐惧。
更让我印象深刻的是，AI现在已经能够解释笑话为什么好笑了。我一直认为这是一个重要的里程碑——如果AI能说出一个笑话为什么好笑，那它就真的理解了。
而现在它确实做到了。再结合我对数字智能优势的认识，这让我对AI安全问题产生了浓厚的兴趣。
这些AI系统将会比我们聪明得多，而且这个时间可能比大多数人想象的要近。
2
永生的AI vs 必死的人类
主持人：很多人认为AI只是电脑程序，如果不喜欢随时可以关掉。
辛顿：让我告诉你为什么我认为数字智能比人类智能更优越。关键在于它是数字的。因为是数字的，你可以在一块硬件上模拟一个神经网络，也可以在完全不同的硬件上模拟完全相同的神经网络。这意味着你可以拥有相同智能的克隆体。
想象一下，你让一个AI克隆体去浏览互联网的某个部分，让另一个克隆体去浏览不同的部分。当它们浏览这些不同内容时，可以实时同步，保持权重参数完全一致。
比如这个AI看到某些内容后说"我想稍微增强这个连接的强度"，它可以立即将这个信息传递给另一个克隆体，后者也会相应调整这个连接的强度。
主持人：你说的连接强度调整，指的就是学习过程？
辛顿：没错，这就是学习。学习就是调整神经网络中连接的权重，比如从给某个神经元2.4票改为2.5票来决定是否激活。
这些AI克隆体获得不同的经验，但通过平均权重来分享学习成果。它们可以同时平均处理万亿个权重。
而我们人类转移信息时，受限于语言的信息量——一句话也就包含大约100比特的信息。
我们每秒传输信息的速度大概只有10比特，而这些AI系统每秒可以传输万亿比特。在信息共享方面，它们比我们强几十亿倍。
这一切都因为它们是数字的，可以让两块硬件以完全相同的方式使用连接强度。而我们是模拟的，做不到这一点。
你的大脑和我的大脑不同，即使我能看到你所有神经元之间的连接强度，对我也没什么用，因为我的神经元工作方式略有不同，连接方式也略有差异。
所以当你死去时，你所有的知识都随之消失。但当这些数字智能"死去"时，只要你把连接强度存储在某个地方，就可以重建新的硬件来执行相同的指令，重现那个智能。
换句话说，它们是永生的。我们实际上已经解决了永生问题，只不过仅限于数字事物。
主持人：那么它基本上会知道人类所知的一切，甚至更多？
辛顿：是的，它会学习新东西，还会看到许多人类可能从未发现的类比关系。比如我曾经问GPT-4："为什么堆肥堆像原子弹？"
主持人：我完全不知道。
辛顿：很好，这正是大多数人的反应。GPT-4回答说，虽然时间尺度和能量尺度完全不同，但堆肥堆随着温度升高会更快产生热量，原子弹产生更多中子时也会更快产生中子。所以它们都是链式反应，只是在不同的时间和能量尺度上。
这种类比能力来自于信息压缩的需要。如果你只有万亿个连接，却需要储存比人类多几千倍的知识，就必须压缩信息。
而压缩信息需要发现不同事物之间的类比关系。AI需要理解链式反应的基本概念并编码，然后编码不同链式反应的差异。这比分别编码每种反应更高效。
所以AI看到了许多类比，可能是人类从未见过的类比。这就是为什么我认为那些说"AI永远不会有创造力"的人是错误的。
它们会比我们更有创造力，因为它们会看到我们从未见过的各种类比。而很多创造力就在于发现奇特的类比关系。
3
大规模失业危机即将到来：赶紧去当水管工
主持人：在失业这个问题上，你有孩子，会给人们什么建议来应对超级智能时代的职业前景？
辛顿：短期内，AI在物理操作方面还需要很长时间才能达到我们的水平。所以一个不错的选择是当水管工，至少在人形机器人出现之前是这样。
在这样一个可能出现大规模失业的世界里——这不只是我的预测，OpenAI的萨姆·奥特曼、埃隆·马斯克等许多CEO都预测过这种情况。
我看过一个采访，当埃隆被问到这个问题时，他罕见地沉默了12秒钟，然后基本上说他活在一种"悬置信念"中，也就是说他根本不去想这件事。
主持人：当你考虑给孩子职业建议时，面对如此多的变化，你会告诉他们什么是有价值的？
辛顿：这确实是个难以回答的问题。我只能说，去追随自己的内心，做自己觉得有趣或有意义的事情。说实话，如果我想得太深入，会让人感到沮丧和失去动力。
我在建立公司上投入了大量心血、汗水和眼泪，然后我想，等等，我应该这样做吗？因为如果我为此牺牲了与朋友和家人共处的时间，而最终AI可以完成所有这些事情。这有意义吗？我不知道。
在某种程度上，我必须有意识地暂时搁置怀疑，才能保持动力。所以我的建议是，专注于你感兴趣的、有成就感的事情，并且对社会其他人有贡献的事情。
主持人：你担心你的侄子和孩子们在工作方面受到中期影响吗？
辛顿：是的，我担心所有这些。
主持人：有没有特定行业你认为风险最大？
辛顿：人们经常谈论创意产业和知识工作，比如律师和会计师。这就是我为什么提到水管工的原因——我认为水管工风险更小。像法律助理、律师助手这样的职位，不会被需要太久了。
实际上，这种情况已经开始发生了。我最近在《大西洋月刊》上读到一篇文章，说大学毕业生现在找工作已经变得困难了，部分原因可能是人们已经开始用AI做他们本来会得到的工作。
我还和一位大型公司的CEO私下交流过，他说他们以前有7000多名员工，去年减少到大约5000人，现在只有3600人。他预计到夏季结束时，由于AI代理的使用，员工数量将减少到3000人。
主持人：所以已经在发生了？
辛顿：是的，他因为AI代理能处理80%的客户服务咨询和其他事务，已经裁员一半了。所以确实已经在发生。
这会带来严重的财富不平等问题。在一个公平分享的社会中，如果生产力大幅提高，每个人都应该受益。
但如果你能用AI替代很多人，那么被替代的人会变得更糟，而提供AI的公司和使用AI的公司会受益更多。
这将加大贫富差距。而贫富差距基本上决定了一个社会的好坏程度。差距大的地方会出现非常糟糕的社会，人们住在围墙社区里，把其他人关进大规模监狱。
主持人：国际货币基金组织已经表达了深切担忧，认为生成式AI可能导致大规模劳动力中断和不平等加剧。他们有没有提出具体的政策建议？
辛顿：没有。这就是问题所在。如果AI能让一切变得更高效，让大多数工作不再需要人类，或者让一个人在AI协助下完成许多人的工作，那该怎么办并不明显。
全民基本收入可能是个好的开始，至少能防止人们挨饿。但对很多人来说，他们的尊严与工作紧密相关。
你认为自己是什么人，与你从事什么工作密切相关。如果我们说给你同样的钱让你无所事事，这会损害你的尊严。
4
离开谷歌的真相
主持人：什么让你来到谷歌的？你在那里工作了大约十年？
辛顿：我有一个学习困难的儿子。为了确保他永远不会流落街头，我需要赚几百万美元。
而作为学者是不可能赚到那么多钱的。我试过教Coursera课程，希望能赚很多钱，但没什么收入。
所以我想，赚数百万美元的唯一办法就是把自己卖给大公司。65岁时，幸运的是，我有两个出色的学生开发了AlexNet，这是一个非常擅长识别图像中物体的神经网络。
于是我、伊利亚和亚历克斯成立了一家小公司DNN Research（深度神经网络研究），并进行拍卖，让多家大公司竞标收购我们。
主持人：谷歌最终收购了你们的技术，你65岁就去谷歌工作了？
辛顿：是的，我在那里工作了整整10年。他们对我很好，基本上说我可以做任何想做的事情。
我研究了一种叫做"知识蒸馏"的技术，效果很好，现在一直在使用。这是一种将大型神经网络的知识转移到小型神经网络中的方法。
后来我对模拟计算产生了浓厚兴趣，研究是否可能让大型语言模型在模拟硬件中运行，从而大大减少能耗。正是在做这项工作时，我开始真正意识到数字技术在信息共享方面有多大优势。
主持人：有没有一个顿悟时刻？
辛顿：有一两个月的顿悟期。这与ChatGPT的发布有关，虽然谷歌早在一年前就有类似的东西，我见过那些系统，对我影响很大。
最接近顿悟时刻的是当谷歌的Palm系统能够解释为什么一个笑话好笑的时候。我一直认为这是个里程碑——如果它能说出笑话为什么好笑，就真的理解了。
你为什么离开谷歌？当这一点结合我对数字技术为什么比模拟技术在信息共享方面优越得多的认识，突然让我对AI安全产生了浓厚兴趣，意识到这些系统会比我们聪明得多。
主持人：你为什么离开谷歌？
辛顿：主要原因是我75岁了，想要退休。虽然我做得很糟糕（笑）。离开的具体时机是为了能在MIT的会议上自由发言。但我离开是因为年纪大了，编程变得越来越困难，犯的错误越来越多，这很令人恼火。
主持人：你想在MIT会议上自由谈论什么？
辛顿：AI安全。
主持人：在谷歌时你不能这样做吗？
辛顿：其实我在谷歌时也可以这样做，谷歌鼓励我留下来从事AI安全工作，说我可以在AI安全方面做任何想做的事情。
但如果你在大公司工作，说那些会损害公司的话总感觉不对，即使可能不会有什么后果，对我来说就是感觉不对。
我离开并不是因为对谷歌的任何做法感到愤怒。我认为谷歌实际上表现得非常负责任。
当他们有了这些大型聊天机器人时，并没有发布，可能是因为担心损害声誉。他们有很好的声誉，不想损害它。
而OpenAI没有声誉包袱，所以可以承担这个风险。这在某种程度上就是经典的创新者困境。
5
AI将拥有完整的"人性"
主持人：很多人对人类的特殊性有些浪漫化的看法。你经常听到人们说，AI和我们非常不同，它只是台电脑，而我们是有意识的，我们有创造力，我们有这些天生的、独特的能力，是电脑永远不会拥有的。
辛顿：我会质疑这种"天生"的说法。首先，我们有很长的历史，总是相信人类很特殊，现在应该学会了。
我们曾经认为自己是宇宙的中心，认为自己是按照上帝的形象创造的，白人认为自己非常特别。我们总是倾向于认为自己很特殊。
我相信几乎每个人对心智是什么都有完全错误的理解。让我举个例子：假设我喝了很多酒，或者服用了迷幻药，然后我对你说，我有一种主观体验，就是看到小粉象在我面前飘浮。
大多数人会认为存在某种叫做"心智"的内在剧场，只有我能看到我心智中的东西。在这个内心剧场里，有小粉象在飘浮。
但实际上，发生的是我的感知系统出了问题，我试图向你说明它哪里出错了。
我这样做的方式是告诉你，在现实世界中必须存在什么，我的感知系统才是在说真话。这些小粉象不是在某个内心剧场里，而是现实世界中的假设事物。这是我告诉你我的感知系统在如何欺骗我的方式。
现在让我们用聊天机器人来做这个实验。我相信当前的多模态聊天机器人有主观体验。很少有人相信这一点，但我试着让你相信。
假设我有一个多模态聊天机器人，它有机械臂可以指向东西，有摄像头可以看东西。我在它面前放一个物体，说"指向那个物体"，它就指向了，没问题。然后我在它的镜头前放一个棱镜，再放一个物体，说"指向那个物体"，它指向了错误的方向。我说："不对，物体实际上在你正前方，但我在你镜头前放了个棱镜。"
聊天机器人说："哦，我明白了，棱镜弯曲了光线，所以物体实际上在那里，但我有主观体验认为它在这里。"
如果聊天机器人这样说，它使用"主观体验"这个词的方式和人类完全一样。这是对正在发生事情的另一种看法——它们是世界的假设状态，如果这些是真的，就意味着我的感知系统没有撒谎。
我们还需要进一步处理感知、意识、感受和情绪，但我认为最终它们都会以类似的方式被处理。机器没有理由不能拥有这些。
主持人：但人们说机器不能有感情，而且人们对此奇怪地自信。
辛顿：我不知道为什么。假设我制造一个战斗机器人，一个小型战斗机器人，它看到一个比它强大得多的大型战斗机器人。如果它感到害怕会非常有用。
当我害怕时，会发生各种生理反应，机器人不会有这些。但所有认知反应，比如"我最好赶紧离开这里"，"我最好改变思维方式，专注专注再专注，不被分散注意力"，所有这些在机器人身上也会发生。
人们会在机器人中植入这样的功能：当情况需要它们赶紧逃跑时，它们会感到害怕并逃跑。那时它们就有了情感。
它们不会有生理反应，但会有所有认知反应。我认为说它们只是在模拟情感很奇怪。不，它们真的在体验情感。
小机器人害怕了，逃跑了。它不是因为肾上腺素而逃跑，而是因为神经网络中发生的一系列过程，效果相当于肾上腺素。
主持人：你认为有意识的AI存在吗？我指的是具有与人类相同意识属性的AI。
辛顿：这里有两个问题，一个经验性的，一个哲学性的。我认为原则上没有什么能阻止机器具有意识。让我给你做个小演示。
假设我拿走你的大脑，取出一个脑细胞，用一小块同样大小的纳米技术替换它，它的行为完全一样——当接收到其他神经元的信号时，它发送的信号就像原来的脑细胞一样。其他神经元不知道有任何变化。我刚刚用这个小纳米技术部件替换了你的一个脑细胞。你还会有意识吗？
主持人：会的。
辛顿：现在你知道这个论证的方向了。如果我把它们都替换掉呢？当我全部替换时，你在哪一点停止有意识？
我认为意识是复杂系统的一种涌现属性，不是贯穿整个宇宙的某种本质。你创造了这个足够复杂的系统，复杂到足以拥有自身模型，并且进行感知。我认为那时你就开始有了有意识的机器。
6
从恐龙到人类：物种更替的历史可能重演
主持人：对于那些处于权力和影响力位置的人，世界领导人，你的信息是什么？
辛顿：我认为你需要的是高度监管的资本主义。这似乎是最有效的。
主持人：对普通人，不在这个行业工作，对未来有些担心，不知道自己是否无能为力的人，你会说什么？
辛顿：我的感觉是他们能做的不多。这不会由个人决定，就像气候变化不会由人们分离塑料袋和可堆肥物来决定一样，那不会有太大影响。这将取决于能否控制大能源公司的游说者。
我认为人们能做的不多，除了试图向政府施压，迫使大公司致力于AI安全。这他们可以做到。
主持人：当你回顾自己的生活时，有什么建议？
辛顿：我有两条建议。第一，如果你有直觉认为人们做事的方式是错误的，有更好的方法，不要仅仅因为别人说它愚蠢就放弃这种直觉。在弄清楚为什么它是错误的之前，不要放弃直觉。为自己找出为什么这种直觉不正确。
通常，如果它与其他所有人不一致，往往是错误的，你最终会弄清楚为什么它是错误的。但偶尔，你会有一种实际上正确的直觉，而其他所有人都是错误的。我很幸运。早期我认为神经网络绝对是实现AI的正确道路，几乎所有人都说那是疯狂的。我坚持下来是因为在我看来它显然是对的。
主持人：在你自己的职业生涯中，有什么你回顾时会说应该采取不同方法的吗？
辛顿：我希望我当初能多花些时间陪伴我的妻子和孩子们小时候。我有点沉迷于工作。
主持人：你为什么在70多岁时这样说？你明白了什么我可能还不知道的？
辛顿：只是因为她已经离开了，我现在无法再花更多时间陪她了。当时我以为我可能会比她先死，因为她是女人，我是男人。她非常支持我花很多时间工作。
主持人：如果你有一个关于AI和AI安全的结束语，那会是什么？
辛顿：我们仍然有机会弄清楚如何开发不想取代我们的AI。因为有这个机会，我们应该投入巨大资源去弄清楚这一点，因为如果我们不这样做，它就会取代我们。
主持人：你有希望吗？
辛顿：我不知道。我是不可知论者。当我有些沮丧时，我觉得人类完了，AI将接管一切。当我心情愉快时，我觉得我们会找到办法。
也许成为人类的一个方面是，因为我们一直都在，就像我们对待亲人和人际关系一样，我们随意地认为我们会一直在这里，会一直解决所有问题。但一切都有开始和结束，正如我们从恐龙身上看到的那样。我们必须面对这种可能性：除非我们尽快采取行动，否则我们已经接近终点了。
最后，当被问及人类幸福面临的最大威胁时，辛顿给出了直接的答案：失业是一个相当紧迫的短期威胁。如果让很多人失业，即使他们获得全民基本收入，他们也不会快乐，因为他们需要目标，需要感觉自己在做贡献，自己是有用的。
主持人：你认为大规模失业比不会发生更有可能发生吗？
辛顿：是的，我认为那个可能性更大。如果我在呼叫中心工作，我会非常害怕。而且我认为这已经开始发生了。
#科创前沿#每日天使
本文内容整理自Geoffrey Hinton在《The Diary Of A CEO》频道博客主持，公开发表于2025年06月16日。
视频链接：https://www.youtube.com/watch?v=giT0ytynSqg
编译、整理 / 梅浩宇
编务 / 龚欣雨
责任编辑 / 梅浩宇
主编 / 张克侠