如果人工智能越过某条临界线，自主进化到人类无法理解、无法干预的地步，我们该怎么办？这不是科幻情节,而是真实可能发生的未来。第一财经总编辑杨宇东对谈清华大学苏世民书院院长、教授薛澜，从失控红线到国际协作，从教育重塑到人类价值的再发现，这场对话，关乎每一个人的未来。

PART1

失控边缘：

当AI开始"自我进化"，人类还踩得住刹车吗？

AI风险与核武器截然不同——核武器的后果人类完全知晓，但人工智能技术存在巨大的未知。尤其令人警惕的是"递归自我改进"，即AI完全可能实现自主进化，一旦越过某条临界线，危险将不可控。

杨宇东提出：面对这一可能脱缰的技术，如何建立有效的"刹车机制"？薛澜认为可以考虑设定技术标准红线，类似于核不扩散领域的国际安全准则。实际上学者们2024年就已在《科学》杂志上联名呼吁为AI加上"安全刹车"，薛澜正是署名者之一。与此同时，这一共识正在向政策层面传导——特朗普总统访华期间，中美双方就人工智能开展对话达成一致。在薛澜看来，这标志着国际社会在AI治理领域"有共识了，也愿意了"。然而，从共识到机制落地，仍有漫长的路要走。

PART2

治理迷局：

碎片化的世界，如何找到共同的安全防线？

技术一路狂奔，治理却深陷碎片化困境。2025年巴黎人工智能峰会上，61国签署治理宣言，英美出席却未签署宣言。少数国家与巨头企业掌握着AI的核心技术与话语权，各国因宗教、利益差异而对AI治理各执一词，短期内难以调和。杨宇东在对话中指出："AI两极分化，最后可能是少数国家、少数巨头企业掌握着技术和话语权，各个主体之间没有上下级关系，甚至有冲突重叠。"

但薛澜依然相信"人类社会的理性"——二战时期人类最终团结起来，联合国等全球治理机制应运而生。他特别强调企业在治理中的角色：上世纪90年代，三星、英特尔等芯片竞争对手曾联合进行基础研究合作，成功后再在产品端竞争。这一案例表明，即便在激烈竞争中，企业也能在安全领域建立共同标准。薛澜呼吁改变"猫鼠关系"——政府与企业不应是对立双方，而应成为共建安全的合作伙伴。

PART3

认知重塑：

当AI比人类更"聪明"，我们的价值何在？

当AI可以一键生成文章、代码、图像，人类正在经历一场悄无声息的"认知卸载"。信息茧房、深度伪造诈骗、隐私侵蚀之外，更深层的危机是人类智识的悄然退化。杨宇东表达了他的担忧："智商都下来了，知识也不需要了，因为知识都在AI上。"人类如何面对这场退化？

而在AI安全方面，2024年初，香港发生迄今最大AI诈骗案，涉及两亿港元——诈骗分子利用AI生成虚假高管形象，成功诱导财务员转账。薛澜指出，政府已要求AI生成内容打水印、标识，但这类技术手段远远不够，更深层的问题需要全社会共同警醒。

除此之外，教育将迎来根本性重塑。薛澜认为，读了十年书积累的知识，如今只需几个指令即可获取，传统文理分科模式将逐渐淡化，未来教育可能是高度个性化的。

而面对杨宇东提出的“人类存在的独特价值何在”的问题？薛澜的答案是：同理心、好奇心、审美、共情能力、判断力、创造力作为一个集合体落在人类身上——或许才是无法被硅基生命完全替代的最后堡垒。

更多深度解析

敬请关注

东方卫视 每周三 22:30

第一财经 每周六 22:00

《两说》