主题演讲

Richard Sutton：AI 的创造力与发现

Richard Sutton: AI Creativity and Discovery

主题演讲🎤 理查德·萨顿 (Richard Sutton)⏱ 15:07👁 NA

▶ 在 YouTube 观看

强化学习奠基人 Richard Sutton 论证：生成式 AI 只会模仿，无法兼具新颖与优秀，真正的创造与发现必须依靠「变异—评估—选择性保留」这一被监督学习所缺失的机制。

核心要点

生成式 AI（大语言模型、图像/视频模型）本质是模仿，其输出要么新颖（来自随机性）、要么优秀（来自训练数据），但永远无法同时兼具二者。
对于摘要、问答这类任务，新颖性反而有害，所谓「新颖」往往就是幻觉（hallucination）；模仿本身就极具实用价值。
但科学与数学需要真正的创造与发现，单靠监督学习与生成式 AI 永远达不到。
发现（discovery）的本质是三步：变异（variation）、评估（evaluation）、选择性保留（selective retention）；这正对应强化学习、进化论与科学方法。
生成式 AI 缺的是「评估」这一步——预训练后运行时无法评判自己生成的内容，因此没有选择性保留，也就没有真正的创造。
反向传播（backprop）虽是确定性的，但靠随机初始化获得一次性变异；Sutton 团队的「持续反向传播」（continual backprop）通过不断重置低使用率神经元，使网络长期保持可塑性。

分章详解

开场：一个关于「新颖与优秀」的老笑话

Sutton 以录像形式向 SAIR（科学与 AI 研究基金会）会议致辞，主题聚焦 AI 与科学、数学的关系。
引用经典笑话：某研究成果评审意见称「这项工作既新颖又优秀。可惜，优秀的部分不新颖，新颖的部分不优秀。」
他指出这句评价恰好适用于今天的大部分 AI——尤其是生成式 AI（大语言模型、图像、视频、世界模型）。

生成式 AI 的本质：要么新颖，要么优秀，不能两者兼得

所有生成式 AI 都是「拿大量样本、产出与样本相似的模型」，即模仿人类文本、艺术、自然或网络视频。
AI 的处理过程是部分随机（stochastic）的：每个决策都可多向展开，从而每次生成不同轨迹。
轨迹若来自随机则新颖，若来自训练数据则优秀（因为数据源自人类与现实）——二者只能取其一，永不并存。
在摘要、查事实等场景中，我们并不想要新颖；若 AI 超出原始素材添加内容，那就是幻觉（hallucination）。
例外是虚构与娱乐（如儿童睡前故事、基于已有图像的新图），但由于互联网过于庞大，我们其实无法判断 AI 到底有多「原创」。

模仿很有用，但对科学数学是致命缺陷

Sutton 强调这种「不能兼得」对多数日常用途并非问题：生成式 AI 即便只是模仿，只要更快、更便宜、更小、更可定制、更易复制，仍是变革性技术。
但对科学与数学，这位评审的评价是致命的——这些领域需要「真正的创造」与「真正的发现」。
他把生成式 AI 称为「模仿型 AI」（mimicking AI），断言它永远无法带来真正的发现。
他列举了「不止于模仿」的 AI 系统作为对照：AlphaGo 的「第 37 手」、AlphaZero 的原创棋风、GT Sophy 超越人类的赛车 AI，以及 AlphaFold、AlphaProof、AlphaCode 等在科学、数学、编程上的突破，还有为网约车优化派单的 RLift。
这些系统都找到了「既新颖又优秀」的东西，关键在于它们具备生成式 AI 所没有的额外要素。

发现的本质：变异、评估、选择性保留

Sutton 把这一缺失的要素称为「发现」（discovery）：尝试很多东西、看哪些有效、保留最好的。
进化论的自然选择、科学方法、乃至日常生活与学习都是这样运作的。
在心理学中它叫工具性学习（instrumental learning）与操作性条件反射（operant conditioning），在机器学习中就是强化学习（reinforcement learning）；规划与组合搜索同样属于「生成—测试—保留最优」。
发现 = 三步骤的结合：变异（variation）、评估（evaluation）、选择性保留（selective retention），而监督学习缺少后两步。
他致敬 Donald Campbell、Daniel Dennett、Gary Cziko 等前人，但表示自己的新贡献是把「发现」直接关联到现代 AI，指出它不存在于监督学习、生成式 AI、乃至反向传播与梯度下降之中。

生成式 AI 缺的是「评估」这一步

生成式 AI 确有随机性、能产生多样轨迹（变异），但缺的是「评估」：经监督学习预训练后，运行时无从评判自己生成的内容。
没有评估就没有选择性保留，也就没有发现；有变异带来的新颖，却没有创造力。
Sutton 认为创造力的核心正是「对价值的识别与保留」：新颖若被生成却不被识别其价值，就会一闪即逝、随即消失。
评估有两种来源：一是人类用户（如 AI 生成一批图、人挑出最喜欢的，整个过程才构成「发现」）；二是更重要的——来自明确目标（清晰的客观标准）。
对变异的补充说明：它可以是「盲目变异」（blind variation，即不带先验、暗中摸索），但实践中应是「部分知情、部分盲目」；好的科学家不会随机挑理论来验证，但必须保留不确定性，发现才成其为发现。

反向传播、持续学习与「自动化创造」的号召

反向传播看似无法实现变异（权重更新是确定性的），但其权重以小随机值初始化，提供了起始变异——这一随机初始化常被低估，却是 backprop 不可或缺、必须做好的环节。
问题在于这种变异只发生一次，网络随后会逐渐丧失学习能力（可塑性 / plasticity）。
Sutton 团队几年前发表于《自然》（Nature）的「持续反向传播」（continual backprop）算法做了一个小改动：每隔一段时间就把使用较少的神经元重新初始化为小随机权重，从而让变异持续、可塑性得以保持。
总结主旨：创造与发现超越监督学习、模式识别、预测，甚至超越世界建模；这些虽都重要，却无法单独带来发现。
发现需要来自「人」或「明确目标」的评估；只有在系统被赋予明确目标的后一种情形下，才能实现完全自主的 AI。
他的「行动号召」：若想获得 AI 科学家的全部力量，就应把目标与它们共享，让它们能创造、评估、发现，真正参与达成目标——「让我们大胆些，把创造与发现自动化。」

关键引述

“这项工作既新颖又优秀。可惜，优秀的部分不新颖，新颖的部分不优秀。（This work is both novel and good. Unfortunately, the parts that are good are not novel, and the parts that are novel are not good.）”— Richard Sutton（引用经典评审笑话）

“（生成式 AI 的）轨迹要么基于随机、要么基于数据，但永远不会两者同时成立。（It's either based on randomness or it's based on data, but it is never both at the same time.）”— Richard Sutton

“新颖一闪而现，但若其价值无人识别，它便一闪而灭、就此失去。（The novelty flickers into existence, but if its value is unrecognized, then it flickers away and is lost.）”— Richard Sutton

“这是我的号召：如果我们想要 AI 科学家的全部力量，就应当与它们分享目标，让它们能去创造、评估、发现。让我们大胆些，把创造与发现自动化。（Let's be bold. Let's automate creativity and discovery.）”— Richard Sutton

术语 / 人物

Richard Sutton — 强化学习领域奠基人，加拿大阿尔伯塔大学教授，与 Andrew Barto 共获 2024 年图灵奖；著有强化学习经典教材，被视为「从经验中持续学习」路线的旗手。

生成式 AI / 模仿型 AI（Generative AI / mimicking AI） — 基于监督学习、从大量样本学会产出相似内容的 AI（如大语言模型、图像/视频模型）；Sutton 认为其本质是模仿，无法兼具新颖与优秀。

发现（Discovery） — Sutton 用来概括「变异—评估—选择性保留」三步骤的总称，是进化、科学方法、强化学习共有的机制，也是真正创造力的来源。

变异、评估、选择性保留（Variation, Evaluation, Selective Retention） — 发现的三个关键步骤；监督学习只有变异（随机性），缺少后两者。

可塑性 / 持续反向传播（Plasticity / Continual Backprop） — 深度网络长期学习中会丧失继续学习的能力（可塑性丧失）；Sutton 团队发表于《自然》的「持续反向传播」通过定期重置低使用率神经元注入新随机变异，使可塑性长期保持。

盲目变异（Blind variation） — 指不带先验、暗中摸索式的变异；Sutton 指出实践中变异应是部分知情、部分盲目，而盲目的部分才真正对应「发现」。

Move 37 / AlphaZero / AlphaFold 等 — Sutton 列举的「不止于模仿」的 AI 例子——AlphaGo 著名的第 37 手、AlphaZero 原创棋风、AlphaFold/AlphaProof/AlphaCode 的科学数学突破——它们靠强化学习实现了既新颖又优秀的成果。

背景补充

Richard Sutton 是强化学习（reinforcement learning）领域的奠基人，加拿大阿尔伯塔大学计算机科学教授，2025 年与 Andrew Barto 共同荣获 2024 年度 ACM 图灵奖，其论著被引用逾 18 万次。他近年明确批评以大规模预训练和大语言模型为代表的路线，认为其对通往超级智能是「死胡同」，主张真正的智能在于能在运行时「从经验中持续学习」的智能体。本视频提到团队发表于《自然》（Nature, 2024）、由其博士生 Shibhansh Dohare 主导的「持续反向传播」（continual backpropagation）工作，核心结论是：深度学习会在持续学习中丧失可塑性，维持可塑性需要梯度下降之外的随机非梯度成分。

适合谁看

适合关注 AI 与科学/数学交叉、强化学习、生成式 AI 局限性的研究者与从业者，以及思考「机器创造力与自主科学发现」的学术与产业读者。