Tao Lab

← 返回 Dashboard

访谈/播客

Hugging Face 的 Lewis Tunstall 谈后训练与开源 AI

Hugging Face's Lewis Tunstall on post-training and open-source AI
访谈/播客🎤 嘉宾：Lewis Tunstall（Hugging Face 后训练团队负责人）；由 SAIR 主持人访谈⏱ 29:18👁 NA
▶ 在 YouTube 观看
Hugging Face 后训练团队负责人 Lewis Tunstall 从理论物理转入 AI 的经历出发，讲述后训练（post-training）、强化学习与蒸馏的最新趋势，以及开源模式对 AI for Science 的关键价值。

核心要点

分章详解

从音乐家、物理学家到 AI：因书结缘的职业路径

  • Lewis 自述在成为物理学家之前是音乐家，先因读一本物理书进入物理，又因读一本 AI 书进入 AI，书籍贯穿其职业生涯。
  • 约 2016 年，一位研究大型强子对撞机（LHC）粒子碰撞的同事用 TensorFlow 1 写的约 100 行代码训练神经网络，分类粒子信号的效果胜过物理学家数十年设计的传统算法，令他深受震撼。
  • 他通过物理学家 Chris Bishop 的经典机器学习教材直观理解了机器学习，并判断 AI 是极重要的技术。
  • 他选择 AI 而非纯粹的粒子物理学术道路：粒子物理在其职业生涯内未必能发现新物理，而通过为 AI 做贡献可间接回馈科学——这也是他与 SAIR 合作的动因。

数学惊人进展与开源对前沿的追赶

  • GPT-2 时代他认为数学需要更高阶推理、比写诗难得多，结果数学领域的进展反而比创意写作更快。
  • 如今专有实验室模型已能帮数学家解决 Erdős 类小型开放问题，而 LLM 的写作仍被诟病为「slop」（如滥用破折号、风格套路化）。
  • Hugging Face 致力于弥合闭源前沿与开源模型之间的差距：曾与非营利组织 Numina 合作，后训练出在首届 AI 数学奥林匹克夺金的模型。
  • 与 CMU 和 ETH 合作的 QED-nano 项目，用强化学习训练模型不仅给出可验证的最终答案，还能进行长时程推理、生成自然语言证明（此前开源社区尚未攻克，OpenAI/DeepMind 曾以未公开方法做到）。

把 AI 推向生物、化学等领域的瓶颈

  • 可数学化、可形式化（如配合 Lean）的领域前沿模型表现极强：OpenAI 曾展示 GPT-5.2 借测试时计算脚手架解决散射振幅的理论物理难题，并由物理学家交叉验证形成人机协作。
  • 生物缺乏像广义相对论 Einstein 场方程那样可推导一切的底层理论，存在从分子到生物体的多层复杂性，使「可验证奖励强化学习」适用范围有限。
  • Lewis 称这是「可能值十亿美元的问题」，并提出两条最有希望的方向。
  • 方向一：rubrics（评分细则）——像批改作业给部分分一样，按检查清单给予部分奖励，适合如 DNA 序列推理/药物设计这类难以非黑即白判分的任务。
  • 方向二：闭合「实验室模拟循环」——如 Periodic Labs 等初创公司搭建自动化实验室，让 LLM 设计并半自主运行实验、获取真实世界信号反哺训练；但实验耗时数天数周时如何做 RL 仍未被充分理解。

2026 年算法趋势：强化学习与蒸馏的融合

  • 2025 年 GRPO 是核心算法，从 DeepSeek R1 起几乎驱动了所有主要开放权重模型的发布。
  • 蒸馏（distillation）是可追溯到 1980 年代的老思想：用强「教师」模型的知识训练更小的「学生」模型；最简单方式是用大模型合成数据再做微调。
  • 纯静态合成数据训练的弊端：当师生能力差距大时会出现「反常行为」——例如 DeepSeek 蒸馏的小模型回答「1+1 等于几」会生成冗长的思维链（甚至扯到选择公理），token 效率低下。
  • 新趋势是「在线蒸馏」：从学生模型采样、教师在训练过程中实时提供反馈，随学生进步反馈也更好，收敛更快更便宜；进一步还有「自蒸馏」——模型把自身当教师，也能带来非平凡提升。
  • Nvidia 近期发布的 Nemotron Cascade 同时使用强化学习与蒸馏，在 IMO 2025 取得金牌水平，印证两者结合的有效性；Lewis 预测 RL（尤其 GRPO）会延续，而在非可验证领域蒸馏会更有效。

AI 从文献检索到生成新假设：进展取决于领域

  • 编程领域过去半年明显跃升：编码 agent 已能半自主解决任务，甚至在从未见过的私有代码库或奇特数据组合中工作，具一定「新颖性」。
  • 数学/物理研究中开始出现「人机增强」的早期迹象，如用 GPT-5 或 Google 模型协助解决 Erdős 类小问题。
  • 举例：一位物理学家用 Claude Code 端到端推导出新结果，Claude 负责编写蒙特卡洛模拟等全部工作。
  • 但研究级数学与自然科学仍远比编程更依赖「人在回路」；现有用于 agent 的脚手架/技术在假设生成上仍落后于编程，「AI 科学家」想法相对浅显。

开源模式对 AI for Science 的独特价值与 Hugging Face 的角色

  • 基础科学几乎所有重大发现都依赖开放协作与众多前置「积木」，极少在完全孤立中产生。
  • 以 Higgs boson 为例：并非 Peter Higgs 一人提出，而是多位物理学家几乎同时基于研究量子场论中如何动态生成有质量粒子而提出，依赖大量前期公开工作；AlphaFold 等也建立在大量前人成果之上。
  • Hugging Face 的 Transformers 库汇集了开源近年的主要架构创新，作为下游应用（如 vLLM 等推理服务库）的参考实现，形成「开放访问—社区实验—反哺下一代模型」的反馈闭环。
  • Lewis 希望 AI for Science 走混合路线：未来一两年大突破或主要来自前沿模型（GPT-5、Claude）增强人类研究，但若把脚手架代码、评测/微调数据集开放共享，将赋能更广泛的社区；关键在于让科学家知道除 ChatGPT 外还有开放的交互方式。

为何投身后训练：Hugging Face 的「ChatGPT 危机」

  • ChatGPT 横空出世时 Hugging Face 乃至多数公司陷入「生存危机」——当时最好的开源模型（如 Google 的 Flan-T5、Meta 的 OPT）与之差距巨大，且偏学术、只能做基础 NLP。
  • 联合创始人 Tom Wolf 组建核心研究团队，分设预训练、后训练和评估三组，目标是打造让开源社区能自训模型的工具与产物；当时无人知道 LLaMA 在训练、也没料到中国公司会开源模型，感觉只有 Hugging Face、Allen AI 等两三家能做。
  • Lewis 当时在做 Transformers 的推理优化，借此机会转向学习训练模型，加入新成立的后训练小团队。
  • 团队早期重心其实是评估：当年几乎没有 evals、也没有训练工具，由同事开发的 Open LLM Leaderboard 源于「衡量开源模型与 ChatGPT 差距」的内部需求，后成为多年来跨能力对比模型的参考。
  • 团队后续主要工作围绕 TRL（Transformer Reinforcement Learning）库，把研究论文中的最佳技术做得尽可能简单易用、惠及更多人。

关键引述

“我曾以为纯数学很难、写诗很简单，结果 AI 公司攻克了我以为最难的纯数学，而创意写作至今仍难以拿捏。”— Lewis Tunstall
“如何把 AI 推广到生物等领域，这或许是个值得十亿美元的问题。”— Lewis Tunstall
“如果数学的协作本质丧失，只剩下一两个你无法访问的 API，那将非常令人遗憾。”— Lewis Tunstall
“几乎所有重大发现都极少在孤立中产生，它们往往需要许多前置的building blocks 才能让一个想法变得可被提出和检验。”— Lewis Tunstall
“历史一般表明，不要押注深度学习会失败。”— Lewis Tunstall

术语 / 人物

后训练（Post-training） — 在预训练之后对模型进行的对齐与能力提升阶段，含监督微调、强化学习、蒸馏等，使模型更好地遵循指令、推理与对齐人类/AI 偏好。
GRPO — 一种强化学习算法，2025 年成为开放权重推理模型（自 DeepSeek R1 起）后训练的核心方法。
蒸馏（Distillation）/ 在线蒸馏 / 自蒸馏 — 用强教师模型的知识训练更小学生模型；在线蒸馏指从学生采样、教师在训练中实时反馈；自蒸馏指模型以自身为教师。
Rubrics（评分细则） — 为难以非黑即白判分的任务设定检查清单式评分标准，给予部分奖励，用于非可验证领域的强化学习。
TRL（Transformer Reinforcement Learning） — Hugging Face 开源库，汇集后训练/强化学习最佳技术，降低社区训练模型的门槛。
Lean 4 — 形式化数学的证明助手语言，使数学陈述可被机器严格验证，是 AI 做数学的有力工具。
Lewis Tunstall — Hugging Face 后训练团队负责人，理论物理学博士、2010 年 Fulbright 学者，《NLP with Transformers》合著者，曾领导夺得 AI 数学奥林匹克金牌的模型工作。
QED-nano — Hugging Face 与 CMU、ETH 合作的项目，用强化学习训练模型进行长时程推理并生成自然语言定理证明。

背景补充

Lewis Tunstall 现任 Hugging Face 研究团队成员并领导后训练团队，专注于用强化学习等技术让语言模型对齐人类与 AI 偏好，代表性开源成果包括 TRL 库与 Open LLM Leaderboard。他拥有理论物理学博士学位（研究强核力及其与暗物质的联系），是 2010 年 Fulbright 学者，曾在澳大利亚、美国、瑞士从事研究。他是畅销书《Natural Language Processing with Transformers》的合著者（与 Leandro von Werra、Thomas Wolf 合著），并领导了赢得 AI 数学奥林匹克的模型工作。本视频是 SAIR（由陶哲轩等联合创立的科学与 AI 研究基金会）在与 Hugging Face 宣布合作后进行的嘉宾访谈。

适合谁看

适合关注开源 AI、LLM 后训练（强化学习、蒸馏、评测）以及 AI for Science（数学、物理、生物）研究者、工程师与对前沿趋势感兴趣的科技读者。