← 返回 Dashboard
访谈/播客
AWS 的 Erran Li 谈面向科学的可靠 AI 智能体
AWS's Erran Li on Reliable AI Agents for Science
访谈/播客🎤 李珥然 / 李珥然·李(Erran Li / LI Erran Li）⏱ 12:40👁 NA
▶ 在 YouTube 观看
AWS 研究者 Erran Li 谈如何用可验证奖励、形式化验证与基础模型，构建可靠、能与科学家协作闭环的科学 AI 智能体。
核心要点
- 当前 AI 仍然不可靠（即所谓“锯齿状智能 jagged intelligence”），可靠性是科学应用中价值“十亿美元”的核心难题。
- 提升可靠性的关键路径是“可验证奖励（verifiable rewards）”加强化学习（RL），对不可验证的任务则借助人类反馈/偏好。
- 数学证明助手 Lean 这类形式化验证系统可校验模型主张，验证将从人工逐步走向自动化，但仅靠形式化验证只是部分/短期方案。
- 范式正从“科学家在环（scientist-in-the-loop）”走向更自动化的“实验室在环（lab-in-the-loop）”，智能体平台闭合科研循环。
- 通用大模型扮演“协调者”，把 AlphaFold、RFdiffusion 等专用工具当作工具调用；未来还需要能在文本与结构上像科学家一样推理的生物基础模型。
- 人们最常见的误区是用模型“当下能做什么”来评判其能力，而忽视 3–6 个月内的快速进步轨迹。
分章详解
嘉宾与 SAIR 的角色
- Erran Li 在 AWS 从事自我改进智能体（self-improving agents）研究，覆盖计算机操作、数学、编程，近期转向科学发现。
- 他认为 SAIR 能在快速变化的环境中牵头倡议，协调产业界、学术界与初创公司之间的合作。
- 对科学家而言，这种合作的“streamlining（精简协同）”尤其宝贵，因为科学家往往难以独立获取大量资源。
把推理模型锚定在形式化系统中
- 强调将推理模型“接地（grounding）”到结构化或形式化系统，以减少幻觉与错误。
- 核心抓手是可验证奖励；对无法验证的任务则依赖人类反馈与偏好。
- 随着模型变强，未来会更多利用模型自身的推理能力来做验证。
- 以 Lean 为例：作为数学验证系统，它能识别并证明模型所做的主张，确保其准确性。
从人工验证走向自动化验证
- Erran 预计验证会朝“更自动化”的方向推进，而非长期停留在人工核验。
- 对“形式化验证只是短期/部分解”的观点，他承认可靠性仍有更深层挑战。
- 应对可靠性问题需要构建好的环境与奖励函数（RL 起关键作用），并可能需要若干全新技术。
科学 AI 的协作范式：从科学家在环到实验室在环
- AI 工具已在各科学领域被广泛使用，呈普遍渗透态势。
- 以他自身从事的生物领域为例，智能体平台可嵌入科学家工作流，半自动处理大量任务。
- 典型场景：文献搜索（文献量巨大、模型擅长）、从数据库中检索相似蛋白、分析实验数据。
- 趋势是从“科学家在环”逐渐过渡到更自动化的“实验室在环（lab-in-the-loop）”，由智能体平台闭合科研循环。
通用模型作协调者，专用模型作工具
- 通用模型会持续扩展规模并发挥协调作用，把 AlphaFold、RFdiffusion 等专用工具当作可调用的工具。
- 以抗体设计为例：通用模型在科学家在环下协调工作流，组合专用模型解决更大问题。
- 当前主流大模型（如 GPT-5.3、Opus 4.6 等）并不真正“理解”蛋白质结构。
- 未来需要生物基础模型，既能在文本中推理，又能像人类科学家一样针对具体结构进行推理，从而更高效地完成抗体设计等任务。
常见误区与展望
- 最常见误区：用模型“现在能/不能做什么”来定义其能力，低估其快速进步。
- 建议人们把握模型的发展轨迹，预判 3–6 个月后的能力，再决定何时依赖它解决问题。
- 他也坦言做这种预判很难，但理解趋势是最有帮助的思维方式。
关键引述
“我们之所以称之为“锯齿状智能（jagged intelligence）”，正是因为 AI 还不可靠。这是个十亿美元级的问题。”— Erran Li
“关键在于可验证奖励，对那些不可验证的任务则依靠人类偏好。”— Erran Li
“人们容易把模型当下能做的事当成它的能力，却没意识到进步有多快——它现在做不到，等三个月，就不一样了。”— Erran Li
术语 / 人物
Erran Li（李珥然·李，LI Erran Li） — AWS AI 研究者，从事自我改进智能体（计算机操作、数学、编程、科学发现）研究；IEEE/ACM Fellow，曾任 Pony.ai 首席科学家、Scale AI 机器学习负责人，并曾在哥伦比亚大学任兼职教授。
可验证奖励（Verifiable Rewards） — 强化学习中可由确定性规则或形式系统自动判定正确与否的奖励信号，用于减少幻觉、提升可靠性。
Lean — 一种交互式定理证明器/形式化数学验证系统，可用于证明并校验 AI 给出的数学主张是否成立。
锯齿状智能（Jagged Intelligence） — 形容 AI 能力分布不均：在某些任务上很强、在另一些看似简单的任务上却失败，体现其不可靠性。
实验室在环（Lab-in-the-loop） — 相对“科学家在环”的更自动化范式，智能体平台直接与实验环节耦合并闭合科研循环。
AlphaFold / RFdiffusion — 生物领域的专用模型，分别用于蛋白质结构预测和蛋白质/抗体设计（视频中作为通用模型可调用的“专用工具”示例）。
背景补充
Erran Li（LI Erran Li）是 AWS AI 的研究者/应用科学管理者，研究方向包括大模型、智能体、推理、图与视觉-语言学习，并涉及自我改进智能体与科学发现。他此前曾任 Pony.ai 首席科学家、Scale AI 机器学习负责人、Uber ATG 感知团队成员，职业生涯始于贝尔实验室，并曾在哥伦比亚大学担任兼职教授。本视频是他在 SAIR（科学与 AI 研究基金会）活动上接受的访谈。
适合谁看
关注 AI for Science、智能体可靠性、形式化验证与生物医药 AI 的研究者、工程师、科研管理者，以及希望理解科学 AI 协作范式与发展趋势的学生与从业者。