← 返回 Dashboard
竞赛/平台指南
玩转「数学蒸馏挑战赛」:SAIR Playground 使用教程
Master the Mathematics Distillation Challenge: SAIR Playground
竞赛/平台指南 🎤 SAIR 官方教程旁白(无具名主讲人) ⏱ 2:14 👁 NA
▶ 在 YouTube 观看
这是一段 SAIR Playground(练习场)操作教程,演示如何在不影响排行榜的前提下,迭代测试与打磨用于「数学蒸馏挑战赛」的 cheat sheet(备忘单/解题策略)。
核心要点 Playground 仅用于测试与实验,在此生成的结果不计入正式竞赛排行榜(leaderboard)。 使用前需先注册 SAIR 账号并完成竞赛报名(competition registration)。 系统每天提供免费测试额度(credits),并在每天 UTC 午夜(midnight UTC)重置。 核心流程:选 cheat sheet → 选 AI 模型 → 选问题 → 点击 run 运行评测 → 查看结果 → 迭代优化。 cheat sheet 仅对本人及团队成员(team members)可见,可用预设模板或自定义推理策略。 结果页展示每道题的模型判定(verdict)、运行时间(run time)和资源占用(resource usage),迭代是提升表现的关键。
分章详解
Playground 的定位与前置条件 本教程演示如何用 Playground 完成一套完整的「测试与优化」工作流。 Playground 仅用于测试和实验,其结果不计入正式竞赛排行榜。 开始前请确认已注册 SAIR 账号,并完成竞赛报名。 免费额度与入口 系统为测试提供每日免费额度(daily free credits),用于调用模型评测。 这些额度在每天 UTC 午夜(midnight UTC)重置。 进入方式:点击顶部导航栏的 competitions(竞赛),选择 playground(练习场)。 选择 cheat sheet(备忘单/解题策略) 可以选用预设模板(predefined template),也可在输入框中自定义自己的推理策略(reasoning strategy)。 你的 cheat sheet 仅对自己以及团队成员可见,不会公开。 选择模型与问题集 从模型列表中选择一个 AI 模型。 从公开训练集(public training set)中选择想测试的问题。 也可以自行创建并测试自定义问题集(custom problem set)。 运行评测与查看结果 准备就绪后点击 run 启动评测,系统会针对每道题调用所选模型并自动返回结果。 结果页按每道题展示模型判定(verdict)、运行时间和资源占用情况。 基于结果可对 cheat sheet 进行更新,再次运行评测。 迭代优化与备赛 迭代(iteration)是提升表现的关键:测试—修改—再测试循环。 熟练使用 Playground 后,即可着手测试和打磨策略,为「数学蒸馏挑战赛(Mathematics Distillation Challenge)」准备正式提交。
关键引述 “练习场仅用于测试和实验,在此生成的结果不会计入竞赛排行榜。(The playground is designed for testing and experimentation only, and results generated here will not count toward competition leaderboard.)”— SAIR 教程旁白
“迭代是提升表现的关键。(Iteration is key to improving performance.)”— SAIR 教程旁白
“我们的系统为你的测试提供每日免费额度,这些额度会在每天 UTC 午夜重置。(Our system provides daily free credits for your testing, and these credits will reset every day at midnight UTC.)”— SAIR 教程旁白
术语 / 人物 Mathematics Distillation Challenge(数学蒸馏挑战赛) — 由 Terence Tao(陶哲轩)与 Damek Davis 发起、SAIR 基金会主办的实验性竞赛,目标是把「等式理论项目(ETP)」产生的约 2200 万条真/假结论「蒸馏」为简短、人类可读的 cheat sheet,帮助 LLM 判断等式是否成立。
cheat sheet(备忘单/解题策略) — 参赛者提交的紧凑、可读的策略文本(Stage 1 限制不超过 10KB),用于在上下文中辅助模型提升解题表现,类比学生考试可带入的一页纸笔记。
Playground(练习场) — SAIR 提供的测试工具,可用较便宜的模型在公开题集上试跑 cheat sheet,结果不计入排行榜。
leaderboard(排行榜) — 竞赛的正式成绩排名;Playground 中的测试结果不会计入。
verdict(判定) — 结果页中模型对每道真/假问题给出的结论。
背景补充 SAIR(科学与 AI 研究基金会)由 Terence Tao(陶哲轩)等人联合创立。「数学蒸馏挑战赛」是其首个数学竞赛,由 Tao 与 Damek Davis 发起,基金会提供技术支持与算力。挑战建立在「等式理论项目(Equational Theories Project, ETP)」之上,探索「上下文数学蒸馏」:让社区把海量结论压缩成一页 cheat sheet,使开源模型逼近前沿模型表现。Stage 1 要求 cheat sheet 不超过 10KB,于 2026 年 4 月 20 日截止,前 1000 名进入需给出证明/反例的第二阶段。
适合谁看 适合已报名或打算参加 SAIR 数学蒸馏挑战赛的参赛者与团队,以及想了解如何用 LLM + cheat sheet 解数学真假判定问题的研究者和开发者。
由字幕自动总结生成 · 视频版权归 SAIR Foundation / 各演讲者所有 · 原视频