模型蒸馏:让小模型学会深度思考

o3-mini 在 AIME 数学竞赛上超越了 o1,在 GPQA Diamond 科学推理上达到了 87.7% 的准确率——超越人类专家平均水平。但 o3-mini 的深度搜索版本(extended thinking)每次推理要消耗数万 token 的上下文。 ...

高级 · 2026-03-30 · 21 分钟 · 3750 字 · PengJiyuan
模型蒸馏