语言模型越来越多地以Agent的形式被部署：它们与用户交流，维护交互状态，并通过外部工具执行操作。在这一过程中，Agent的每个决策都会影响后续的观察结果及其所处状态。要将能力强大但调用成本高昂的前沿Agent蒸馏至小模型，需要解决两个关键问题：教师模型应在哪些状态上监督学生模型？双方的行为又应在何种粒度上对齐？
现有蒸馏方法对此采取了不同路径。离线蒸馏通过拟合教师模型生成的序列提供Token级监督，但容易面临教师模型与学生模型状态分布不匹配的问题。Token级同策略蒸馏通过监督学生模型生成的序列缓解这一问题，但通常需要教师模型提供Token概率，并要求双方使用兼容的分词器。两类方法都在Token层面施加监督，未显式对齐动作语义。
针对上述问题，清华大学研究团队提出ActionOPD，一种动作级同策略蒸馏方法，其核心是将语义动作作为监督单位：在学生模型遇到的状态下，分别采样教师模型与学生模型的输出，并根据学生模型动作与教师模型动作的语义一致程度计算奖励，通过策略优化对齐双方的动作级行为。
该方法仅需访问黑盒教师模型的生成接口，无需获取教师模型的Token概率，也不要求师生模型共享模型家族或分词器。在四个未参与训练的Agent基准上，Qwen3-4B和Qwen3-8B学生模型经过ActionOPD训练后，平均性能提升3.3-6.9个百分点。在τ²-bench上，它与离线蒸馏和Token级OPD相比具有竞争力。这些结果表明，ActionOPD是一种潜力巨大的Agent蒸馏方法。
ActionOPD的优化目标是，在学生模型训练过程中遇到的状态上，最大化教师模型动作的期望似然。这里的动作似然并非学生模型复现某条教师模型输出序列的概率，而是所有在语义上与该教师模型动作一致的学生模型输出所对应的概率质量之和。
基于这一目标，研究团队推导出REINFORCE形式的策略梯度，将学生模型动作与教师模型动作的语义一致性作为奖励信号。监督发生在动作层面，而策略优化仍作用于学生模型自身生成的推理及动作Token，无需将教师模型生成的推理过程作为模仿目标。
具体而言，在学生模型遇到的每个状态下，ActionOPD从教师模型采样3个回复，构成教师模型样本集；同时从当前学生模型策略采样4个候选回复。教师模型与学生模型通过各自的原生Prompt接收相同的公开上下文和工具信息，再由语义匹配器比较候选回复所对应的动作。
语义匹配器只比较动作内容，不比较推理文本，具体分两条路径。对于工具调用，工具名与规范化后的参数做程序化比对，剩余的参数差异交给一个冻结的LLM判断。对于面向用户的交流回复，规范化后完全一致的直接通过，其余由LLM比较意图与事实内容。动作的语义在匹配层面定义，教师模型与学生模型也就不需要在词法或格式上对齐。
奖励结构上，首个匹配获得1分，此后每个额外匹配再加0.25分；动作合法但未匹配得0分，无效动作记负1分。论文举例：教师模型三个样本为A、A、B时，匹配A的回复得1.25分，匹配B的回复得1分。同一状态采样的4个候选全部与同一个教师模型样本集比对打分，**环境仅执行奖励最高的候选回复所对应的动作，但保留的候选组中所有回复都参与策略优化。**论文将这一过程称为状态组Rollout，通过反复执行高奖励动作，形成教师模型引导的状态访问分布。
策略优化采用组相对优势与PPO风格的裁剪代理目标，组内平均奖励充当局部基线。频率加成在这里发挥作用：当整组候选都匹配了教师模型动作时，不同的匹配次数仍能产生非零的优势，从而区分出更贴近教师模型的回复。
训练数据来自AWM与EnvScaler的精选任务，共6697个，覆盖843个环境。实验覆盖四种配置：Qwen3-4B与Qwen3-8B学生模型分别配合Qwen3.7-Flash与DeepSeek-V4-Flash教师模型，各训练100步。评测在四个训练未涉及的基准上进行，包括BFCL Multi-turn、ToolSandbox、AppWorld与τ²-bench，解码采用贪心策略，且不借助教师模型引导的动作选择。
实验结果显示，四组配置的跨基准平均分均有所提升，增幅为3.3-6.9个百分点。其中，Qwen3-4B在DeepSeek-V4-Flash教师模型指导下，平均分由30.8提升至37.7；Qwen3-8B在相同教师模型指导下，由35.6提升至40.0。
在相同训练步数及任务启动预算下，Qwen3-8B的最终平均分高于Qwen3-4B。与此同时，在两个学生模型规模下，DeepSeek-V4-Flash均比Qwen3.7-Flash带来更高的学生模型平均分。DeepSeek教师模型与Qwen学生模型的组合也验证了跨模型家族进行动作级蒸馏的可行性。
研究团队进一步在τ²-bench上，将ActionOPD与离线蒸馏、Token级OPD进行对比。其中KD为离线蒸馏基线：教师模型对每个任务起点独立生成四条完整轨迹，仅将成功轨迹用于监督微调，损失覆盖教师模型的推理与动作Token。此处的KD指序列级输出模仿，而非匹配教师模型输出分布的经典知识蒸馏。该实验使用Qwen3-4B作为学生模型、Qwen3-32B作为教师模型，并采用相同的任务启动预算。
在测试集上，ActionOPD的平均单次成功率（pass¹）达到40.0%，高于KD的37.5%和OPD的39.6%；但其四次全部成功率（pass⁴）为14.2%，低于KD的19.2%和OPD的17.5%。
这表明ActionOPD并未在所有指标上取得最优结果。论文将其定位为一种具有竞争力、且教师模型接口更灵活的蒸馏方法，而非全面优于现有蒸馏方法的方案。
消融实验进一步验证了各组件的作用。在τ²-bench测试集上，ActionOPD的平均单次成功率为40.0%。将语义训练奖励替换为动作有效性奖励后，该指标降至30.8%；移除频率加成后降至36.9%；保留原有奖励机制、但随机选择执行动作后降至37.5%。
此外，研究团队探索了Self-ActionOPD：教师模型与学生模型共享同一Qwen3-4B模型的当前权重，但教师模型额外获得动作指导、私有用户目标与约束、参考动作和目标结果等特权信息。经过50步训练，学生模型在仅使用公开上下文进行测试时，平均pass¹和pass⁴分别较基础模型提升4.8和2.5个百分点。
尽管取得上述结果，但这项研究依然存在以下三项局限：
研究团队表示，ActionOPD将Agent蒸馏的监督粒度从Token提升至语义动作，通过语义匹配在学生模型自身访问的状态上提供监督，仅需教师模型的生成接口，无需获取Token概率。实验结果表明，该方法能够提升学生模型在未参与训练的Agent基准上的表现，并支持跨模型家族蒸馏。此外，Self-ActionOPD展示了利用特权上下文进行同模型动作级蒸馏的可行性，为Agent自我改进提供了一条潜在路径。开云（中国）Kaiyun关注到，本文来自微信公众号 “学术头条”（ID：SciTouTiao），作者：张佳怡，36氪经授权发布。
+15K 
