返回列表

从跑起来到训起来：Ling-3.0-tiny × ASystem AReno，打通单机 Agentic RL 闭环

2026年8月14日14 分钟阅读

模型能够在本地运行，并不意味着它已经天然适合一项具体业务。

进入真实流程后，模型面对的不只是“如何回答”，还要理解业务规则、遵守流程边界、正确调用工具，并给出能够被下游系统继续处理的结果。客服 Agent 可能选对退款工具，却填错关键参数；流程 Agent 可能理解了用户意图，却漏掉审批步骤；结构化抽取看似完整，字段却无法被系统解析；代码 Agent 读懂了需求，却没有按照约束修改指定文件。

Prompt 可以补充当次任务要求，检索可以提供缺失知识，工具可以扩展模型的行动能力。但当同一类行为错误在重复流程中持续出现，业务需要解决的就不只是“再提醒模型一次”，而是让模型更稳定地学会规则、工具使用方式和行动边界。

这正是后训练可以发挥价值的地方。尤其在本地业务场景中，企业内部数据、失败轨迹和反馈信号往往受到数据边界约束；业务规则、工具接口和流程状态又会持续变化。模型需要在贴近业务现场的环境里完成：基线评测 → 反馈定义 → 后训练 → 同环境复测，由此形成一条可持续迭代的任务适配闭环。

01 面向真实任务，Tiny x AReno 给出一条轻量后训练实践路径

图

针对模型进入本地业务后仍需进一步适配的问题，Ling-3.0-tiny × ASystem AReno 给出了一条更轻量的后训练实践路径：从一台机器、一个小模型和一个明确任务开始，先观察模型在任务中的行为边界，再把规则和结果转化为反馈，通过本地后训练更新模型，最后回到同一环境复测。

其中，Ling-3.0-tiny 提供可在本地运行和迭代的模型基础；AReno 负责把任务反馈组织成可训练、可复测的后训练闭环。支撑这条路径的 AReno（ASystem Reinforcement Learning Nano），是由蚂蚁 ASystem 团队发起、由开源社区共同维护的本地化大模型后训练工具包，支持 RL、SFT/DPO 类训练、本地模型服务与 Agentic RL。它将训练框架、推理服务与底层算子整合进单节点流程，让开发者无需先搭建集群，也不必分别拼接多套系统，就能从基础模型出发，跑通训练、服务与任务复测。

为了让整个过程足够清晰、可复现，这次合作实践选择井字棋作为最小验证任务，在 DGX Spark 上通过 AReno 对 Ling-3.0-tiny 进行 Agentic RL 后训练。需要明确的是，井字棋不是最终要解决的业务问题，也不是百灵的真实世界案例，它是一个规则清楚、反馈明确、结果可验证的最小实验环境。

02 一个最小验证任务：用井字棋跑通 Agentic RL

井字棋只有 9 个格子，规则明确，胜负容易判断，很适合验证后训练闭环。但它又不是一个简单的单步分类任务：模型需要理解当前棋盘状态，通过 choose_square 工具执行动作，选择合法位置，避免重复落子，并在有机会时完成获胜动作。

这个最小任务同时覆盖状态理解、工具调用、环境判断、反馈设计和同环境复测，因此足以验证一条 Agentic RL 闭环。

完整实验路径分为四步：

  • 基线评测： 先让 Ling-3.0-tiny 在同一环境中直接对局，观察它能否理解状态、正确调用工具并选择合法动作；
  • 定义反馈： 把任务规则、非法动作、最优动作和获胜动作转化为清晰的 Reward；
  • 后训练适配： 使用 AReno 把 rollout、Reward、训练和采样组织成闭环，让模型在交互反馈中更新策略；
  • 复测验证： 回到同一环境再次对局，用可视化表现、Reward 曲线和 response_len 一起判断模型是否真的改善。

训练前：Tiny 已经能理解规则，但行动还不稳定

训练前，Ling-3.0-tiny 已经能够理解一部分任务上下文和井字棋规则，但进入交互环境后，行动还不够稳定。比如在初始表现中，模型会出现判断错误，甚至把棋落到已经被占用的位置上。

这类问题在 Agent 任务中很典型：模型看起来“知道规则”，但一旦进入真实交互环境，工具调用参数、状态理解和动作选择都会暴露问题。

图

交互环境能够把问题进一步拆开：每一步是否合法、是否违反状态约束、是否错过更优选择，都可以由环境直接评估。相比只看离线问答，开发者更容易判断模型究竟错在规则理解、状态理解、工具调用，还是行动策略。

数据集设计：让模型面对可复现的任务状态

为了让训练过程可复现，此次实验先生成一批井字棋中间局面，让模型在不同棋盘状态下学习如何选择下一步动作。

数据生成遵循以下规则：

  1. 创建空的 3×3 棋盘，空格使用  .  表示；
  2. 从 X 开始行动；
  3. 随机走 0～6 步；
  4. 每一步只能从当前合法空位中随机选择；
  5. 一旦出现胜负或棋盘结束，就停止继续落子；
  6. 最终只保留三类条件同时成立的局面：轮到 X 行动、对局尚未结束、局面不重复；
  7. 使用固定随机种子，因此相同参数可以重复生成相同数据；
  8. 如果随机过程结束时轮到 O，生成器会额外随机落一个 O，使最终轮到 X。

一条数据示例如下。模型需要根据当前棋盘状态，选择下一步动作：

{"id":"generated-00000","board":[["X",".","O"],[".",".","."],["X","O","."]]}

Reward 设计：把任务规则变成训练反馈

为了让训练信号尽量直接，此次实践为井字棋任务设计了一套简洁的 Reward，把最关键的行为约束明确表达出来：

  • 没有合法的 choose_square tool call：-1.0；
  • 参数无法解析，或选择了已占用格子：-1.0；
  • 当前一步让 X 立即获胜：1.0；
  • 没有立即获胜，但属于最优动作：0.8；
  • 动作合法，但并非最优动作：0.0。

这套 Reward 依次约束了三件事：首先，模型必须学会使用正确的工具格式行动；其次，模型必须遵守环境状态，不能选择已经被占用的格子；最后，模型需要在“合法”的基础上，进一步追求更优策略。

至此，井字棋中的规则与结果被转化为可以进入后训练闭环的反馈信号。

DGX Spark 实测：模型不止跑起来，也能在反馈中变稳定

在基线问题和反馈规则明确之后，AReno 侧在 DGX Spark 环境中对 Ling-3.0-tiny 进行后训练，使用 GSPO 算法训练 400 个 step。

训练过程中，rollout/rewards_mean 从平均约**-0.5** 上升到 0.4 左右。结合任务定义与后续复测，这意味着模型在逐步减少非法动作、提高有效行动比例，并学习选择更合理的落子策略。

图

与此同时，response_len 下降到约 850 tokens。这说明模型在完成任务时变得更加简洁，减少了不必要的冗长思考和无效输出。对于 Agentic 任务而言，模型不仅需要做对，也需要用更稳定、更高效的方式完成任务。

图

一个指标反映任务反馈在变好，另一个指标反映模型输出趋于收敛。两者结合起来，可以更完整地观察后训练如何改变模型在特定任务中的行为方式。

但指标并不是终点。更直观的验证，是把训练后的模型放回同一个交互环境，再次观察它如何调用工具、选择动作和遵守棋盘状态。

训练后：Tiny 稳定性提升、选择更加合理

图

同一环境中的复测显示：训练后的 Ling-3.0-tiny 在工具调用和动作选择上稳定了很多，能够更好地遵守棋盘状态，也能在关键位置作出更合理的选择。

训练前后的同环境对比表明，模型在该任务中的工具调用与动作选择趋于稳定。

这里需要强调：这个结果说明的是在井字棋这一规则明确、反馈可验证的实验环境中，后训练正在改变模型的任务行为；它并不等同于模型通用能力的整体提升。这个 Demo 的价值，在于验证一条可以被观察、被复现、被迁移的任务适配路径。

03 什么样的业务任务，更适合做后训练？

不是每一个任务都需要后训练。如果一次 Prompt 调整就能稳定解决问题，或者任务主要缺少外部知识，可以先选择更轻量的上下文、检索或工具方案。

当下面几项条件同时出现时，后训练的价值会更加明确：

  • 任务规则相对清晰。 什么是正确、错误、合法、违规或更优的行为，可以被明确描述；

  • 模型错误能够复现。 同一类错误会在相似任务中持续出现，而不是一次性的偶发问题；

  • 结果可以被评价。 环境、规则程序或人工反馈能够判断模型是否完成任务，并形成监督数据、偏好信号或 Reward；

  • 任务会重复发生。 模型需要在一批相似流程中保持稳定行为，而不只是完成一次对话；

  • 目标是改变模型行为。 开发者希望模型长期形成更稳定的格式、工具使用方式、决策偏好或流程约束。

例如：

  • 工具调用修复： 减少工具名、参数格式和调用时机错误；

  • 结构化抽取： 让模型持续遵守字段、Schema 和输出格式；

  • 领域指令遵循： 在专业规则和业务边界内完成任务；

  • 个人写作格式适配： 稳定学习特定表达、结构和排版偏好；

  • 业务流程 Agent： 在多步骤任务中正确调用工具、填写表单、推进流程并处理环境反馈。

04 为什么选择 Ling-3.0-tiny？

选择 Tiny 的核心原因，并不是它“足够小”，而是它在降低本地运行和实验门槛的同时，仍具备进入推理、工具调用和 Agent 任务的能力基础。

Ling-3.0-tiny 拥有 7.9B 总参数，但推理时每个 Token 仅激活 1.3B 参数，是一款原生混合推理模型；BF16、FP8 和 INT4 三个开源版本，也让开发者可以根据硬件环境、能力需求和部署成本灵活选择。

在《Ling-3.0-tiny 正式开源：让 1.3B 激活参数，进入真实任务》 中，Tiny 已经展示了在 DGX Spark、MacBook、Mac mini 等设备上的本地运行能力，也能够进入本地知识库、代码助手、UI 自动化、企业任务智能体等真实工作流。

对后训练而言，模型大小会直接影响开发者能否快速完成一次任务适配闭环。模型过大，一次实验往往需要更高显存、更复杂的并行策略和更长的等待时间；Reward、数据或 Agent 逻辑发生变化后，也很难快速进入下一轮训练与复测。

Ling-3.0-tiny 的价值，在于缩短这条反馈链路：

  • 轻量可训。 7.9B 总参数、1.3B 激活参数的模型规模，更适合在 DGX Spark 这类轻量环境中完成训练、调试和复现实验；

  • 快速迭代。 Reward、数据、Prompt 和 Agent 逻辑的调整，可以更快进入下一轮训练与复测；

  • 具备真实任务与 Agentic RL 的探索基础。 Tiny 已经能够进入真实任务、工具调用和 Agent 工作流，可以在环境交互和规则反馈中继续调整行动策略。

05 为什么选择 AReno？

核心是因为：AReno 希望降低的，是从“有一个任务适配想法”到“真正完成训练和复测”的工程门槛。

过去，强化学习后训练往往意味着训练框架、推理服务、算子依赖、环境配置、集群资源、Reward 设计和 Agent 轨迹采集等一整套复杂系统。任何一个环节没有打通，一个原本很具体的任务适配想法，都可能停在“还没跑起来”。

AReno 希望把这条路径缩短。目前，它支持：

  • SFT / DPO 风格训练；
  • RL 后训练；
  • Agentic RL；
  • 本地模型服务；
  • Reward Function 自定义；
  • 训练、推理、采样与优化闭环。

AReno 将本地服务、rollout、Reward 与训练串成闭环，并允许开发者替换数据、环境和 Agent Function；开发者因此能在本地把任务跑通、看见变化，并迁移到自己的流程。

06 如何复现实验，并迁移到自己的业务？

AReno 已经提供了通过 Docker 在 DGX Spark 上运行训练的完整教程。开发者可以直接按照指南复现井字棋实验：

DGX Spark 井字棋后训练教程（https://github.com/inclusionAI/AReno/blob/main/examples/agentic/tictactoe/DGX_SPARK_GUIDE_CN.md） 

跑通之后，可以替换数据集、Reward 或 Agent Function，把这个最小实验改造成自己的任务后训练实验，同一方法可以迁移到前述工具调用、结构化抽取、领域指令和业务流程 Agent 等任务。

真正值得复用的不是井字棋本身，而是它背后的方法：

找到可复现错误 → 定义可验证反馈 → 完成本地训练 → 回到同一环境复测。

这也是本次Tiny × AReno实践希望交付的核心资产。

接下来，AReno 还会持续补充更多面向小模型、Agentic RL、开发者实践和高校教学的案例，帮助开发者从更小、更直观的任务出发，逐步把后训练方法迁移到自己的真实场景中。

07 欢迎下载使用 Tiny，也欢迎参与贡献 AReno**

Ling-3.0-tiny 已正式开源，提供 BF16、FP8 和 INT4 版本。欢迎根据自己的设备与任务需求下载使用：

🤗 Hugging Face

https://huggingface.co/inclusionAI/Ling-3.0-tiny 

https://huggingface.co/inclusionAI/Ling-3.0-tiny-fp8 

https://huggingface.co/inclusionAI/Ling-3.0-tiny-int4 

🤖 魔搭社区 https://modelscope.cn/models/inclusionAI/Ling-3.0-tiny 

https://modelscope.cn/models/inclusionAI/Ling-3.0-tiny-fp8 

https://modelscope.cn/models/inclusionAI/Ling-3.0-tiny-int4 

也欢迎访问 AReno GitHub 仓库（https://github.com/inclusionAI/AReno），复现这次  Spark 后训练实验，提交 Issue、参与讨论，或者贡献 Tiny 个性化训练 Case。

如果你对以下方向感兴趣，欢迎参与 AReno 开源社区：

  • 轻量模型后训练；
  • Agentic RL；
  • Reward Function 设计；
  • 工具调用与流程 Agent；
  • 小模型任务适配；
  • 本地化 AI 工具链；
  • AI 教学与开发者社区。

08 从本地运行，到更好地匹配真实业务

模型进入本地只是第一步，能否根据业务反馈持续适配，才决定它能否真正进入流程。

Ling-3.0-tiny × ASystem AReno 此次验证的，不是一个已经完成的行业解决方案，而是一条轻量、透明、可复现的任务适配路径：从跑起来，到训起来，再到回到任务中验证是否真的变好。

我们希望开放的不只是模型权重和训练工具，更是一种可被验证、批评、改造和继续创造的方法。

Open intelligence for the real world.

让智能在真实环境中理解任务、调用工具、执行行动并接受反馈；让结果可以验证，让边界保持清晰，让责任始终由人承担。

技术分享强化学习