往常一周密网王人在养那只红色卡通龙虾 OpenClaw。作为大要我方入手干活的 AI 智能体，有东谈主花几千块请它回家，几天后账号被盗、文献被删，又花几百块请东谈主卸载。从列队装置到扎堆卸载只隔了一周。

虾到底该奈何养？北京大学博士、好意思国普林斯顿大学博士后究诘员杨灵（团结导师为王梦迪栽植）和团队成员（王胤杰博士等东谈主）给出一个让虾越养越好、越养越智谋的谜底。

几天前，杨灵等东谈主发布了一个名为 OpenClaw-RL 的开源框架，中枢逻辑相称节略但颇具知悉，你和 AI 的每一次对话自己等于最佳的进修数据。这套系统让 AI 正燕劳动用户的同期，后台有四个透顶解耦的模块在异步运转：计策劳动、轨迹鸠合、历程奖励评估与参数进修，互彼此不阻拦。

杨灵告诉 DeepTech：“咱们此次聚焦的是个性化场景下的在线强化学习。这个标的之前很少有东谈主系统性地究诘，主要原因是零落自然产生的交互数据，学术界很难构造可复现的 benchmark，工业界也零落端到端的进修闭环。”

“咱们此次的责任尽头于为这个标的提供了第一套好意思满的基础门径和设施论，从数据鸠合、信号索取到计策优化，酿成了一个可落地的闭环，同期也建议了一些新的究诘视角。”其默示。

这套系统的中枢知悉在于从头扫视了一个被永久冷落的资源：AI 每奉行一次动作之后，王人会收到一个\"下一景况\"（next state），用户的恢复、器具的输出、测试的为止、界面的变化，这些全部是信号。现存系统仅仅把这些信号算作念下一轮对话的高下文输入，但 OpenClaw-RL 的不雅点是，它们本色上是对上一步动作质地最平直、最丰富的反馈，透顶不错在不需要任何东谈主工标注的情况下，漂浮为强化学习的进修信号。

这些信号里藏着两种截然有异的信息：

第一种是评估性信号。用户安稳就给正分，不安稳就给负分；用户访佛发问频频意味着不悦，测试通过则意味着见效。这些信号被一个名为\"历程奖励模子\"（Process Reward Model, PRM）的裁判模块捕捉。

为了提高判断的鲁棒性，系统对每一步动作进行屡次寂寥评估，然后通过大王人表决机制，将为止退换成+1（好）、-1（差）或 0（中性）的标量奖励。与传统强化学习只在职务驱散时给出一个最终分数不同，这种缓缓评估的模式让进修信号密集了一个数目级，计策模子不错精准知谈是哪一步作念对了、哪一步作念错了。

第二种是同样性信号。当用户对 AI 说\"你应该先搜检文献再裁剪\"，这不仅仅一个差评，它在告诉 AI 具体那处作念错了、应该奈何改。但是，仅靠+1/-1 的标量奖励根蒂无法传递这种细粒度的阅兵信息：它只可说\"你错了\"，却说不清\"错在那处、该奈何改\"。

为此，杨灵和团队联想了一种名为“基于指示的在线计策蒸馏”（Hindsight-Guided On-Policy Distillation, OPD）的设施。其中枢想路好意思妙而直观：当下一条用户恢复到来时，系统中的裁判模块会从中提真金不怕火一句可操作的\"过后指示\"（hindsight hint），举例“应该先搜检文献是否存在再奉行裁剪操作”。然后，系统把这条指示附加到正本的对话历史中，构造出一个\"增强版指示\"。

要道来了：系统并不让模子从头生成一版回答，而是让归拢个模子在增强版指示下从头评估原始回答中每一个词的生成概率。淌若某个词在\"知谈指示之后\"的概率变高了，评释这个词说对了，模子应当加强；反之淌若概率缩短了，评释这个词不够好，应当阻止。这种逐词级别的标的性信号远比一个节略的“好/坏”分数丰富得多，它不仅告诉模子\"你错了\"，还精准指出\"哪个词该多说、哪个词该少说\"。

这两种设施互为补充：评估性信号袒护范围广，险些每一轮对话王人能产生奖励信号，固然粒度较粗但胜在无处不在；同样性信号则惟一在用户提供了具有阅兵意旨的反馈时才会触发，出现频率较低但信息密度极高。论文实验标明，将两者结合使用时，成果显耀优于单独使用任何一种设施。

究诘中，他们在以下两个模拟场景里作念了测试：

一个是让学生使用 AI 写功课，要求是别让赤诚看出来是 AI 写的（自然现实生涯中不饱读吹大家这么使用）。另一个是让赤诚用 AI 更动功课，要求考语要具体又友善。

在赤诚使用 AI 更动功课的阿谁例子里，一开动 AI 只会回答“正确，作念得很好”。但在经过 24 轮优化之后它会写下“你把 3 盘活成 21 天这一步好多同学会漏掉，但是你处置得很准确”这么的考语，同期还配上了神态标记，相称相宜东谈主类宇宙所见解的夸奖要具体而确切的作念法。

OpenClaw-RL 在工程上的另一个松懈是将 AI 进修从传统的\"停服更新\"变成了\"边用边学\"。总共系统承袭全异步架构：计策劳动器捏续反应新的用户恳求，轨迹鸠合器同步截取进修所需的数据，裁判模块并发地给前一个回答打分，而进修器则在后台捏续更新参数。

当参数更新完成时，系统会倏地暂停数据提交、加载新权重，然后无缝规复劳动。总共历程中莫得任何组件需要恭候其他组件完成，用户端感受到的是零中断的联结劳动。

他们还把 OpenClaw-RL 足下到了愈加复杂的通用智能体场景，涵盖结尾操作（128 个并行环境）、图形界面操作（64 个）、代码编写（64 个）和器具调用（32 个）四大类任务。在器具调用任务上，同期使用历程奖励和为止奖励两种信号，准确率从基线的 17% 一谈普及到 76%，这意味着归拢个模子在捏续交互中完成了逾越 4 倍的性能跃升。

据杨灵先容，这套进修框架的一个贫窭发现是：来自不同 Agent 场景（结尾、GUI、代码、器具调用）的交互数据不错放在归拢个框架中鸠合进修，何况模子在各个维度上王人呈现出全体性的飞腾趋势。\"这意味着调治的 Agent 强化学习进修是可行的，\"杨灵说，\"淌若这条路能走通，关于构建真确通用的 AI 智能体会是一个相称要道的基础。

因为通用智能体最终要濒临不同种类的任务、场景和用户需求，一套调治且可延长的进修框架是必要条款。据咱们所知，这种跨场景鸠合进修 Agent 的视角之前还莫得被系统性地探索过。\"

“事实上，这项究诘从 idea 建议到开源，咱们只花了三天。自然必要的斟酌不行少，但在当今这个期间，有些目的从出来到已毕，确实不错很快。”杨灵默示。

他补充称：\"不外在这个大家王人在拼速率的期间，我合计对问题的判断力和究诘试吃反而更贫窭。遴荐作念什么、不作念什么，能不行识别出真确有永久价值的问题，这些决定了一个究诘标的最终能走多远。奉行力自然也要道，不仅仅说模子能不行跑出好的数字，而是整套系统能不行真确落地、让东谈主用起来。\"

在足下出路上，杨灵认为 OpenClaw-RL 有两个最有价值的落地标的。

第一个是隐秘明锐的土产货化场景。举例政府部门、金融机构和医疗机构，这些场景不可能将数据传输给外部的大模子 API，但同样有横暴的 AI 智能体需求。OpenClaw-RL 提供了一条可行旅途：在土产货部署模子，通过日常使用中的自然交互捏续优化，数据全程不出土产货。

\"第二个标的是工业级的大规模 Agent 进修，\"杨灵说，\"现时开源的 Agent 进修框架好多只针对单一场景作念优化。咱们的系统从联想之初等于跨场景的，结尾、GUI、代码、器具调用不错在归拢套框架里鸠合进修。这意味着它的架构自然顺应延长到工业规模的多场景 Agent 优化。\"

论文发布后，杨灵收到了来自学术界和工业界的诸多团结邀约。团队贪图沿两条线并行鼓励。究诘方面，他们但愿将 next-state learning 这一范式作念深作念透，不仅限于计策优化，还将拓展到 Agent 的记念系统和手段蓄积机制，最终规画是构建一套能在捏续交互中自主进化的好意思满 Agent 学习体系。工程与足下方面，他们贪图在更大规模和更多确切场景上考据框架的可延长性，并与有推行 Agent 部署需求的企业伸开团结。

谈到下一步，杨灵默示：\"一方面咱们但愿大幅缩短使用门槛，让个性化 Agent 进修变成一个开箱即用的事情，当今好多东谈主连 OpenClaw 王人装不解白，更别说跑强化学习了。咱们会捏续改善文档和器具链，规画是让正常确立者也能用上这套本事。

另一方面是 next-state learning 这个范式自己的纵深鼓励，现时咱们只挖掘了其中的评估性信号和同样性信号，但 next-state 里其实还蕴含着展望性信号，也等于 Agent 能不行学会预判我方的动作会导致什么后果。淌若这一层也能买通，Agent 就不再是被迫等反馈，而是主动袪除已知的失败模式。

而且这套范式自然是跨场景的，对话、器具调用、代码编写、图形界面操作这四类任务产生的 next-state 固然形态互异，但王人不错纳入归拢个学习框架。这是一个相称有后劲的标的，咱们正在积极鼓励。\"

参考辛苦：

联系论文 https://arxiv.org/pdf/2603.10165

运营/排版：何晨龙