少有的同时做过Agent、多模态和具身的人

本文来自微信公众号： 42章经 ，作者：曲凯，原文标题：《少有的同时做过 Agent、多模态和具身的人 | 42章经》淏楠最早在MiroMind做Agent，后来转去混元，负责多模态RL infra，最近又去了某具身公司负责模型训练。本期播客原文约19000字，编辑整理后约5600字。曲凯：去年应用落地有两条主线，一是Agent，二是多模态。现在Agent这边方向已经比较明确了，尤其是最近又有Personal Agent这一波。那多模态这边，这一年有哪些新的进展？淏楠：在这个领域里，一年太长了哈哈。不过我们可以再往回倒一下。其实在做多模态之前，25年10月的时候，我在MiroMind做纯语言的Agent，主要参与mid-train和SFT，做Web Search的数据。但去年年底的时候我就意识到了一个问题：如果继续做Agent，我大概率会以造数据为主。对我来说，这件事不够有趣。那时多模态也很热，我和一些做这块的朋友交流过，觉得这个方向还不错，自己也感兴趣，所以就转到了多模态。曲凯：但做多模态的后训练，不也是要搞很多数据吗？你实际做下来，感受怎么样？淏楠：我去混元做的是RL infra，更偏底层架构。去了之后，学到了很多infra方面的事情。当时我们的infra、算法、reward三者是绑在一起的，能形成RL的闭环。其实Agent和多模态的关系很紧密，因为Agent是很合理的人机交互方式，而且使用Agent的过程中也能产生各种有价值的数据，比如模型可能给出三四个片段，你可以选择要哪个。所以我们当时其实想做一个多模态领域的Cursor，然后围绕这整套Agent的使用方式去做后训练。曲凯：国内虽然讲了很久RL，也有很多人在做，但有人说跟海外的差距还是很明显。你怎么看？淏楠：其实工程实践、infra上的代差没有那么大，最大的差距可能还是卡不够。RL甚至比预训练还费卡。卡少，实验就少，经验积累也慢。曲凯：那在多模态和Agent这两边都做过以后，你有什么感受？淏楠：这两边挺像围城，大家都觉得对面更有意思哈哈。做Agent的哥们觉得自己天天就是洗数据，没劲；做视频的又觉得，大家都说视频不体现智力。其实从职业发展看，Agent赛道有个天然的优势，就是工作机会比较多，比较容易换下家，因为Agent一直在主线上。而多模态这边，好处就是有些工作体验会更有趣。比如review数据时，看视频总比逐条读Agent的轨迹、写规则筛数据更有意思。但这边的好机会可能没那么多。不过最近Computer Use很受重视，所以做多模态理解的同学可能会觉得今年好像还不错。而做生成的人，要么会去做视频或者世界模型，要么像我一样去做具身。曲凯：你为什么会从多模态转到具身？淏楠：其实这个逻辑非常顺，因为某种程度上，action也是一种模态，而且动作生成也可以用Diffusion Model，从模型逻辑上来看，两边很接近，甚至可以拿原来的代码试一把，迁移门槛没那么高。曲凯：你讲的是为什么能转，那为什么要转？为什么不继续做视频生成？淏楠：我会觉得视频生成比较难快速往上走，因为模型侧最能带来能力提升的仍然是预训练，这就导致这个方向更吃资本、吃大团队、吃公司，更有巨头效应，不是一拨厉害的人凑到一起就能干起来的。我们也尝试过，但没成。其实年初我们本以为视频生成里也可能有一个R1时刻，就是能像当时语言模型那样，通过后训练、test-time scaling获得很大的能力提升。但做了半年，发现没跑出那么高效的RL scaling law。那么要做好预训练，关键就是数据。而且，你还是得在有产品的地方做，才更有机会做成。infra大家都做得不错，开源生态也很好，找十来个有经验的同学，做两个月，都能推到一个相对合理的水平。但数据没人开源，只能靠积累，走不了捷径。你要么花钱采买，要么自己有产品，能回流和积累数据。Seedance之所以做得这么好，和他们的数据质量以及产品都有很大关系。曲凯：那视频生成模型现在发展到了什么程度？我最近刷到一些AI短剧，感觉质量又上了一个台阶，接近Netflix的水平了，比如很推荐大家感受一下《无敌超人》。当然，感觉这种视频里应该还是有很多专业的人为因素在。淏楠：我觉得做到接近电影水平没什么问题，但目前整体发展大概是60分，还在半山腰，因为模型能力还不太能被大家很方便地用起来。你自己去做一条短剧试试，就会发现很痛苦，上下文管理等各方面都不到位。所以我觉得未来半年到一年，这个领域有两个机会。一是便于操作的交互方式或者Harness。其实视频里的交互和Harness，比代码领域里的更重要，因为代码里公认的标准就是快、好、整洁、好读，而视频除了连贯性、可编辑性等大家都需要的基础能力，还涉及到人的taste，每个人想施加的影响都不同。现在用非常详细的描述，也能控制镜头语言。但…