Gemini 产品负责人谈怎么做前沿模型：模型没法完全预测，产品经理要先读懂它，再去塑造它 | 人人都是产品经理

你有没有想过，一个产品经理要怎么给一个连钻研员都没法完全预测的东西定目标？做普通产品的时候，需求写清楚，工程师照着做，做出来大体就是那个样子。模型不是这样。同样的数据，同样的训练规划，出来的东西总会有几处你没写进规划里的地方，有的让人惊喜，有的让人头疼。

最近我看到 Google 前沿模型的产品负责人 Tulsee Doshi 在 Lenny 的播客上聊了很多这方面的事，觉得她讲得很实在。她手下的模型很多：Gemini 不用多说，还有做图像和视频的 Nano Banana、Veo、Genie，做音乐的 Lyria，开源的 Gemma，以及对话、翻译、语音合成这一整条音频模型。在这之前，她在 Google 做了六年负责任 AI（Responsible AI）的产品负责人。管过这么多种模型，又长期盯着安全和公平，她看模型的角度跟只盯一个产品的人很不一样。

我从她的话里读出的答案是：模型没法被精确控制的时候，产品经理要靠对模型手感的判断，靠自己动手写的评测，还要靠给还没成熟的能力提前留出一块位置。下面一层一层讲。

常规的产品思路是先定目标：要什么能力，要达成什么结果，在哪几项评测上要做到多少。Tulsee 讲，不管是外部访客还是小组内部的同事，听到这些目标以后，往往默认模型就会照着交付。她做了这么久模型的产品，最意外也最有意思的地方恰恰是，目标要定，思路要清楚，但模型是不可预测的。

她用了一个比喻，说这像《哈利·波特》里斯内普的魔药课。配方上的原料你都可以放进去，你也该对结果有预期，可最后总会多出一点魔法，这点魔法是意外的，也是这个模型独有的。所以产品经理的工作有两头，一头是塑造放进模型里的东西，另一头是看它从另一边出来了什么：它在哪些地方特别亮，哪些表现是你没想到的，然后把这些特点做成对使用者真正有用的东西。

这并不是说训练是一团乱。她提到钻研员会一直盯着每一次训练，看各项指标怎么往上走，判断什么时候该出手干预，这一部分尽量做成科学。但除了指标，还有一层只能靠上手才知道的东西：某个能力改进以后，它最亮眼的场景在哪里，放进产品里是什么样子，跟它说话时它的行为和性格是什么感觉。这些在训练时会有意去设计，可每一轮评测和试用，总会发现一点新的东西。

我认为这里有一个很容易被忽略的区别。指标告诉你某项能力涨了多少，却不会告诉你这个改进在使用者眼里是什么。同样是代码能力涨了几个点，有的版本是写得更对，有的是更愿意回头追问需求，有的是改动更少、更稳，使用者感受到的是三种完全不同的东西。所以模型训完以后，还得有人把它重新认识一遍，这个人最合适的就是产品经理，因为只有产品经理同时知道使用者要什么，也知道训练时想要什么。而认识模型的第一件事，就是看它怎么跟人打交道。

说到怎么跟人打交道，Lenny 提了一个很多人都有的感受：现在的 AI 产品越来越复杂，Codex、Claude Code 都是一堆标签页和下拉菜单，找功能要靠运气，一些实验室像是先把能力扔出去，使用者怎么用，以后再慢慢把体验做好。

Tulsee 的回答分了几层。头一层，她认为新的交互形态必须有人去试，Google 的实验室小组在做的 Flow 就是一个例子，专门做视频和音乐的编辑与生成，Veo 现在也在往 Omni 的方向做，NotebookLM 又是另一种完全不同的形态。第二层，形态要看使用者是谁。AI 模式（AI Mode）面对的是搜索里的几十亿使用者，必须每个人都能一眼上手；Anti-gravity 面对的是会用斜杠命令、会在终端和开发环境之间来回切的高级使用者，就应该留足灵活度。

她还补了第三层，这一层我觉得最有意思：模型自己也有使用者体验。它有多透明，跟你沟通得好不好，它会回头问你什么问题，这些全都是体验。所以她一直在想，怎么把对体验的讨论带进模型训练本身。

做法是这样的。Google 内部有一个专门做模型行为的小组，她的产品小组跟他们一起，先看访客和使用者的反馈，再问一个具体的问题：对 Gemini 来说，什么叫好？答案先写成一份规格说明（spec），再翻成评分标准（rubric），再变成可以拿来训练的数据，最后进到奖励模型（reward modeling）里，模型就是按这条线被教出来的。

这条线我认为值得每个做 AI 产品的人看一遍。传统产品经理写完需求文档，后面的事交给工程师；在模型这里，产品经理能出手的位置，正好是把“好”这个字拆开讲清楚。你说不清什么是好，评分标准就写不出来，数据就没法选，奖励模型也就没有方向。换句话说，模型的性格和说话方法不是钻研员随手调出来的，是有人先把想要的样子一条一条写下来，才一路传导到模型里。这也解释了为什么她后面反复讲评测，评测就是把“好”写成可以检查的东西。

在讲评测之前，先说一下 Google 为什么要同时养这么多种模型，因为这直接决定了产品经理要管多宽。

Lenny 问到一个很多人在讨论的看法：Google 是不是已经落后于最前面的两家实验室。Tulsee 的回答是，Google 的打法是全链条，从硬件到模型，再到业务几十亿使用者的终端产品，据她所知有十四个产品的使用者已经超过十亿。在这条线上，目标不只是做最前面的体验，还要在成本和品质之间做出一整条曲线上的模型，让不同阶段的人都有合适的选择：来搜索内容的人，要造下一个产品的工程师，保护枢纽基础设施的网络安全人员，用的是不同的模型。

但她也说得很直接，Google 想赢的就是前沿这场比赛。她不认为应该说 Google 没有参与前沿，Gemini 4 就是继续往前沿推进的一步，也是她希望这段对话播出时大家已经在用的东西。

前沿模型要放出去，安全是绕不开的。她提到一个让她觉得踏实的做法，是给模型加监控，直接盯着模型的思考过程，看它的行为有没有偏离被指示的方向，一旦发现就介入，这样既能更放心地发布，也能知道模型哪里容易出问题，反过来把模型做得更好。她还讲了另一面，AI 也可以用来加固系统。Gemini 4 在跟网络安全防御方携手，包括已经并入 Google 的 Wiz，去找系统里的漏洞并修补；她举的例子是，Wiz 有一个工程，帮一家医院系统发现了漏洞，并且补上了。

我自己的感受是，这种广度对 Google 是强项，也是负担。强项在于，同一套钻研能力能同时业务搜索、工程师和安全人员；负担在于，产品多了，使用者就找不到，Lenny 提到不少人根本不知道 AI Studio 的存在，说的就是这个。对产品经理来说，这意味着你要同时管成本曲线上不同位置的模型，每一个都要知道它的使用者是谁、好是什么意思，而每个“好”的定义都不一样。这个问题最后还是要落回到怎么评测上。

说到评测，她一上来就承认，这件事 Google 内部也还在摸索，小组里有些产品经理做得好一些，有些弱一些，所以他们在整体上改进大家的能力。她现在招产品经理，越来越看重几样：对模型的手感，也就是真的每天在用这些模型，有自己的观点，有自己判断一个模型好不好的用例；愿意下场，能自己看数据、写评测；还有就是灵活，因为这个方向每两周就变一次，两个月前写的路线图，两个月后就要重写。

对于完全没写过评测的人，她的建议很朴素：从五个问题开始。大家总觉得评测就是搭一个很大的基准测试，其实一个二十个问题的小评测，只要能拉开两个模型的差距，已经很有用，而且不用一开始就把所有环节想清楚。

更朴素的一步是，你自己当第一个评分的人。拿一个问题，看模型的回答，自己判断好不好。尤其是那种很长、很多轮、要走很多步的任务，光是说清楚自己心里的“好”是什么，就已经很难了。她认为，先有一批你自己认可的好例子，你就知道想要的是什么，等想清楚了，再去想怎么扩大规模。