很多產(chǎn)品經(jīng)理把精力放在功能交互、算法選型上，卻忽視了一個(gè)更底層的問(wèn)題：你的產(chǎn)品設(shè)計(jì)，能不能產(chǎn)生"有價(jià)值的數(shù)據(jù)"？這才是AI產(chǎn)品真正的護(hù)城河。

———— / BEGIN / ————

兩款相似的AI產(chǎn)品，三年后命運(yùn)截然不同

2020年，國(guó)內(nèi)幾乎同時(shí)出現(xiàn)了兩款A(yù)I智能簡(jiǎn)歷助手，我姑且稱它們?yōu)锳產(chǎn)品和B產(chǎn)品。

兩款產(chǎn)品起點(diǎn)相似：都是幫求職者優(yōu)化簡(jiǎn)歷、匹配崗位的AI工具，初期用戶體量差不多，融資規(guī)模也旗鼓相當(dāng)，背后的算法團(tuán)隊(duì)實(shí)力相當(dāng)。

三年后，A產(chǎn)品成為行業(yè)頭部，月活破百萬(wàn)，還孵化出了招聘SaaS業(yè)務(wù)。B產(chǎn)品則悄悄關(guān)閉了，幾乎沒(méi)有激起任何水花。

是A產(chǎn)品的算法更好嗎？不是，初期兩者都用的是同類開源模型。

是A產(chǎn)品更會(huì)做市場(chǎng)推廣嗎？也不是，B產(chǎn)品一度比A產(chǎn)品更激進(jìn)。

核心差異，出在產(chǎn)品設(shè)計(jì)的一個(gè)決策上。

A產(chǎn)品在設(shè)計(jì)之初就想清楚了一件事：簡(jiǎn)歷優(yōu)化工具最有價(jià)值的數(shù)據(jù)，不是”用戶投了多少份簡(jiǎn)歷”，而是”哪些簡(jiǎn)歷修改行為，對(duì)應(yīng)了后續(xù)的面試邀請(qǐng)”。于是他們把產(chǎn)品設(shè)計(jì)成了一個(gè)閉環(huán)：用戶投遞簡(jiǎn)歷→跟蹤后續(xù)面試結(jié)果→記錄哪些修改帶來(lái)了正向反饋→反哺推薦模型。

B產(chǎn)品呢？他們的數(shù)據(jù)埋點(diǎn)邏輯是傳統(tǒng)的：”用戶打開次數(shù)、使用時(shí)長(zhǎng)、功能點(diǎn)擊率?！边@些數(shù)據(jù)能幫他們優(yōu)化交互，但無(wú)法幫模型變得更聰明。

A產(chǎn)品積累的是有因果關(guān)系的訓(xùn)練數(shù)據(jù)，B產(chǎn)品積累的是沒(méi)有閉環(huán)的行為日志。三年時(shí)間，這個(gè)差距被無(wú)限放大。

這個(gè)案例讓我意識(shí)到：AI產(chǎn)品的競(jìng)爭(zhēng)，在產(chǎn)品設(shè)計(jì)階段就已經(jīng)決定了勝負(fù)。 那個(gè)決定勝負(fù)的關(guān)鍵變量，叫做——數(shù)據(jù)設(shè)計(jì)。

什么是”數(shù)據(jù)設(shè)計(jì)”？大多數(shù)PM從沒(méi)認(rèn)真想過(guò)這個(gè)問(wèn)題

“數(shù)據(jù)設(shè)計(jì)”不是數(shù)據(jù)分析，不是埋點(diǎn)方案，也不是BI報(bào)表。

它是指：在產(chǎn)品功能設(shè)計(jì)階段，有意識(shí)地規(guī)劃這個(gè)功能將產(chǎn)生什么數(shù)據(jù)、這些數(shù)據(jù)有沒(méi)有訓(xùn)練價(jià)值、數(shù)據(jù)能不能形成壁壘。

打個(gè)比方。你是一名廚師，要做一道菜。數(shù)據(jù)分析是”分析這道菜好不好吃”；數(shù)據(jù)埋點(diǎn)是”在廚房里安裝攝像頭”；而數(shù)據(jù)設(shè)計(jì)，是”在建廚房之前，就規(guī)劃好食材從哪里來(lái)、怎么儲(chǔ)存、怎么加工”。

大多數(shù)PM會(huì)做前兩件事，但很少認(rèn)真做第三件。

數(shù)據(jù)設(shè)計(jì)有三個(gè)核心層次，PM必須都想清楚：

第一層：數(shù)據(jù)從哪里來(lái)（數(shù)據(jù)入口設(shè)計(jì)） 你的產(chǎn)品功能是否會(huì)產(chǎn)生有意義的用戶行為信號(hào)？用戶的哪些操作，能反映他們真實(shí)的需求和判斷？

第二層：數(shù)據(jù)長(zhǎng)什么樣（數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì)） 采集到的原始數(shù)據(jù)，是否具備可訓(xùn)練性？它是有標(biāo)簽的還是無(wú)標(biāo)簽的？是稀疏的還是稠密的？

第三層：數(shù)據(jù)能去哪里（數(shù)據(jù)流向設(shè)計(jì)） 這些數(shù)據(jù)最終能不能流回模型、形成反饋？還是采集了就躺在數(shù)據(jù)庫(kù)里睡大覺(jué)？

三層都想清楚，才叫完整的數(shù)據(jù)設(shè)計(jì)。只做其中一層，是大多數(shù)PM的現(xiàn)狀。

三個(gè)改變產(chǎn)品命運(yùn)的數(shù)據(jù)設(shè)計(jì)決策

數(shù)據(jù)設(shè)計(jì)不是抽象的理念，它落地在產(chǎn)品經(jīng)理每天都要做的功能決策上。以下三個(gè)決策點(diǎn)，決定了你的AI產(chǎn)品數(shù)據(jù)壁壘的高度。

決策一：你的產(chǎn)品”問(wèn)用戶”，還是”讓用戶做”？

這是數(shù)據(jù)設(shè)計(jì)最根本的分叉點(diǎn)。

“問(wèn)用戶”是指：通過(guò)調(diào)研問(wèn)卷、評(píng)分彈窗、滿意度打分來(lái)獲取數(shù)據(jù)。這類數(shù)據(jù)看起來(lái)很直接，但有兩個(gè)致命缺陷：第一，用戶的表達(dá)和用戶的真實(shí)行為往往是兩回事；第二，這類數(shù)據(jù)量太少，很難驅(qū)動(dòng)模型迭代。

“讓用戶做”是指：把數(shù)據(jù)采集內(nèi)嵌在用戶的自然操作流程中，用戶的每一次使用行為本身就是數(shù)據(jù)。

以AI代碼助手為例。GitHub Copilot的數(shù)據(jù)設(shè)計(jì)有一個(gè)極其聰明的地方：他們不只看”用戶點(diǎn)了接受”，還會(huì)追蹤”用戶接受了AI建議之后，在接下來(lái)5分鐘內(nèi)有沒(méi)有修改它”。如果用戶接受之后馬上修改，說(shuō)明這條建議質(zhì)量不高；如果用戶接受之后直接提交，說(shuō)明質(zhì)量很好。這個(gè)行為序列給了模型非常精準(zhǔn)的質(zhì)量信號(hào)，而整個(gè)過(guò)程中用戶什么都不需要額外做。

這就是“讓用戶做”的精髓：數(shù)據(jù)采集藏在用戶價(jià)值里，用戶毫無(wú)感知，但每一次操作都是高質(zhì)量標(biāo)注。

決策二：你設(shè)計(jì)的是”單次反饋”，還是”序列反饋”？

很多PM在設(shè)計(jì)數(shù)據(jù)采集邏輯時(shí)，只考慮”單次”：這次交互好不好，用戶滿意不滿意。

但AI模型真正需要的，是序列信號(hào)——用戶行為的前后文關(guān)系。

舉個(gè)例子：某AI客服產(chǎn)品，只采集”用戶是否點(diǎn)擊了滿意”。這是單次反饋。

但是，一個(gè)更聰明的設(shè)計(jì)是采集這樣的序列：用戶問(wèn)了問(wèn)題→AI給了答案→用戶追問(wèn)了（說(shuō)明沒(méi)答好）→AI給了第二個(gè)答案→用戶結(jié)束對(duì)話（說(shuō)明這次答好了）→整個(gè)對(duì)話鏈構(gòu)成一條訓(xùn)練樣本。

前者只知道”結(jié)果”，后者同時(shí)知道”哪一步出了問(wèn)題”。對(duì)模型訓(xùn)練來(lái)說(shuō)，后者的價(jià)值是前者的數(shù)十倍。

Netflix的推薦系統(tǒng)是這方面的經(jīng)典案例。他們發(fā)現(xiàn)”用戶評(píng)分”這個(gè)信號(hào)其實(shí)很臟——用戶給的評(píng)分反映的是”用戶認(rèn)為應(yīng)該喜歡”，而不是”用戶真正喜歡”。所以Netflix更依賴”用戶的觀看行為序列”：看到哪里暫停了、第二天又繼續(xù)看了、看到一半關(guān)掉了——這些序列信號(hào)，比評(píng)分準(zhǔn)確得多。

單次反饋給你一個(gè)點(diǎn)，序列反饋給你一條路。想清楚你需要的是點(diǎn)還是路，決定了你能訓(xùn)練出什么樣的模型。

決策三：你的數(shù)據(jù)是”可積累的”，還是”用完即棄的”？

這個(gè)決策決定了你的產(chǎn)品有沒(méi)有時(shí)間維度的競(jìng)爭(zhēng)優(yōu)勢(shì)。

可積累的數(shù)據(jù)，是指隨著時(shí)間推移，數(shù)據(jù)價(jià)值會(huì)持續(xù)增長(zhǎng)的數(shù)據(jù)。典型例子：用戶的歷史行為畫像、專業(yè)領(lǐng)域的標(biāo)注語(yǔ)料、用戶與產(chǎn)品的長(zhǎng)期交互記錄。這類數(shù)據(jù)有”飛輪效應(yīng)”——積累越多，模型越好，產(chǎn)品越好用，用戶越多，數(shù)據(jù)積累越快。

用完即棄的數(shù)據(jù)，是指采集完成后就失去價(jià)值的數(shù)據(jù)。典型例子：實(shí)時(shí)流量數(shù)據(jù)、單次會(huì)話日志（沒(méi)有串聯(lián)）、沒(méi)有標(biāo)簽的原始點(diǎn)擊流。這類數(shù)據(jù)可以用來(lái)做運(yùn)營(yíng)監(jiān)控，但無(wú)法構(gòu)筑數(shù)據(jù)壁壘。

某醫(yī)療AI公司是反面案例。他們花了大量資源采集了數(shù)百萬(wàn)條患者問(wèn)診對(duì)話，但因?yàn)闆](méi)有設(shè)計(jì)標(biāo)注體系，這些數(shù)據(jù)全是無(wú)標(biāo)簽的文本，幾乎無(wú)法用于模型精調(diào)。數(shù)百萬(wàn)條數(shù)據(jù)，價(jià)值幾乎為零。后來(lái)他們花了比采集更多的成本回頭補(bǔ)標(biāo)注，白白浪費(fèi)了兩年時(shí)間。

采集之前先想清楚：這條數(shù)據(jù)，三年后還有價(jià)值嗎？如果答案是“不確定”，那它大概率是用完即棄的。

當(dāng)數(shù)據(jù)設(shè)計(jì)出錯(cuò)：三個(gè)代價(jià)慘重的真實(shí)案例

光說(shuō)正面做法不夠，再來(lái)看看數(shù)據(jù)設(shè)計(jì)失誤會(huì)有多大代價(jià)。

案例一：某智能寫作工具

因?yàn)椤皢?wèn)錯(cuò)了問(wèn)題”白白浪費(fèi)18個(gè)月

這個(gè)產(chǎn)品上線后，設(shè)計(jì)了一套”用戶評(píng)分體系”：每次AI生成內(nèi)容后，彈出1-5星評(píng)分。他們用這個(gè)評(píng)分?jǐn)?shù)據(jù)訓(xùn)練模型整整18個(gè)月，但產(chǎn)品質(zhì)量幾乎沒(méi)有提升。

原因很簡(jiǎn)單：用戶給AI打分，打的是”這段內(nèi)容和我期待的有多接近”，但因?yàn)橛脩糇约阂裁枋霾磺宄诖u(píng)分高度隨機(jī)。更糟糕的是，評(píng)分彈窗影響了用戶體驗(yàn)，大量用戶開始跳過(guò)，導(dǎo)致數(shù)據(jù)本身也有嚴(yán)重的選擇性偏差——只有對(duì)結(jié)果特別滿意或特別不滿意的人才打分。

他們問(wèn)錯(cuò)了問(wèn)題，采集到的是噪音，而不是信號(hào)。

后來(lái)他們改變策略，轉(zhuǎn)而追蹤”用戶對(duì)生成內(nèi)容的具體修改行為”，三個(gè)月后模型質(zhì)量開始顯著提升。

案例二：某AI教育平臺(tái)

把“完課率”當(dāng)成核心數(shù)據(jù)，越優(yōu)化越糟糕

這個(gè)平臺(tái)用AI推薦學(xué)習(xí)路徑，核心優(yōu)化目標(biāo)是”完課率”（用戶完成課程的比例）。聽(tīng)起來(lái)很合理，但問(wèn)題出現(xiàn)了：模型為了優(yōu)化完課率，開始推薦最簡(jiǎn)單的課程——因?yàn)楹?jiǎn)單的課完成率高。結(jié)果是，用戶確實(shí)都完課了，但完的都是沒(méi)什么挑戰(zhàn)性的內(nèi)容，學(xué)習(xí)效果極差，用戶很快流失。

他們采集了正確的數(shù)據(jù)，但優(yōu)化了錯(cuò)誤的目標(biāo)。 數(shù)據(jù)設(shè)計(jì)不只是設(shè)計(jì)”采集什么”，還要設(shè)計(jì)”優(yōu)化什么”——這兩個(gè)問(wèn)題必須同時(shí)想清楚。

案例三：某AI助手產(chǎn)品

數(shù)據(jù)被競(jìng)爭(zhēng)對(duì)手“白嫖”

這個(gè)案例很特殊，但發(fā)人深省。某AI助手因?yàn)楫a(chǎn)品開放，用戶反饋數(shù)據(jù)（包括對(duì)話日志）通過(guò)API大量流出，被競(jìng)爭(zhēng)對(duì)手用于訓(xùn)練自己的模型。等他們意識(shí)到問(wèn)題時(shí)，競(jìng)爭(zhēng)對(duì)手已經(jīng)用他們的數(shù)據(jù)完成了一輪模型迭代。

數(shù)據(jù)設(shè)計(jì)還包括數(shù)據(jù)的保護(hù)設(shè)計(jì)。 你辛苦采集的高質(zhì)量數(shù)據(jù)，如果沒(méi)有好的訪問(wèn)控制，可能會(huì)成為競(jìng)爭(zhēng)對(duì)手的免費(fèi)訓(xùn)練集。

PM的數(shù)據(jù)設(shè)計(jì)能力，如何在日常工作中培養(yǎng)？

說(shuō)了這么多理論和案例，最后落到一個(gè)最實(shí)際的問(wèn)題：作為產(chǎn)品經(jīng)理，我該怎么做？

在每次需求評(píng)審時(shí)，加一個(gè)“數(shù)據(jù)維度”的靈魂發(fā)問(wèn)。

每當(dāng)你在評(píng)審一個(gè)新功能時(shí)，強(qiáng)制自己?jiǎn)柸齻€(gè)問(wèn)題：

• “這個(gè)功能上線后，會(huì)產(chǎn)生什么數(shù)據(jù)？”

• “這些數(shù)據(jù)，能不能用來(lái)訓(xùn)練或優(yōu)化我們的模型？”

• “如果不能，我們能不能調(diào)整設(shè)計(jì)，讓它產(chǎn)生更有價(jià)值的數(shù)據(jù)？”

把這三個(gè)問(wèn)題變成需求文檔的標(biāo)配章節(jié)，剛開始可能會(huì)覺(jué)得多余，但堅(jiān)持三個(gè)月，你對(duì)數(shù)據(jù)的直覺(jué)會(huì)發(fā)生質(zhì)變。

學(xué)會(huì)區(qū)分“行為數(shù)據(jù)”和“偏好數(shù)據(jù)”，并優(yōu)先設(shè)計(jì)前者。

行為數(shù)據(jù)是用戶”做了什么”——點(diǎn)擊、修改、停留、復(fù)購(gòu)。偏好數(shù)據(jù)是用戶”說(shuō)他們喜歡什么”——評(píng)分、問(wèn)卷、標(biāo)簽選擇。

絕大多數(shù)情況下，行為數(shù)據(jù)比偏好數(shù)據(jù)更可靠、更有訓(xùn)練價(jià)值。在功能設(shè)計(jì)時(shí)，優(yōu)先思考”如何讓用戶的自然行為成為數(shù)據(jù)”，而不是”如何讓用戶主動(dòng)告訴我他們的偏好”。

第三步：

建立“數(shù)據(jù)價(jià)值地圖”，定期復(fù)盤你的產(chǎn)品在采集什么。

每隔三個(gè)月，畫一張表格：列出你的產(chǎn)品正在采集的所有數(shù)據(jù)類型，評(píng)估每一類數(shù)據(jù)的”訓(xùn)練價(jià)值”（高/中/低）和”積累趨勢(shì)”（增長(zhǎng)/平穩(wěn)/衰減）。

這張表會(huì)給你很多意外發(fā)現(xiàn)：有些數(shù)據(jù)采集成本極高但訓(xùn)練價(jià)值極低；有些數(shù)據(jù)輕易可得卻從未被利用。定期做這個(gè)復(fù)盤，是提升數(shù)據(jù)設(shè)計(jì)能力的最快路徑之一。

產(chǎn)品經(jīng)理，是AI產(chǎn)品數(shù)據(jù)戰(zhàn)爭(zhēng)的第一決策人

我在做AI產(chǎn)品的這幾年里，見(jiàn)過(guò)太多團(tuán)隊(duì)把精力放在錯(cuò)的地方：花幾個(gè)月時(shí)間選算法框架，花大價(jià)錢買算力，花無(wú)數(shù)會(huì)議討論模型架構(gòu)——卻從來(lái)沒(méi)有認(rèn)真坐下來(lái)想過(guò)：我們的產(chǎn)品，在產(chǎn)生什么樣的數(shù)據(jù)？這些數(shù)據(jù)，能不能讓我們的產(chǎn)品越來(lái)越聰明？

算法工程師可以選擇更好的模型，數(shù)據(jù)工程師可以優(yōu)化數(shù)據(jù)管道，但只有產(chǎn)品經(jīng)理，才能在設(shè)計(jì)階段決定產(chǎn)品能不能采集到有價(jià)值的數(shù)據(jù)。

這是一個(gè)只有PM才能做、也只有PM必須做好的決策。

AI產(chǎn)品的競(jìng)爭(zhēng)，本質(zhì)上是數(shù)據(jù)的競(jìng)爭(zhēng)。而數(shù)據(jù)的競(jìng)爭(zhēng)，在產(chǎn)品經(jīng)理畫第一張?jiān)蛨D的時(shí)候，就已經(jīng)開始了。

本文來(lái)自作者：吳知

想要第一時(shí)間了解行業(yè)動(dòng)態(tài)、面試技巧、商業(yè)知識(shí)等等等？加入產(chǎn)品經(jīng)理進(jìn)化營(yíng)，跟優(yōu)秀的產(chǎn)品人一起交流成長(zhǎng)！