作 者 | 中國銀聯(lián)技術部 徐靜雯、馮奇、馬鵬飛、方宇倫、金佳駿

來 源 | BanTech智庫

生成式大模型的發(fā)展給AI技術帶來了又一次的飛躍，但我們認為它更是為數(shù)據(jù)的使用帶來了飛躍。雖然數(shù)字化，大數(shù)據(jù)分析這幾年也一直在蓬勃發(fā)展，但是都是各領域各單位獨立發(fā)展，基本都是局部優(yōu)化應用，沒有一個能涉及所有領域的現(xiàn)象級應用的爆發(fā)。

同時，傳統(tǒng)大數(shù)據(jù)分析領域更偏重結構化數(shù)據(jù)，非結構化數(shù)據(jù)應用也不太突出，但是生成式AI技術改變了這一切，帶來了諸多爆點應用，也帶來了一個有趣的現(xiàn)象，之前大家普遍認為AI是用來代替體力勞動的，腦力勞動由于包含創(chuàng)造性很難被代替，但生成式AI出現(xiàn)以后，大家發(fā)現(xiàn)反而是越來越多的腦力勞動能被代替，這就是因為人類留下了大量的腦力活動產(chǎn)物——知識，AI通過學習這些知識而具有了一定的創(chuàng)造力，這和人類的學習過程相當，人類也是學習前人積累的知識而具有了創(chuàng)造性。只是人類通過文字學習知識，而AI通過由知識轉化的數(shù)據(jù)來進行學習。

數(shù)據(jù)越來越重要。

一、問題的提出

正因為AI由數(shù)據(jù)觸發(fā)，基本上所有的數(shù)據(jù)密集型工作均應嘗試由AI來改進工作效果，提升工作效率。

IT資源管理，特別是其中的人力資源管理就是數(shù)據(jù)密集型領域?，F(xiàn)代工作基本以項目為維度，而伴隨PMP（項目管理認證）工作方式的普及，項目數(shù)據(jù)異常豐富。在研發(fā)過程中，研發(fā)人力一定是緊俏資源，為更好地做好IT人力資源管理，我們選擇用AI技術來協(xié)助更準確高效地識別研發(fā)需求需要多少人力資源，和基于歷史數(shù)據(jù)的發(fā)展趨勢更合理規(guī)劃人力資源的分配方案，并通過資源歸集來校驗人力資源分配的合理性。

二、實施方式

1

生命周期劃分

IT人力資源的管理是貫穿于整個研發(fā)過程中的，不同階段有不同訴求，采用的技術方式也會有所不同。

經(jīng)過歸納總結，我們聚焦在三個階段，一是開始的工作量預估階段，通過對需求書的識讀按照國家標準進行功能點提取和工作量預估。二是資源分配階段，通過分析歷史數(shù)據(jù)，按照任務情況分類后，去構建擬合曲線，找到擬合度最高的曲線，并將上一階段計算的總工作量代入后，計算出下一個擬合節(jié)點需要的人力資源，形成分配方案。三是最后的資源歸集階段，將真實使用的總數(shù)據(jù)按不同任務類型分解，與之前預估的分配方案進行對比，用于后續(xù)的修正。

2

問題識讀與技術選擇

要實現(xiàn)上述每個階段的目標，首先得讓AI能明白這個目標的含義，為此，我們要將這些目標翻譯成數(shù)據(jù)，讓AI理解。AI技術其實非常多樣，并不應局限在生成式AI層面。我們認為，只要是能協(xié)助人類完成一定工作的技術都可以認為是AI技術。

為此，為每個階段，我們都選擇了不同的技術，工作量預估階段由于要閱讀分析需求書這樣的非結構化數(shù)據(jù)，我們構建智能體來調(diào)用生成式大模型；資源分配階段主要在于分析歷史任務數(shù)據(jù)這樣的結構化數(shù)據(jù)，我們自己設計領域專用小模型來進行擬合與預估；資源歸集階段主要在于將歸集原則提煉為專家知識，并根據(jù)專家知識自動化進行數(shù)據(jù)讀取、分類與匯總，我們自己開發(fā)了一個自動化工具。

3

數(shù)據(jù)準備

這是最關鍵的環(huán)節(jié)，正如本文開始的分析，數(shù)據(jù)是AI的源泉，數(shù)據(jù)的準備也就是訓練的過程。

（1）工作量預估階段的數(shù)據(jù)準備

我們首先構建了一個知識庫，把經(jīng)過分段與向量化后的國際標準、標準解讀、術語定義等各項文本資料作為大模型的非結構化RAG知識庫，另外也把之前歷史需求中人工歸納分析的一千多個功能點屬性、分類、所屬系統(tǒng)等構建了一個結構化數(shù)據(jù)表格形成大模型的結構化數(shù)據(jù)庫，結構化數(shù)據(jù)與非結構化數(shù)據(jù)共同形成了一個小型知識庫。然后再構建了一個智能體，通過智能體增強檢索能力去學習這個知識庫，形成自己的理解，再去分析投喂給它的需求書。

（2）資源分配階段的數(shù)據(jù)準備

針對該階段，我們又分了如下幾步的數(shù)據(jù)處理：

一是確定參數(shù)。歷史數(shù)據(jù)的維度比較多，包括任務屬性，規(guī)模，任務起止時間，任務中每個需求提出時間，與每個需求的人力投入。根據(jù)預估目標，我們選擇時間為X軸，累積人力投入為Y軸，并進行X軸與Y軸的歸一化處理后，形成單個任務的歷史投入的趨勢曲線，其他任務屬性、規(guī)模、任務提出部門等為不同維度參數(shù)，目的是尋找一條能與歷史數(shù)據(jù)中各任務趨勢實現(xiàn)最佳擬合的曲線。

二是數(shù)據(jù)清理。任務都是按項目來管理，但是實際情況下項目情況比較復雜，會出現(xiàn)緊急、突發(fā)、提前開始或延期等各種情況，這些都會對整體趨勢造成偏差，屬于應剔除的噪聲。結合實際情況，我們整理了六條數(shù)據(jù)清洗原則，對數(shù)據(jù)進行了有效整理。

三是抽樣選擇。為測試模型的訓練效果，我們預留了20%的樣本數(shù)據(jù)作為測試集數(shù)據(jù)使用，如何抽樣20%的數(shù)據(jù)也是要考慮的問題。開始對全部樣本采用隨機抽樣，由于有些任務需求多，數(shù)據(jù)會多一些，被抽中的概率就比較大，這樣測試時會更偏向這些有更多需求的任務趨勢曲線，且需求出現(xiàn)時間的隨機性造成了時間信息泄露，使得模型評估結果失真。然后我們嘗試了另一種分層的抽樣方式，確保每個任務尾部20%的數(shù)據(jù)被選擇，但是這樣依然有問題。

因為尾部20%的數(shù)據(jù)集中到任務臨近完成時的數(shù)據(jù)，而每個任務完成時數(shù)據(jù)變化會比較劇烈，一般是快速收尾，所以相較于前80%的平緩趨勢會突然變得陡峭，對整體趨勢預測會帶來比較大的干擾。權衡后，我們采用了在任務層面全隨機抽樣方式，避免了上述問題。

（3）資源歸集階段的數(shù)據(jù)準備

相對來說，該階段的數(shù)據(jù)準備相對簡單一些，重點在于將歸集原則轉換為標準化的專家知識。之前，這些原則都在具體工作人員的記錄中，或者通過excel寫成了公式，但均不是可以理解的知識，知識應該標準化并可理解、可復用。

三、實施結果與思考

在工作量預估方面，由于我們的需求書是很專業(yè)的內(nèi)容，大模型按照常規(guī)切片劃分，并不能精準理解，經(jīng)過不斷調(diào)優(yōu)后，對于功能點不太多的需求，其識別準確度與人工類似，一旦功能點增多，識別效果顯著降低。

另外，考慮到AI提示策略、記憶機制等方面的設置差異，對同一個功能點，當上下文有兩次不同的表述時，會被識別兩次；對于系統(tǒng)內(nèi)部已有或已實現(xiàn)的功能點，在大模型并不知情的情況下，也會再次識別，說明提示詞工程很重要，需要把關鍵術語及關聯(lián)關系提示清楚，以增強大模型的上下文處理能力。同時，也說明，需求書的標準化也很重要，需求書需與提示詞配套，才能增加大模型的理解能力。

在資源分配階段，我們選擇了回歸問題時常用的模型進行多輪測算，這些模型包括多元線性模型、決策樹模型、K近鄰模型、支持向量機模型、隨機森林模型和Light GBM模型共六個模型，這些模型在不同任務屬性下表現(xiàn)效果各異。整體看下來，當任務需求提出的時間分布比較均衡，需求顆粒度大小比較一致的情況下，擬合度較好，最好時可達78.48%。但是如果任務需求的分布不太均衡時，擬合度就不太理想。這提示我們，模型效果和歷史數(shù)據(jù)的有效性密切相關。

在資源歸集階段，專家知識整理好后，AI只是自動化的數(shù)據(jù)處理，這是AI強項，因此效果非常好，從原來單純?nèi)斯ぬ幚淼膸资r級別壓縮到了分鐘級，極大提升了工作效率，節(jié)約了人力成本。人員可以釋放出來做更具創(chuàng)造性的工作，比如不斷打磨專家知識。

從上述的實施效果分析，我們做了進一步思考，歸納出如下在AI應用中的幾點建議：

一是工作任務的有效拆解，由于AI目前強大的還是其計算與記憶能力，而并不是創(chuàng)造能力，因此工作過程要細分，比如按生命周期拆分，這樣可以更準確地給AI提出問題，另外問題也要盡量簡單，便于其理解和訓練。特別在專業(yè)領域中，需要構建更加標準化的提示詞，并需將資料文檔和提示詞有機結合起來，才能讓AI逐步理解這些專業(yè)知識而發(fā)揮作用。

二是數(shù)據(jù)整理是最關鍵的一環(huán)，臟數(shù)據(jù)對AI效果的破壞性極強。在我們的資源分配階段，由于任務中需求的規(guī)模、時間周期變化都比較大，致使整體的擬合效果并不理想，這也說明歸根結底AI應用是和管理與治理密切相關的。對于新增內(nèi)容我們要做好更精細化的管理，從源頭就做好數(shù)據(jù)的標準化，保障數(shù)據(jù)的有效性；對于存量內(nèi)容要做好治理，提升數(shù)據(jù)的標準性與有效性。