在2024年12月7日的騰訊團(tuán)隊(duì)StarRocks Summit 2024上，騰訊游戲數(shù)據(jù)團(tuán)隊(duì)孵化打造的游戲數(shù)據(jù)品牌“Deltaverse”正式亮相，并發(fā)布了品牌旗下首個(gè)數(shù)據(jù)產(chǎn)品——大數(shù)據(jù)時(shí)代的數(shù)據(jù)數(shù)據(jù)智能數(shù)據(jù)助手“UData”。在峰會(huì)現(xiàn)場，發(fā)布騰訊游戲數(shù)據(jù)的智能助手技術(shù)負(fù)責(zé)人、資深專家工程師劉巖發(fā)表了主題為《AI時(shí)代的騰訊團(tuán)隊(duì)湖倉數(shù)據(jù)體系建設(shè)》的演講，分享了騰訊游戲在「AI+湖倉」上的游戲?qū)嵺`經(jīng)驗(yàn)，以及UData如何幫助騰訊游戲業(yè)務(wù)提升數(shù)據(jù)工作效率。數(shù)據(jù)數(shù)據(jù)

騰訊游戲數(shù)據(jù)負(fù)責(zé)人劉巖在StarRocks Summit發(fā)表主題演講

作為一款問答式智能AI數(shù)據(jù)助手，發(fā)布UData基于大語言模型技術(shù)和湖倉一體架構(gòu)打造，智能助手以新一代AI數(shù)據(jù)資產(chǎn)體系為支撐，騰訊團(tuán)隊(duì)資產(chǎn)能被AI理解和使用，游戲能夠提升業(yè)務(wù)需求到數(shù)據(jù)交付的數(shù)據(jù)數(shù)據(jù)準(zhǔn)確率，為用戶提供自然語言交互方式查詢、發(fā)布探索、智能助手分析和可視化數(shù)據(jù)的便捷體驗(yàn)。

據(jù)劉巖介紹，UData已被應(yīng)用于騰訊游戲內(nèi)部超過80個(gè)業(yè)務(wù)，SQL代碼編寫效率提高了300%。在人們最關(guān)心的交付準(zhǔn)確率方面，UData的一次性準(zhǔn)確率達(dá)到89%，已滿足實(shí)際業(yè)務(wù)場景需求。

UData產(chǎn)品界面

“騰訊游戲現(xiàn)存業(yè)務(wù)每年有數(shù)萬個(gè)數(shù)據(jù)挖掘和數(shù)據(jù)提取類需求，相比BI場景，數(shù)據(jù)挖掘需要面對(duì)數(shù)萬甚至數(shù)十萬張表，這些表能夠讓AI理解，并且做到人類水平的準(zhǔn)確率，才能滿足實(shí)際業(yè)務(wù)場景需求。”劉巖表示：“我們一直在探索如何更好地讓AI能力為數(shù)據(jù)工作賦能，讓AI真正被應(yīng)用到實(shí)際業(yè)務(wù)場景中，讓Data+AI成為企業(yè)的核心競爭力。UData是騰訊游戲數(shù)據(jù)團(tuán)隊(duì)內(nèi)部的最佳實(shí)踐，解決了構(gòu)建"Data+AI"體系的關(guān)鍵問題。”

提升AI交付準(zhǔn)確率的關(guān)鍵：需求構(gòu)造和資產(chǎn)建設(shè)

騰訊游戲數(shù)據(jù)團(tuán)隊(duì)在大量的實(shí)踐和研究分析中發(fā)現(xiàn)，在企業(yè)實(shí)際業(yè)務(wù)場景中AI寫SQL的準(zhǔn)確率之所以不高，往往并不是大模型能力不足，而是因?yàn)閮煞矫娴脑颍旱谝皇茿I對(duì)數(shù)據(jù)需求的理解有歧義;第二是AI對(duì)數(shù)據(jù)資產(chǎn)的理解有歧義，大模型沒有獲得完備的信息。

針對(duì)這兩個(gè)痛點(diǎn)，UData的技術(shù)路線重點(diǎn)就放在了需求構(gòu)造和資產(chǎn)建設(shè)這兩個(gè)方向上，通過工程化的方式來提升AI的準(zhǔn)確率。

在需求構(gòu)造上，首先定義AI和人都能理解的需求標(biāo)準(zhǔn)，基于定義好的需求標(biāo)準(zhǔn)，匹配需求案例和行業(yè)知識(shí)，將人提出來的需求改寫成標(biāo)準(zhǔn)的需求格式，消除AI理解需求的歧義。此外，當(dāng)數(shù)據(jù)需求較為復(fù)雜時(shí)，需求Agent能把復(fù)雜需求分解成簡單的子需求，降低AI生成難度，通過工程化方式組合成最終結(jié)果，確保穩(wěn)定可控的交付質(zhì)量。

UData需求構(gòu)造流程

舉例來說，當(dāng)用戶提出需求：統(tǒng)計(jì)游戲內(nèi)各個(gè)玩法、按照每天的參與率排名+次日留存排名+七日留存排名，算一個(gè)總排名。UData會(huì)去查詢相應(yīng)的游戲領(lǐng)域知識(shí)，將這個(gè)復(fù)雜需求分拆為4個(gè)子需求，分別計(jì)算并生成參與率、活躍用戶、玩法參與率、次日和七留的SQL，最后將4個(gè)數(shù)據(jù)包SQL結(jié)果合并，生成一個(gè)最終的SQL。

在資產(chǎn)建設(shè)方面，為了讓AI能夠更好的理解和使用資產(chǎn)，UData打造了基于“AI驅(qū)動(dòng)的數(shù)據(jù)資產(chǎn)體系”。傳統(tǒng)資產(chǎn)體系存在缺乏非結(jié)構(gòu)化標(biāo)準(zhǔn)、建設(shè)滯后于業(yè)務(wù)需求、治理成本高等問題，不能支持大語言模型實(shí)現(xiàn)快速準(zhǔn)確的交付數(shù)據(jù)需求。所以基于“新一代AI數(shù)據(jù)資產(chǎn)”，以讓AI能夠理解并且正確的交付SQL實(shí)現(xiàn)自助交付為目標(biāo)，定義語義層建模規(guī)范，包括：行業(yè)知識(shí)、指標(biāo)、維度、特征、元數(shù)據(jù)等。AI通過理解語意資產(chǎn)，對(duì)不同的需求采用不同的資產(chǎn)使用策略;對(duì)于已經(jīng)有指標(biāo)、維度資產(chǎn)的需求，通過推薦已有看板滿足;對(duì)于新的指標(biāo)、新的維度的需求，通過特征資產(chǎn)讓AI生成指標(biāo)、維度來滿足;對(duì)于缺少語意資產(chǎn)的需求，AI能夠感知并預(yù)警，補(bǔ)充特征等語意資產(chǎn)后，實(shí)現(xiàn)AI資產(chǎn)交付。

傳統(tǒng)數(shù)據(jù)中臺(tái)到新一代AI數(shù)據(jù)資產(chǎn)的升級(jí)

“新一代AI數(shù)據(jù)資產(chǎn)”能建立從業(yè)務(wù)需求、行業(yè)知識(shí)、數(shù)據(jù)結(jié)構(gòu)之間的資產(chǎn)紐帶，通過領(lǐng)域模型進(jìn)行沉淀和推薦，確保資產(chǎn)能被AI理解和使用。

“穩(wěn)定可控的需求構(gòu)造和AI可理解的資產(chǎn)體系，是UData提升AI交付準(zhǔn)確率的關(guān)鍵，也是UData相較于行業(yè)其他產(chǎn)品的差異化優(yōu)勢(shì)。”騰訊游戲數(shù)據(jù)技術(shù)負(fù)責(zé)人劉巖表示：“從目前騰訊游戲內(nèi)部的應(yīng)用情況來看，準(zhǔn)確率已經(jīng)能夠穩(wěn)定在89%，我們堅(jiān)信這個(gè)方向是靠譜的。”

基于湖倉一體能力，實(shí)現(xiàn)智能動(dòng)態(tài)的計(jì)算加速

為了能夠支持對(duì)實(shí)時(shí)的明細(xì)數(shù)據(jù)進(jìn)行探索和分析，僅僅把SQL寫對(duì)是不夠的，傳統(tǒng)的數(shù)倉架構(gòu)(例如：Lambda)大量計(jì)算是T+1離線進(jìn)行的，不能支持對(duì)所有的數(shù)據(jù)進(jìn)行實(shí)時(shí)快速查詢。為此，UData對(duì)數(shù)據(jù)底座進(jìn)行了升級(jí)，采用湖倉一體的架構(gòu)，通過數(shù)據(jù)實(shí)時(shí)接入、虛擬數(shù)倉、冷熱分層等技術(shù)實(shí)現(xiàn)對(duì)實(shí)時(shí)明細(xì)數(shù)據(jù)的高效查詢。同時(shí)，UData建設(shè)了一個(gè)成本效率優(yōu)化引擎，圍繞資產(chǎn)熱度、執(zhí)行速度、數(shù)據(jù)量級(jí)三個(gè)方向快速定位需要優(yōu)化加速的資產(chǎn)，通過資產(chǎn)整合、物化視圖等方式，能夠讓數(shù)據(jù)低成本、高效率的使用。

基于大模型能力，建設(shè)可持續(xù)優(yōu)化的運(yùn)營平臺(tái)

以新一代AI數(shù)據(jù)資產(chǎn)為基礎(chǔ)，通過通用大模型、領(lǐng)域模型、Agent多智體架構(gòu)，AI 能力得到了更好的釋放。

目前，UData能夠適配包括GPT、混元在內(nèi)的多種行業(yè)通用大模型。此外，針對(duì)各行各業(yè)的行業(yè)Know-How、企業(yè)知識(shí)，UData引入了“領(lǐng)域模型”，通過知識(shí)圖譜、語義理解、檢索、排序等技術(shù)，幫助大模型更好地理解數(shù)據(jù)資產(chǎn)。

UData系統(tǒng)架構(gòu)

在平臺(tái)應(yīng)用流程方面，UData使用Agent多智能體架構(gòu)，打造了一個(gè)人與AI高度協(xié)同工作、可持續(xù)優(yōu)化的運(yùn)營平臺(tái)。將一個(gè)Job(工作)分解成若干的Task(任務(wù))，在某些Task上由AI完成，某些Task人與AI協(xié)同完成(需求協(xié)同、驗(yàn)收協(xié)同)，覆蓋從業(yè)務(wù)需求到數(shù)據(jù)交付的全鏈路，各節(jié)點(diǎn)Agent可與用戶實(shí)時(shí)交互，及時(shí)感知問題并進(jìn)行干預(yù)和修正，確保系統(tǒng)的可持續(xù)優(yōu)化。

AI多智能體架構(gòu)

讓AI重構(gòu)數(shù)據(jù)工作的各個(gè)領(lǐng)域

UData已被應(yīng)用于騰訊游戲內(nèi)部超過80個(gè)業(yè)務(wù)，針對(duì)MOBA、MMORPG、戰(zhàn)術(shù)競技等不同品類的游戲，UData會(huì)基于具體的業(yè)務(wù)個(gè)性化需求，進(jìn)行產(chǎn)品的持續(xù)迭代升級(jí)。

除了游戲業(yè)務(wù)之外，UData產(chǎn)品能力也可被用在其他行業(yè)，諸如餐飲、金融、教育等，助力傳統(tǒng)企業(yè)實(shí)現(xiàn)AI數(shù)字化轉(zhuǎn)型，提升數(shù)據(jù)工作效率，并通過新一代AI數(shù)據(jù)資產(chǎn)提升數(shù)據(jù)治理ROI，幫助企業(yè)降本增效。

AI技術(shù)在數(shù)據(jù)工作上的應(yīng)用仍有巨大的潛力，騰訊游戲數(shù)據(jù)團(tuán)隊(duì)Deltaverse也在不斷地探索，除了通過AI生成SQL以提升數(shù)據(jù)獲取效率之外，我們還在進(jìn)一步嘗試將“AI+湖倉一體”的能力與更多工具和系統(tǒng)做集成，進(jìn)一步探索挖掘AI的潛力，實(shí)現(xiàn)用AI來重構(gòu)數(shù)據(jù)工作的各個(gè)領(lǐng)域。

對(duì)騰訊游戲數(shù)據(jù)團(tuán)隊(duì)Deltaverse、UData以及數(shù)據(jù)技術(shù)感興趣的企業(yè)與合作伙伴，可以登錄Deltaverse官網(wǎng) www.deltaverse.net 查看更多信息，免費(fèi)申請(qǐng)產(chǎn)品試用。

(責(zé)任編輯：綜合)