騰訊云自研數(shù)據(jù)分析智能體TCData Agent在BIRD-Bench榜單斬獲佳績(jī)

?? 由 文心大模型 生成的文章摘要

7月4日,國(guó)際權(quán)威評(píng)測(cè)基準(zhǔn)BIRD-Bench官網(wǎng)發(fā)布消息,在自然語(yǔ)言轉(zhuǎn)SQL(NL2SQL)領(lǐng)域的“NL2SQL全球最難榜單”BIRD-Bench中,騰訊云自研的數(shù)據(jù)分析智能體TCDataAgent表現(xiàn)卓越,成功斬獲全球第三的名次。這一成績(jī)超越了IBM、Meta等眾多國(guó)際知名廠商,同時(shí)也是目前國(guó)內(nèi)在此榜單上的最高排名,極大地彰顯了騰訊云在該領(lǐng)域的深厚技術(shù)實(shí)力。?

BIRD-Bench堪稱“NL2SQL全球最難榜單”,其評(píng)測(cè)要求極為嚴(yán)苛。系統(tǒng)不僅要將自然語(yǔ)言問(wèn)題,如“找出未通過(guò)質(zhì)檢的訂單”,精準(zhǔn)無(wú)誤地翻譯成SQL語(yǔ)句,還需確保生成的SQL語(yǔ)句能夠在超大容量、高度真實(shí)且充斥著各種“臟數(shù)據(jù)”的企業(yè)級(jí)數(shù)據(jù)庫(kù)中快速、準(zhǔn)確地運(yùn)行。此次測(cè)評(píng)樣本覆蓋范圍極廣,包含了金融、醫(yī)療、體育等多達(dá)37個(gè)真實(shí)行業(yè)場(chǎng)景,總數(shù)據(jù)量高達(dá)33GB,考題數(shù)量超過(guò)1萬(wàn)條,對(duì)產(chǎn)品在理解、推理以及數(shù)據(jù)細(xì)節(jié)把控等多方面的能力提出了嚴(yán)峻挑戰(zhàn)。即便在如此苛刻的條件下,騰訊云TCData Agent依舊憑借出色的表現(xiàn),取得了75.74分的高分。?

相較于傳統(tǒng)方法在面對(duì)復(fù)雜結(jié)構(gòu)或語(yǔ)義模糊情況時(shí),容易“猜錯(cuò)”用戶意圖的問(wèn)題,騰訊云TCData Agent在技術(shù)上實(shí)現(xiàn)了三大關(guān)鍵突破。其一,引入“數(shù)據(jù)庫(kù)約束驗(yàn)證機(jī)制”,該機(jī)制如同一位嚴(yán)謹(jǐn)?shù)摹百|(zhì)檢員”,能夠自動(dòng)識(shí)別并修正SQL語(yǔ)句中存在的結(jié)構(gòu)性或語(yǔ)義性錯(cuò)誤,有效提升了數(shù)據(jù)查詢的準(zhǔn)確性;其二,讓模型緊密貼合數(shù)據(jù)庫(kù)的真實(shí)內(nèi)容,以此生成和優(yōu)化SQL語(yǔ)句,這一舉措極大地增強(qiáng)了對(duì)用戶意圖的理解程度,顯著提升了結(jié)果的可信度;其三,運(yùn)用后訓(xùn)練(post-training)技術(shù),優(yōu)先篩選并復(fù)用效果最佳的SQL樣本用于訓(xùn)練迭代,使得每一次篩選出的有效SQL都能為模型的優(yōu)化持續(xù)助力,從而提高了模型整體學(xué)習(xí)的效率與穩(wěn)定性。?

騰訊云TCData Agent的這項(xiàng)技術(shù)創(chuàng)新成果,在國(guó)際學(xué)術(shù)界也得到了高度認(rèn)可,相關(guān)論文已被數(shù)據(jù)庫(kù)領(lǐng)域頂尖國(guó)際會(huì)議VLDB接收發(fā)表。論文中的實(shí)驗(yàn)數(shù)據(jù)顯示,TCData Agent的核心模塊具備出色的通用性,能夠集成到其他同類系統(tǒng)中,最高可將查詢執(zhí)行準(zhǔn)確率提升18.3%。?

目前,騰訊云TCData Agent已正式開(kāi)啟內(nèi)測(cè),有望為更多用戶在數(shù)據(jù)分析領(lǐng)域帶來(lái)更加高效、智能的全新體驗(yàn),助力各行業(yè)在數(shù)據(jù)驅(qū)動(dòng)的時(shí)代實(shí)現(xiàn)更精準(zhǔn)、更深入的決策。

「93913原創(chuàng)內(nèi)容,轉(zhuǎn)載請(qǐng)注明出處」