(資料圖片僅供參考)
3月30日，彭博發(fā)布公告稱，推出為金融界打造的大型語言模型(LLM)——BloombergGPT。
彭博是一家全球商業(yè)、金融信息和新聞資訊提供商。3月30日，該公司發(fā)布了一篇關于BloombergGPT開發(fā)情況的研究論文，詳細介紹了這一大規(guī)模生成式人工智能(AI)模型。該大語言模型(LLM)專門針對各類金融數(shù)據(jù)進行訓練，以全方位支持金融領域的自然語言處理(NLP)任務。
據(jù)彭博微信公眾號消息，該模型將幫助彭博改進現(xiàn)有的金融NLP任務，如市場情緒分析、命名實體識別、新聞分類和問題回答等。此外，BloombergGPT還將釋放更多新機遇，調(diào)動彭博終端上的海量數(shù)據(jù)，將人工智能的潛力帶到金融領域。
據(jù)介紹，彭博的研究人員開創(chuàng)了一種混合訓練法，將金融數(shù)據(jù)與通用數(shù)據(jù)集結合起來訓練模型，以達到在金融基準上取得最佳結果，同時在通用LLM基準上也保持足夠的競爭力。
與此同時，彭博的機器學習產(chǎn)品和研究小組和人工智能工程團隊合作，利用彭博在數(shù)據(jù)創(chuàng)建、收集和整理方面的資源，構建了迄今為止規(guī)模最大的專業(yè)領域數(shù)據(jù)集之一。
作為一家金融數(shù)據(jù)公司，彭博的數(shù)據(jù)分析師在四十多年的時間里收集和維護了運用大量金融用語的文檔。開發(fā)團隊從這個由海量英文金融文檔組成的檔案庫中，提取并創(chuàng)建了一個包含3630億詞例(token)的金融數(shù)據(jù)集。這批數(shù)據(jù)又與另一個包含3450億詞例的公共數(shù)據(jù)集疊加，成為了包含超7000億詞例的大型訓練語料庫。
彭博的研究團隊利用該語料庫的一部分內(nèi)容，訓練了純解碼器(decoder-only)因果語言模型，包含500億個參數(shù)。團隊還對訓練出的模型進行了基準測試。金融領域的NLP任務采用了一套彭博的自有基準，各類通用NLP任務則采用市面上流行的基準。
彭博稱，BloombergGPT模型在金融任務上的表現(xiàn)遠超類似規(guī)模的開放模型，而在一般NLP基準上的表現(xiàn)也達到甚至超過平均水平。
彭博首席技術官肖恩·愛德華茲(Shawn Edwards)還表示，“BloombergGPT將使我們能夠處理許多新型的應用，不僅比定制化模型的表現(xiàn)更好，而且開箱即用，能夠大大縮短上線時間?！?/p>
（文章來源：中國新聞網(wǎng)）
標簽：
