【資料圖】
8月18日，在《麻省理工科技評論》中國（MIT TR China）發(fā)布的一項大模型評測報告中，訊飛星火認知大模型V2.0在6個大類中得分率排名第一，以 81.5 分（百分制計）的成績在本次評測中獲評為“最聰明”的國產(chǎn)大模型。
據(jù)介紹，該評測使用的測試集包含600道題目，覆蓋了語言專項、數(shù)學專項、理科綜合、文科綜合、邏輯思維、編程能力、綜合知識、安全性共 8 個一級大類，126 個二級分類，290 個三級標簽，并針對問題的豐富性和多樣性做了優(yōu)化，力圖從研發(fā)和商業(yè)化能力、外界態(tài)度以及發(fā)展趨勢等維度全方位檢測大模型的能力。
在題目類型上，為了兼顧定量、定性的評價與測試，MIT TR China在評測中設置了“單選”、“多選”、“填空”、“簡答”4個題型，分別有 145 道、138 道、136 道和 181 道。其中，語言專項評測中包含對話理解、多語種、諷刺、古詩詞理解、文本生成、要點總結(jié)、情感分析、語義判斷等 61 個二級分類，題型則以主觀題簡答為主。
值得一提的是，大模型評測體系使用盲評方式，以客觀評估國產(chǎn)大模型的“聰明”程度。
結(jié)果顯示，訊飛星火在主客觀題型評測中均有良好表現(xiàn)：主觀簡答題中訊飛星火憑借 83.98% 的得分率位居第一；而在客觀題上，訊飛星火以 75.7% 的得分率排名第一。其中，訊飛星火在編程能力、理科綜合、邏輯思維、數(shù)學專項、語言專項和綜合知識這 6 個一級大類中表現(xiàn)十分出色，尤其是在代碼生成、數(shù)學能力、理科與邏輯等方面優(yōu)勢明顯，是本次評測中“最聰明的理科生”。
在剛剛過去的8月15日，訊飛星火認知大模型V2.0如期發(fā)布，進一步突破代碼能力和多模態(tài)能力；技術(shù)獲得重大突破的同時，搭載訊飛星火V2.0核心能力的應用和產(chǎn)品也越來越豐富。此外，科大訊飛還和華為聯(lián)合發(fā)布星火一體機，宣稱要“讓每一家企業(yè)都有機會構(gòu)建專屬大模型”。
標簽：
