(資料圖片僅供參考)
本報(bào)訊 （記者沈湫莎）商湯科技近日公布了自研中文語(yǔ)言大模型“商量SenseChat 2.0”在MMLU、AGIEval、C-Eval三個(gè)權(quán)威大語(yǔ)言模型評(píng)測(cè)基準(zhǔn)的成績(jī)。評(píng)測(cè)顯示，“商量”在這三個(gè)測(cè)試集中的表現(xiàn)均領(lǐng)先ChatGPT，實(shí)現(xiàn)了我國(guó)語(yǔ)言大模型研究的突破。??????全球三大權(quán)威語(yǔ)言模型測(cè)評(píng)基準(zhǔn)分別為由美國(guó)加州大學(xué)伯克利分校等高校構(gòu)建的多任務(wù)考試評(píng)測(cè)集MMLU、由微軟研究院推出的學(xué)科考試評(píng)測(cè)集AGIEval（含中國(guó)高考、司法考試及美國(guó)SAT、LSAT、GRE和GMAT等），以及由上海交通大學(xué)、清華大學(xué)和英國(guó)愛丁堡大學(xué)合作構(gòu)建的面向中文語(yǔ)言模型的綜合性考試評(píng)測(cè)集C-Eval。??????截至6月，全球范圍內(nèi)正式發(fā)布的大語(yǔ)言模型已超過40款，其中由中國(guó)廠商、高校、科研院所等發(fā)布的大語(yǔ)言模型近20款。在MMLU測(cè)評(píng)中，“商量2.0”綜合得分為68.6，超ChatGPT（67.3分），僅落后于GPT-4（86.4分）位居第二；在AGIEval測(cè)評(píng)中，“商量2.0”得分49.9分，超ChatGPT（42.9分），僅次于GPT-4的56.4分。在C-Eval測(cè)評(píng)中，“商量2.0”得分66.1分，在參評(píng)的18個(gè)大模型中，僅次于GPT-4（68.7分）。??????4月，商湯發(fā)布“日日新”大模型體系以及中文語(yǔ)言大模型“商量”。目前，“商量”已在眾多行業(yè)和場(chǎng)景中落地應(yīng)用，已有近千家企業(yè)客戶通過申請(qǐng)，應(yīng)用和體驗(yàn)“商量2.0”的長(zhǎng)文本理解、邏輯推理、多輪對(duì)話、情感分析、內(nèi)容創(chuàng)作、代碼生成等綜合能力。在服務(wù)客戶過程中，“商量2.0”持續(xù)迭代和提升，并實(shí)現(xiàn)知識(shí)的實(shí)時(shí)更新。
（原標(biāo)題：商湯大模型“商量”多個(gè)評(píng)測(cè)表現(xiàn)超ChatGPT）
標(biāo)簽：
