MOSS系統(tǒng)負(fù)責(zé)人邱錫鵬表示，最新的MOSS已經(jīng)能夠在中文能力上超過(guò)ChatGPT，可以通過(guò)使用工具來(lái)為用戶提供幫助，并在預(yù)防“有害道德”方面做了很多優(yōu)化。
邱錫鵬認(rèn)為，通用大模型除了算力需求大以外，目前依然在可信性、安全性、邏輯性等方面存在許多挑戰(zhàn)，里面有非常多的科學(xué)問(wèn)題并沒(méi)有被解決，這些都需要高校研究團(tuán)隊(duì)進(jìn)行重大科研攻關(guān)。
7月7日，在2023世界人工智能大會(huì)“大模型時(shí)代的通用人工智能產(chǎn)業(yè)發(fā)展機(jī)遇以及風(fēng)險(xiǎn)”論壇上，復(fù)旦大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院教授、MOSS系統(tǒng)負(fù)責(zé)人邱錫鵬表示，國(guó)內(nèi)首個(gè)對(duì)話式大型語(yǔ)言模型MOSS在今年2月發(fā)布后，還在連續(xù)不停地迭代，“最新的MOSS已經(jīng)能夠在中文能力上超過(guò)ChatGPT。”
(資料圖片僅供參考)
邱錫鵬在演講中表示，目前MOSS可以通過(guò)使用工具來(lái)為用戶提供幫助。例如MOSS本身不會(huì)繪畫(huà)，但它可以調(diào)用文字生成圖片的插件來(lái)達(dá)到效果。而對(duì)于算數(shù)運(yùn)算，MOSS也可以調(diào)用計(jì)算器和解方程器來(lái)完成復(fù)雜的數(shù)學(xué)解題。如果向MOSS詢問(wèn)原有知識(shí)庫(kù)里沒(méi)有的實(shí)時(shí)信息，MOSS可以調(diào)用搜索引擎，根據(jù)反饋的結(jié)果進(jìn)一步回答，例如每天抓取新聞，為用戶匯總新聞鏈接與內(nèi)容。
邱錫鵬透露，MOSS發(fā)布后，團(tuán)隊(duì)把一部分精力放在如何打通使用工具的能力，并在4月推出了開(kāi)源插件版的模型MOSS-Plugin?！白鳛槟Ｐ秃屯饨缃换サ囊环N非常重要的方式，插件能力在未來(lái)是非常重要的?！彼f(shuō)。
值得一提的是，MOSS在預(yù)防“有害道德”方面也做了很多優(yōu)化。“對(duì)于違背道德的問(wèn)題，MOSS會(huì)避免回答，我們通過(guò)優(yōu)化讓MOSS具有非常強(qiáng)的道德感?！鼻皴a鵬同時(shí)表示，MOSS還可以進(jìn)行角色扮演，實(shí)現(xiàn)個(gè)性化上的優(yōu)化。
此外，邱錫鵬表示，現(xiàn)在所謂的大型語(yǔ)言模型成本高，主要是集中在第一階段，即預(yù)訓(xùn)練（Pretraining）?！拔覀兊拇竽Ｐ筒皇谴蠊静拍芡娴闷?，以后高校、普通愛(ài)好者和學(xué)生都可以玩大模型?！?邱錫鵬指出，后面階段的成本相對(duì)來(lái)說(shuō)并不是特別高，例如預(yù)訓(xùn)練后的監(jiān)督微調(diào)、迭代優(yōu)化、推理部署、模型評(píng)測(cè)等階段。但這些階段才是真正的挑戰(zhàn)，“前面的預(yù)訓(xùn)練階段并不適合所有人來(lái)研究，但是后面有非常多的科學(xué)問(wèn)題需要我們進(jìn)一步研究。”
大模型僅僅只是工程問(wèn)題，高校和學(xué)術(shù)團(tuán)體做大模型沒(méi)有意義？邱錫鵬并不這么認(rèn)為。公司投入金錢與工程師來(lái)推進(jìn)工程的確重要，但大模型如果僅僅靠公司是沒(méi)辦法真正做好的。“大模型里有非常多的科學(xué)問(wèn)題需要廣大研究者參與。如果離開(kāi)了學(xué)術(shù)團(tuán)隊(duì)，大模型可能會(huì)缺少非常多的理論和技術(shù)支撐?！?/p>
邱錫鵬進(jìn)一步指出，“通用大模型除了算力需求大以外，目前依然在可信性、安全性、邏輯性等方面存在許多挑戰(zhàn)，這里面有非常多的科學(xué)問(wèn)題并沒(méi)有被解決，比如智能如何涌現(xiàn)、復(fù)雜推理如何實(shí)現(xiàn)、高效架構(gòu)、學(xué)習(xí)策略，以及如何做更好的知識(shí)融合，這些都需要高校研究團(tuán)隊(duì)進(jìn)行重大科研攻關(guān)?！?/p>
復(fù)旦團(tuán)隊(duì)將圍繞MOSS持續(xù)開(kāi)展大模型其他方面的研究，包括能力強(qiáng)化、知識(shí)對(duì)齊、模態(tài)融合和開(kāi)源開(kāi)放，進(jìn)一步邁向通用人工智能。
邱錫鵬在論壇中還介紹了正在建設(shè)中的開(kāi)源語(yǔ)言模型平臺(tái)OpenLMLab，該平臺(tái)的下層將對(duì)接國(guó)產(chǎn)通用框架和預(yù)訓(xùn)練模型庫(kù)，而上層會(huì)面向大模型生態(tài)方面的應(yīng)用。
據(jù)介紹，OpenLMLab集對(duì)話模型、模型微調(diào)、模型對(duì)比和模型評(píng)測(cè)等領(lǐng)域于一體。MOSS是該開(kāi)源平臺(tái)的對(duì)話模型，而COLLiE是模型微調(diào)的工具庫(kù)，將來(lái)會(huì)進(jìn)行強(qiáng)化學(xué)習(xí)迭代。此外，該平臺(tái)支持AI生成文本檢測(cè)軟件Sniffer和快速對(duì)比多個(gè)對(duì)話大模型效果的工具ChatZoo。
邱錫鵬在演講結(jié)尾還介紹了一款名為Gaokao的工具，基于高考題目進(jìn)行模型評(píng)測(cè)?！拔覀冋J(rèn)為，現(xiàn)在有許多大模型的榜單都不太全面或權(quán)威，然而人類的考試是非常全面和權(quán)威的，例如高考?；谒覀兛梢栽u(píng)測(cè)各種大模型的能力。高考的題目還有另一個(gè)好處，由于每年高考題目都會(huì)更新，基本上大模型不太會(huì)存在刷題的嫌疑，因此每年都可以有新題目來(lái)比較不同的大模型?！?/p>
（原標(biāo)題：《復(fù)旦邱錫鵬：MOSS中文能力已超ChatGPT，可進(jìn)行角色扮演》）
標(biāo)簽：
