(資料圖)
當(dāng)?shù)貢r(shí)間2月24日，Meta公司發(fā)布一款新的人工智能大型語言模型LLaMA，加入微軟、谷歌等硅谷公司的競賽。
Meta首席執(zhí)行官扎克伯格在Instagram表示，LLaMA模型旨在幫助研究人員推進(jìn)工作，在生成文本、對話、總結(jié)書面材料、證明數(shù)學(xué)定理或預(yù)測蛋白質(zhì)結(jié)構(gòu)等更復(fù)雜的任務(wù)方面“有很大的前景”。
根據(jù)Meta官網(wǎng)發(fā)布的論文，LLaMA目前包含70億、130億、330億和650億這4種參數(shù)規(guī)模的模型。其中，參數(shù)規(guī)模最小的LLaMA 7B也經(jīng)過了超1萬億個(gè)tokens的訓(xùn)練。Meta表示，在大多數(shù)基準(zhǔn)測試中，參數(shù)僅為十分之一的LLaMA-13B的性能優(yōu)于OpenAI推出的GPT3(175B)，也即支持ChatGPT的GPT3.5的前身。LLaMA-65B也可與業(yè)內(nèi)領(lǐng)先的Chinchilla-70B和PaLM-540B競爭。
Meta在去年5月曾推出一款面向研究人員的名為OPT-175B的大型語言模型，去年年底還發(fā)布過另一款模型Galactica，但后者被發(fā)現(xiàn)經(jīng)常分享有偏見或不準(zhǔn)確的信息，在48小時(shí)內(nèi)被迅速下架。
（文章來源：界面新聞）
