5月22日，在2023大灣區(qū)科學(xué)論壇上，鵬城實(shí)驗(yàn)室發(fā)布了鵬城·星云系統(tǒng)和星方數(shù)據(jù)——這是支撐國際大科學(xué)計(jì)劃和工程的需求、聚焦天文和遙感兩大學(xué)科的科研云平臺(tái)。
鵬城星云系統(tǒng)依托于“鵬城云腦Ⅱ”而構(gòu)建。鵬城云腦Ⅱ是國產(chǎn)自主的首個(gè)E級(jí)AI算力平臺(tái)，根據(jù)中國工程院院士、鵬城實(shí)驗(yàn)室主任高文的介紹，是“10的18次方、每秒16位復(fù)點(diǎn)運(yùn)算的機(jī)器平臺(tái)”。目前，云腦Ⅱ已經(jīng)連續(xù)五次在超算打榜獲得世界第一。
(資料圖)
成立于2018年的鵬城實(shí)驗(yàn)室位于深圳，主要從事網(wǎng)絡(luò)空間信息研究，定位為省級(jí)實(shí)驗(yàn)室；2022年被列入國家實(shí)驗(yàn)室。
相比之下，鵬城實(shí)驗(yàn)室的合作伙伴知名度或許更高——此前百度發(fā)布的全球首個(gè)知識(shí)增強(qiáng)千億大模型百度文心、華為發(fā)布的首個(gè)千億級(jí)生成和理解中文NLP大模型盤古大模型，均有鵬城實(shí)驗(yàn)室的研發(fā)參與。
ChatGPT帶火了整個(gè)人工智能產(chǎn)業(yè)，也讓焦點(diǎn)集中在大模型上。高文指出，ChatGPT之所以能對(duì)整個(gè)技術(shù)發(fā)展帶來這么大沖擊，最關(guān)鍵的是它使用了大模型。
從人工智能行業(yè)出發(fā)，如何將訓(xùn)練好的模型從一個(gè)領(lǐng)域遷移到另外一個(gè)領(lǐng)域，始終是一個(gè)難題，因?yàn)椴豢赡芤蕾囉诖罅咳肆θ?biāo)注數(shù)據(jù)。
國際歐亞科學(xué)院院士李世鵬表示，大模型是解決這個(gè)瓶頸的方法，“采用一種預(yù)訓(xùn)練模式，對(duì)所有數(shù)據(jù)進(jìn)行非監(jiān)督學(xué)習(xí)，形成大模型后再進(jìn)行微調(diào)，落實(shí)到具體的應(yīng)用場(chǎng)景?！?/p>
“其實(shí)模型本身很簡(jiǎn)單，就是生物學(xué)里面神經(jīng)元的一個(gè)連接。但是因?yàn)樗?guī)模大，就起到非常理想的結(jié)果。所以規(guī)模是大模型里最核心的東西?！备呶谋硎?，規(guī)模需要靠三方面結(jié)合：巨大的算力、海量數(shù)據(jù)和足夠好的算法。例如ChatGPT就是微軟為其提供算力，提供了約1萬塊A100芯片的算力服務(wù)器支持。
高文提到，中國也有這樣的算力，在2020年推出的云腦Ⅱ，相當(dāng)于4000塊A100芯片組合出來的機(jī)器，既可以做理論研究，也可以做核心技術(shù)，或者一些比較大的應(yīng)用。
云腦Ⅱ的誕生讓鵬城實(shí)驗(yàn)室的AI算力從100P上升到1000P。舉例來說，24小時(shí)內(nèi)能訓(xùn)練100億張圖像，或1億人的DNA、或1千萬小時(shí)語音、或1萬天的自動(dòng)駕駛數(shù)據(jù)等，是52萬臺(tái)家用電腦算力之和。
“我們現(xiàn)在正在設(shè)計(jì)下一臺(tái)3.2萬塊卡的機(jī)器，這臺(tái)機(jī)器的能力會(huì)比微軟的機(jī)器還強(qiáng)，是后者能力的三倍，確保為人工智能訓(xùn)練持續(xù)提供強(qiáng)有力的算力支持?！备呶耐嘎?，這臺(tái)機(jī)器大約花費(fèi)60億元，算力達(dá)到16000P。
“兩臺(tái)機(jī)器加在一起，可以解決到目前為止所有大模型的訓(xùn)練。”高文表示，而且以此為核心，現(xiàn)在正在啟動(dòng)中國算力網(wǎng)的建設(shè)，將來的算力會(huì)像ChatGPT電力一樣即插即用。
為了實(shí)現(xiàn)這個(gè)目標(biāo)，鵬城實(shí)驗(yàn)室現(xiàn)在正推動(dòng)大模型的開源和底座訓(xùn)練工作。例如云腦Ⅱ，只有1/4是鵬城實(shí)驗(yàn)室在用，3/4開放出去，作為大設(shè)施開放提供給國內(nèi)的合作伙伴、高校甚至企業(yè)使用，此前也幫助百度、華為訓(xùn)練了一系列大模型。
“鵬城會(huì)幫助相關(guān)單位訓(xùn)練出GPT的底座來，云腦Ⅱ、云腦Ⅲ會(huì)給人工智能大模型提供足夠算力，我們也希望合作伙伴提供一些數(shù)據(jù)?！备鶕?jù)設(shè)想，通過鵬城的算力、公開渠道的數(shù)據(jù)結(jié)合，訓(xùn)練出大模型底座向全社會(huì)開放。
算力、算法、數(shù)據(jù)，是人工智能的三大范疇。這也意味著，即使企業(yè)的算力不高，也能通過底座完成工作——畢竟ChatGPT一次訓(xùn)練要花費(fèi)將近1000萬美元。而對(duì)于云腦Ⅱ等基礎(chǔ)設(shè)備而言，也有望降低開發(fā)工作量。
騰訊首席科學(xué)家張正友則指出，因?yàn)楦鞣N各樣的原因，包括隱私、行業(yè)數(shù)據(jù)之間的關(guān)系，是不可能做一個(gè)模型打遍所有事情的，“如何去解決數(shù)據(jù)之間的壁壘，將多個(gè)模型高效地整合起來，這可能又是一個(gè)值得研究和探討的方向。”
（文章來源：界面新聞）
標(biāo)簽：
