最近上熱搜的MOSS，不是《流浪地球2》中量子計算機(jī)550W給自己起的新名字，而是復(fù)旦大學(xué)計算機(jī)科學(xué)技術(shù)學(xué)院教授邱錫鵬團(tuán)隊最新發(fā)布的國內(nèi)第一個對話式大型語言模型，也被稱作中國版ChatGPT。
2月20日，MOSS悄然上線，邱錫鵬團(tuán)隊發(fā)布至公開平臺（https://moss.fastnlp.top/），邀公眾參與內(nèi)測。但是由于瞬時訪問火爆，計算資源無法支撐，內(nèi)測窗口已暫時關(guān)閉。
悄然上線，又匆匆關(guān)閉，MOSS這一“快閃”的舉動，讓它的亮相飽受爭議。
(資料圖片)
科技日報記者在瀏覽器上輸入公開平臺的網(wǎng)址，其中對MOSS這樣介紹：一種像ChatGPT的對話語言模型。MOSS能夠按照用戶的指示執(zhí)行各種自然語言任務(wù)，包括問答、生成文本、總結(jié)文本、生成代碼等。MOSS還能夠挑戰(zhàn)不正確的前提，并且拒絕不適當(dāng)?shù)恼埱蟆?/p>
那么相對于美國OpenAI的ChatGPT，中國的MOSS有何特別之處呢？記者在主頁看到了這樣的介紹：MOSS和ChatGPT的區(qū)別——如MOSS的參數(shù)量比ChatGPT少得多；MOSS通過與人類和其他AI模型交談來學(xué)習(xí)，而ChatGPT是使用來自人類反饋的強(qiáng)化學(xué)習(xí)（RLHF）進(jìn)行培訓(xùn)；MOSS將是開源的，以促進(jìn)未來的研究，但ChatGPT可能不是這樣。
據(jù)介紹，MOSS開發(fā)的基本步驟與ChatGPT一樣，包括自然語言模型的基座訓(xùn)練、理解人類意圖的對話能力訓(xùn)練兩個階段。作為MOSS主要作者之一，邱錫鵬表示：“MOSS與ChatGPT的差距主要在自然語言模型基座預(yù)訓(xùn)練這個階段。MOSS的參數(shù)量比ChatGPT小一個數(shù)量級，在任務(wù)完成度和知識儲備量上，還有很大提升空間。”
ChatGPT語言模型的參數(shù)量高達(dá)1750億，而在它問世前，世界上最大的語言模型是微軟開發(fā)的Turing-NLG，其參數(shù)量為170億。自去年11月30日正式發(fā)布以來，ChatGPT上線5天，注冊用戶就突破百萬。目前，其用戶規(guī)模已達(dá)到1億，成為互聯(lián)網(wǎng)發(fā)展史上用戶增長最快的消費(fèi)級應(yīng)用。
在關(guān)閉內(nèi)測之后，MOSS官網(wǎng)發(fā)布公告稱，MOSS還是一個非常不成熟的模型，距離ChatGPT還有很長的路要走。“我們是一個進(jìn)行學(xué)術(shù)研究的實(shí)驗(yàn)室，無法做出和ChatGPT能力相近的模型。”科研團(tuán)隊相關(guān)負(fù)責(zé)人指出，當(dāng)前版本的MOSS表現(xiàn)不夠穩(wěn)定，部分回答或存在事實(shí)差錯、邏輯不順等問題。不僅如此，MOSS的英文回答水平較中文回答水平更高，這主要受到其模型基座的單詞收錄量影響，MOSS學(xué)習(xí)了3000多億個英文單詞，但中文詞語只學(xué)了約300億個。
復(fù)旦大學(xué)計算機(jī)科學(xué)技術(shù)學(xué)院教授張奇是推出MOSS的復(fù)旦大學(xué)NLP實(shí)驗(yàn)室核心成員之一。對于ChatGPT背后模型所擁有的1750億的參數(shù)規(guī)模，他在一次公開討論中表示，學(xué)校這類機(jī)構(gòu)很難去完成，目前百億級的規(guī)模都已經(jīng)非常困難。
按照ChatGPT目前開源的最簡單復(fù)現(xiàn)版本、最便宜模式去計算，要做到1750億的參數(shù)規(guī)模，需要大概6000萬元的硬件成本，同時運(yùn)算3.5個月。這還是所有事情都做對的情況，如中間有參數(shù)調(diào)整，或者想加速訓(xùn)練過程，就需要更高規(guī)模的投資。
歸根到底還是研發(fā)投入的問題。而除了學(xué)術(shù)界，國內(nèi)科技企業(yè)也紛紛摩拳擦掌開發(fā)自己的ChatGPT：原美團(tuán)聯(lián)合創(chuàng)始人王慧文近日明確表示，要“組隊擁抱新時代，打造中國OpenAI”；百度此前宣布將在3月上線百度版ChatGPT——文心一言（英文名為ERNIE Bot）；阿里達(dá)摩院正在研發(fā)類ChatGPT的對話機(jī)器人，目前已開放給公司內(nèi)員工測試；科大訊飛也表示，Al學(xué)習(xí)機(jī)將成為公司類ChatGPT技術(shù)率先落地的產(chǎn)品……
標(biāo)簽： MOSS ChatGPT 復(fù)旦大學(xué)
