誰能想到，一場泄密事件，竟成了引發(fā)“ChatGPT平替”狂潮的開端。

(資料圖)

事情的最開端，是在今年2月24日，Meta發(fā)布大語言模型LLaMA(中文意為“羊駝”)，因其參數(shù)量遠(yuǎn)小于GPT-3，效果卻仍能優(yōu)于后者一度在圈內(nèi)引起熱議。

當(dāng)然，與近些年的大模型研發(fā)趨勢一樣，雖然Meta聲稱LLaMA是開源的，但仍需要研究人員申請并進(jìn)行審核。

但在一周之后，日本論壇4chan(相當(dāng)于國內(nèi)貼吧)上卻突然出現(xiàn)一條帖子，上傳了一個LLaMA模型源代碼的種子文件，下載后大小約為219G，瞬間一石激起千層浪，下載量很快超越千次。

更有戲劇性的是，這個種子鏈接還被合并到了LLaMA的官方GitHub頁面，甚至還得到了部分項(xiàng)目維護(hù)者的批準(zhǔn)，真的可以“點(diǎn)擊即用”。此后，4chan上還有用戶為那些希望自主部署該模型的人提供了詳細(xì)教程，說明了如何獲得模型，如何添加修改后的模型，如何進(jìn)行更有效的推理等等。

對此，Meta官方在3月6日稱，仍將繼續(xù)向通過審核的研究人員給予LLaMA官方通道，同時，也開始著手控制LLaMA泄露源代碼的傳播。之后，開源AI平臺Hugging Face的CEO就曾站出來表示，禁止用戶上傳LLaMA泄露源代碼。

但接下來，這場“史詩級泄露事件”的火，卻燒到了令人意想不到的方向——

3月15日，斯坦福發(fā)布語言大模型Alpaca，模型由LLaMA微調(diào)而來，僅用了52k數(shù)據(jù)，其性能約等于GPT-3.5，且訓(xùn)練成本還不到600美元。

3月23日，AI公司Nebuly開源了基于LLaMA的模型ChatLLama，允許用戶基于預(yù)訓(xùn)練的LLaMA模型構(gòu)建個性化的ChatGPT服務(wù)，且訓(xùn)練速度更快，成本更低。

3月29日，加州大學(xué)伯克利分校在其Colossal-AI項(xiàng)目下發(fā)布了ColossalChat，這一模型通過RLHF(一種強(qiáng)化學(xué)習(xí)方式，類似于獎勵機(jī)制)，基于LLaMA預(yù)訓(xùn)練模型提供了ChatGPT服務(wù)。

同天，AI公司Age of AI推出了語言模型FreedomGPT，其基于斯坦福的Alpaca進(jìn)行開發(fā)，號稱是去掉了安全、倫理道德過濾器的ChatGPT版本。

3月31日，加州大學(xué)伯克利分校、卡內(nèi)基梅隆大學(xué)、斯坦福大學(xué)和加州大學(xué)圣地亞哥分校的研究人員開源了語言模型Vicuna，這是一個與GPT-4性能相近的LLama的微調(diào)版本，訓(xùn)練成本僅有300美元。

4月3日，伯克利的伯克利人工智能研究院(BAIR)發(fā)布了 Koala，這一模型同樣是一種微調(diào)過的LLama版本，在超過一半的情況下與ChatGPT性能相當(dāng)。

大批LLaMA類研發(fā)的推出與LLaMA模型的源代碼泄露到底有無直接關(guān)系，不得而知。但無論如何，以LLaMA模型“被迫”開源為關(guān)鍵時間點(diǎn)，基于它開發(fā)的模型與服務(wù)，開始了爆炸式的增長。

有趣的是，似乎是為了呼應(yīng)最初Meta家的LLaMA模型的一種含義“大羊駝”，之后斯坦福選擇了相似含義的Alpaca(羊駝)，之后又出現(xiàn)了Vicuna(小羊駝)……對此，有人調(diào)侃，再開發(fā)下去，“羊駝家族”的名字都快不夠用了。

對此，有人笑稱這場泄露事件促進(jìn)了大批ChatGPT式服務(wù)的產(chǎn)生，甚至促進(jìn)了AI民主化，可謂大功一件；也有人表示最初的泄露本就是Meta的“自導(dǎo)自演”，為的是最大限度地擴(kuò)大其技術(shù)影響力；還有人認(rèn)為，這場泄露事件背后也有當(dāng)前大模型領(lǐng)域中開源VS閉源(或通過API進(jìn)行分發(fā))的兩條道路之爭……

爭論不斷，熱議紛紛。當(dāng)前，LLaMA項(xiàng)目已在GitHub收獲17.4k星，而基于它所誕生的“羊駝家族”，還在一路狂奔。

（文章來源：南方都市報·灣財社）

標(biāo)簽：