【資料圖】
8月18日，在《麻省理工科技評論》中國（MIT TR China）發布的一項大模型評測報告中，訊飛星火認知大模型V2.0在6個大類中得分率排名第一，以 81.5 分（百分制計）的成績在本次評測中獲評為“最聰明”的國產大模型。
據介紹，該評測使用的測試集包含600道題目，覆蓋了語言專項、數學專項、理科綜合、文科綜合、邏輯思維、編程能力、綜合知識、安全性共 8 個一級大類，126 個二級分類，290 個三級標簽，并針對問題的豐富性和多樣性做了優化，力圖從研發和商業化能力、外界態度以及發展趨勢等維度全方位檢測大模型的能力。
在題目類型上，為了兼顧定量、定性的評價與測試，MIT TR China在評測中設置了“單選”、“多選”、“填空”、“簡答”4個題型，分別有 145 道、138 道、136 道和 181 道。其中，語言專項評測中包含對話理解、多語種、諷刺、古詩詞理解、文本生成、要點總結、情感分析、語義判斷等 61 個二級分類，題型則以主觀題簡答為主。
值得一提的是，大模型評測體系使用盲評方式，以客觀評估國產大模型的“聰明”程度。
結果顯示，訊飛星火在主客觀題型評測中均有良好表現：主觀簡答題中訊飛星火憑借 83.98% 的得分率位居第一；而在客觀題上，訊飛星火以 75.7% 的得分率排名第一。其中，訊飛星火在編程能力、理科綜合、邏輯思維、數學專項、語言專項和綜合知識這 6 個一級大類中表現十分出色，尤其是在代碼生成、數學能力、理科與邏輯等方面優勢明顯，是本次評測中“最聰明的理科生”。
在剛剛過去的8月15日，訊飛星火認知大模型V2.0如期發布，進一步突破代碼能力和多模態能力；技術獲得重大突破的同時，搭載訊飛星火V2.0核心能力的應用和產品也越來越豐富。此外，科大訊飛還和華為聯合發布星火一體機，宣稱要“讓每一家企業都有機會構建專屬大模型”。
標簽：
