您當前的位置 :環(huán)球 >
作業(yè)幫發(fā)布銀河大模型,C-Eval、CMMLU雙榜排名第一
2023-09-04 11:31:01   來源:中國網(wǎng)財經(jīng)  分享 分享到搜狐微博 分享到網(wǎng)易微博

9月2日至6日,2023中國國際服務貿(mào)易交易會在北京舉辦,作業(yè)幫受邀參展,并正式發(fā)布自研銀河大模型。在服貿(mào)會現(xiàn)場,銀河大模型在智能解題、知識問答、中英文寫作及AI伴學等方面的出色表現(xiàn)吸引了大量現(xiàn)場觀眾的互動體驗。

同時作業(yè)幫公布了銀河大模型在C-Eval、CMMLU兩大權(quán)威大語言模型評測基準的成績。數(shù)據(jù)顯示,作業(yè)幫銀河大模型表現(xiàn)卓越,以平均分73.7分位居C-Eval榜首;同時在CMMLU榜單Five-shot和Zero-shot測評中分別以平均分74.03分及73.85分位列第一,成為首個同時在上述兩大權(quán)威榜單平均分排名第一的教育大模型。

銀河大模型作為作業(yè)幫自主研發(fā)的大語言模型,深度融合作業(yè)幫多年的AI算法沉淀和教育數(shù)據(jù)積累,是一款專為教育領(lǐng)域量身打造的覆蓋多學科、多學段、多場景的教育大模型。它不僅具備高度的多學科知識解答能力,更能協(xié)助不同學段學生進行創(chuàng)意寫作,同時還能夠?qū)崿F(xiàn)自主提問、陪伴式輔導等,助力學生個性化學習與成長。

作業(yè)幫銀河大模型的綜合實力在權(quán)威測評榜單中得到驗證。作為全球最具影響力的中文評測集之一,C-Eval是由清華大學、上海交通大學和愛丁堡大學合作構(gòu)建的面向中文語言模型的綜合性考試評測集,包含13948道多項選擇題,涵蓋52個不同學科和四個難度級別。根據(jù)C-Eval排行榜的最新數(shù)據(jù)顯示,作業(yè)幫銀河大模型以平均分為73.7分位居榜首。

在由MBZUAI、上海交通大學、微軟亞洲研究院共同推出的CMMLU榜單中,作業(yè)幫銀河大模型表現(xiàn)同樣出色,在Five-shot和Zero-shot 測試中分別以74.03分及73.85分占據(jù)榜首。

據(jù)了解,CMMLU共涵蓋了67個主題,涉及自然科學、社會科學、工程、人文以及常識等。在CMMLU榜單中的卓越表現(xiàn),再次印證了作業(yè)幫銀河大模型在知識儲備和語言理解方面的突出實力。

作業(yè)幫銀河大模型不僅在中文方面表現(xiàn)優(yōu)異,在英文方面表現(xiàn)同樣不俗。由美國加州大學伯克利分校、哥倫比亞大學、芝加哥大學等高校聯(lián)合打造的全球性大規(guī)模多任務語言理解評測基準MMLU,在集合了科學、工程、數(shù)學、人文、社會科學等領(lǐng)域的57個科目的評測中,作業(yè)幫銀河大模型平均分高達71.88分,體現(xiàn)了其在英文領(lǐng)域的專業(yè)能力和問題解決能力。

關(guān)鍵詞: 模型 作業(yè) 第一 平均分


[責任編輯:ruirui]





關(guān)于我們| 客服中心| 廣告服務| 建站服務| 聯(lián)系我們
 

中國焦點日報網(wǎng) 版權(quán)所有 滬ICP備2022005074號-20,未經(jīng)授權(quán),請勿轉(zhuǎn)載或建立鏡像,違者依法必究。