隨著2025年的腳步日益臨近,各大社交平臺紛紛推出年度回顧功能,而在人工智能領(lǐng)域,一場關(guān)于AI模型年度表現(xiàn)的評測也悄然落幕。近日,智源研究院公布了Flageval“百?!痹u測的詳細(xì)結(jié)果,揭示了國產(chǎn)大模型與海外頂尖模型之間的激烈競爭態(tài)勢。
評測結(jié)果顯示,在閉源大模型的主觀評測中,字節(jié)跳動(dòng)的豆包通用模型pro脫穎而出,獲得了最高分,展現(xiàn)了強(qiáng)大的中文對話能力。而OpenAI的o1-mini則在客觀評測中獨(dú)占鰲頭,顯示出其在邏輯推理和問題解決方面的卓越表現(xiàn)。多模態(tài)模型評測總榜的前三名被OpenAI的GPT-4o、字節(jié)跳動(dòng)的豆包視覺理解模型和Anthropic的Claude 3.5 Sonnet占據(jù),體現(xiàn)了多模態(tài)技術(shù)領(lǐng)域的快速發(fā)展。
本次評測涵蓋了語言、視覺語言、文生圖、文生視頻、語音語言等多個(gè)領(lǐng)域的大模型,共計(jì)超過100個(gè)開源和商業(yè)閉源模型參與。評測不僅考察了AI模型的任務(wù)解決能力,還新增了對真實(shí)金融量化交易場景應(yīng)用能力和辯論能力的評估,以全面衡量AI模型的實(shí)用性和智能化水平。
值得注意的是,為了降低數(shù)據(jù)集泄露風(fēng)險(xiǎn)和提高評測的公正性,智源研究院在評測過程中吸納了最新發(fā)布的數(shù)據(jù)集,持續(xù)動(dòng)態(tài)更新評測數(shù)據(jù),并替換了98%的題目,提升了題目的難度。這一舉措不僅保證了評測的準(zhǔn)確性和有效性,也為AI模型的發(fā)展提供了更加真實(shí)和具有挑戰(zhàn)性的測試環(huán)境。
在國產(chǎn)大模型方面,多款模型的綜合能力超過了海外知名模型。在閉源大模型主觀評測中,豆包通用模型pro、百度ERNIE 4.0 Turbo等國產(chǎn)模型占據(jù)了榜單的大部分席位,顯示出國產(chǎn)大模型在中文語言能力上的普遍優(yōu)勢。然而,在客觀評測中,國產(chǎn)大模型與OpenAI等海外模型之間仍存在一定差距,主要體現(xiàn)在推理、數(shù)學(xué)、代碼等方面的能力上。
多模態(tài)評測也成為了本次評測的一大亮點(diǎn)。國產(chǎn)大模型在視覺語言、文生圖、文生視頻等領(lǐng)域展現(xiàn)出了不俗的實(shí)力。其中,豆包視覺理解模型在視覺語言評測中名列前茅,而騰訊Hunyuan Image和快手可靈1.5則在文生圖和文生視頻評測中分別獲得了全球第一的好成績。
除了傳統(tǒng)評測項(xiàng)目外,本次評測還新增了對AI模型辯論能力和金融量化交易能力的考核。在辯論能力評測中,AI模型普遍缺乏辯論框架意識,但更擅長反駁辯題。而在金融量化交易領(lǐng)域,AI模型已具備生成有回撤收益的策略代碼的能力,部分模型的能力已接近初級量化交易員的水平。這一結(jié)果不僅展示了AI模型在金融領(lǐng)域的巨大潛力,也為未來的金融創(chuàng)新和智能化轉(zhuǎn)型提供了有力支持。
隨著AI技術(shù)的不斷發(fā)展和應(yīng)用領(lǐng)域的不斷拓展,國產(chǎn)大模型與海外模型之間的競爭將更加激烈。未來,AI模型的發(fā)展將更加注重實(shí)際應(yīng)用和商業(yè)化落地,催熟商業(yè)化落地的效率和效益將成為新的競爭焦點(diǎn)。在這場“百家爭鳴”中,國產(chǎn)大模型需要繼續(xù)鞏固自身優(yōu)勢,同時(shí)積極探索新的應(yīng)用場景和技術(shù)創(chuàng)新,以在激烈的市場競爭中脫穎而出。