日月開新元，萬象啟新篇。

1 月 15 日，MiniMax發(fā)布并開源新一代 01 系列模型，包含基礎(chǔ)語言大模型 MiniMax-Text-01 和視覺多模態(tài)大模型MiniMax-VL-01。該系列模型使用多項(xiàng)突破性創(chuàng)新，以大規(guī)模應(yīng)用線性注意力機(jī)制打破Transformer傳統(tǒng)架構(gòu)記憶瓶頸，在綜合性能比肩GPT-4o、Claude-3. 5 等海外領(lǐng)軍模型的基礎(chǔ)上，能夠有效處理高達(dá) 400 萬token的輸入，可輸入長度是GPT-4o的 32 倍，Claude-3.5-Sonnet的 20 倍。

目前，MiniMax- 01 系列開源模型已應(yīng)用于MiniMax旗下產(chǎn)品海螺AI并在全球上線，企業(yè)與個(gè)人開發(fā)者可前往MiniMax開放平臺(tái)使用API。

以架構(gòu)創(chuàng)新實(shí)現(xiàn)有效超長文本輸入

2017 年，具有里程碑意義的論文《Attention Is All You Need》正式發(fā)表，Transformer架構(gòu)問世并逐步發(fā)展成為該領(lǐng)域的主流技術(shù)范式。自 2023 年起，自然語言處理領(lǐng)域迎來了一股創(chuàng)新浪潮，對(duì)模型架構(gòu)的創(chuàng)新需求日益增加。

MiniMax- 01 系列模型初次將線性注意力機(jī)制擴(kuò)展到商用模型的級(jí)別，并使其綜合能力達(dá)到全球首先梯隊(duì)。而受益于此次架構(gòu)創(chuàng)新，該系列模型在處理長輸入的時(shí)候具有非常高的效率，接近線性復(fù)雜度。從Scaling Law、與MoE的結(jié)合、結(jié)構(gòu)設(shè)計(jì)、訓(xùn)練優(yōu)化和推理優(yōu)化等層面綜合考慮，MiniMax選擇模型參數(shù)量為 4560 億，其中每次激活 459 億，能夠有效處理高達(dá) 400 萬token的上下文，將有效替代Transformer傳統(tǒng)架構(gòu)并開啟超長文本輸入時(shí)代。

MiniMax- 01 模型發(fā)布后，在國內(nèi)外迅速掀起了熱議浪潮。海外媒體與AI從業(yè)者聚焦該模型，深入探討其技術(shù)內(nèi)涵與潛在價(jià)值，對(duì)其所展現(xiàn)出的創(chuàng)新性給予了高度肯定。

性能比肩國際領(lǐng)軍模型

在應(yīng)用創(chuàng)新架構(gòu)之外，MiniMax大規(guī)模重構(gòu)了 01 系列模型的訓(xùn)練和推理系統(tǒng)，包括更有效的MoE All-to-all通訊優(yōu)化、更長的序列的優(yōu)化，以及推線性注意力層的有效Kernel實(shí)現(xiàn)，使得模型能力可與全球優(yōu)質(zhì)閉源模型相媲美。

在業(yè)界主流的文本和多模態(tài)理解任務(wù)處理表現(xiàn)上，MiniMax- 01 系列模型大多情況下可以追平海外公認(rèn)先進(jìn)的兩個(gè)模型，GPT-4o- 1120 以及Claude-3.5-sonnet-1022。過往的模型能力評(píng)測中，Google的自研模型Gemini有著顯著的長文優(yōu)勢。而在 01 系列模型參評(píng)的長文任務(wù)下，相較于Gemini等一眾全球優(yōu)質(zhì)模型，MiniMax- 01 隨著輸入長度變長，性能衰減最慢，效果及其出眾。

▲ 多項(xiàng)任務(wù)評(píng)測結(jié)果顯示，MiniMax- 01 系列模型核心性能穩(wěn)居全球首先梯隊(duì)。（圖源MiniMax- 01 系列模型技術(shù)報(bào)告）

▲ MiniMax- 01 系列模型長上下文處理能力全球領(lǐng)先。（圖源MiniMax- 01 系列模型技術(shù)報(bào)告）

加速AI Agent時(shí)代到來

2025 年，AI將迎來至關(guān)重要的發(fā)展節(jié)點(diǎn)，AI Agent有望成為新一年最重要的產(chǎn)品形態(tài)，引領(lǐng)AI從傳統(tǒng)的“工具”角色向更具互動(dòng)性與協(xié)作性的“伙伴”角色轉(zhuǎn)變。AI Agent時(shí)代，由于智能體處理的任務(wù)變得越來越復(fù)雜，涉及的數(shù)據(jù)量也越來越大，單個(gè)智能體的記憶以及多個(gè)智能體協(xié)作間的上下文都會(huì)變得越來越長。因此，長上下文能力與多模態(tài)處理能力的提升，是AI Agent為各行業(yè)帶來更為豐富、有效、智能的解決方案的必要條件。

MiniMax在Github上開源了Text- 01 模型、VL- 01 模型的完整權(quán)重，以便于更多開發(fā)者做有價(jià)值、突破性的研究。MiniMax表示，“我們認(rèn)為這有可能啟發(fā)更多長上下文的研究和應(yīng)用，從而更快促進(jìn)Agent時(shí)代的到來，二是開源也能促使我們努力做更多創(chuàng)新，更高質(zhì)量地開展后續(xù)的模型研發(fā)工作?！?/p>

憑借開放、共享、協(xié)作的特點(diǎn)，開源模型激發(fā)AI產(chǎn)業(yè)的創(chuàng)新活力，正在成為賦能新質(zhì)生產(chǎn)力發(fā)展的關(guān)鍵引擎。受益于Linear Attention層面的架構(gòu)創(chuàng)新、算力層面的優(yōu)化，以及集群上的訓(xùn)推一體的設(shè)計(jì)，MiniMax以業(yè)內(nèi)相當(dāng)性價(jià)比的價(jià)格提供文本模型和多模態(tài)理解模型的API服務(wù)，標(biāo)準(zhǔn)定價(jià)是輸入token1 元/百萬token，輸出token8 元/百萬token。

論文鏈接：https://filecdn.minimax.chat/_Arxiv_MiniMax_01_Report.pdf

（推廣）