站長之家（ChinaZ.com）6月4日 消息:在大模型技術(shù)迅速發(fā)展的背景下，昆侖萬維公司開源了一個(gè)具有里程碑意義的稀疏大型語言模型Skywork-MoE。這個(gè)模型不僅在性能上表現(xiàn)出色，而且還大幅降低了推理成本，為應(yīng)對大規(guī)模密集型LLM帶來的挑戰(zhàn)提供了有效的解決方案。
Skywork-MoE模型特點(diǎn):
開源和免費(fèi)商用:Skywork-MoE的模型權(quán)重、技術(shù)報(bào)告完全開源，且免費(fèi)商用，無需申請。
推理成本降低:該模型在保持性能強(qiáng)勁的同時(shí)，大幅降低了推理成本。
稀疏模型:Skywork-MoE是一個(gè)專家混合模型（MoE），通過將計(jì)算分配給專門的子模型或“專家”，提供了一種經(jīng)濟(jì)上更可行的替代方案。
支持單臺4090服務(wù)器推理:是首個(gè)支持用單臺4090服務(wù)器推理的開源千億MoE大模型。
技術(shù)細(xì)節(jié):
模型權(quán)重和開源倉庫:模型權(quán)重可在Hugging Face上下載，開源倉庫位于GitHub。
推理代碼:提供了支持8x4090服務(wù)器上8bit量化加載推理的代碼。
性能:在8x4090服務(wù)器上，使用昆侖萬維團(tuán)隊(duì)首創(chuàng)的非均勻Tensor Parallel并行推理方式，Skywork-MoE可以達(dá)到2200tokens/s的吞吐量。
模型性能和技術(shù)創(chuàng)新:
參數(shù)量:Skywork-MoE的總參數(shù)量為146B，激活參數(shù)量22B，共有16個(gè)Expert，每個(gè)Expert大小為13B。
性能對比:在相同的激活參數(shù)量下，Skywork-MoE的能力在行業(yè)前列，接近70B的Dense模型，推理成本有近3倍的下降。
訓(xùn)練優(yōu)化算法:Skywork-MoE設(shè)計(jì)了兩種訓(xùn)練優(yōu)化算法，包括Gating Logits歸一化操作和自適應(yīng)的Aux Loss，以解決MoE模型訓(xùn)練困難和泛化性能差的問題。
大規(guī)模分布式訓(xùn)練:
Expert Data Parallel:提出了一種新的并行設(shè)計(jì)方案，可以在Expert數(shù)量較小時(shí)高效地切分模型。
非均勻切分流水并行:提出了非均勻的流水并行切分和重計(jì)算Layer分配方式，使得計(jì)算/顯存負(fù)載更均衡。
實(shí)驗(yàn)和經(jīng)驗(yàn)規(guī)則:
Scaling Law實(shí)驗(yàn):探究了影響Upcycling和From Scratch訓(xùn)練MoE模型好壞的約束。
訓(xùn)練經(jīng)驗(yàn)規(guī)則:如果訓(xùn)練MoE模型的FLOPs是訓(xùn)練Dense模型的2倍以上，則選擇From Scratch訓(xùn)練MoE更好;否則，選擇Upcycling訓(xùn)練MoE可以減少訓(xùn)練成本。
Skywork-MoE的開源為大模型社區(qū)帶來了一個(gè)強(qiáng)大的新工具，有助于推動人工智能領(lǐng)域的發(fā)展，特別是在需要處理大規(guī)模數(shù)據(jù)和計(jì)算資源受限的場景中。
項(xiàng)目頁：https://top.aibase.com/tool/skywork-moe
模型下載地址:https://huggingface.co/Skywork/Skywork-MoE-Base
（舉報(bào)）