螞蟻集團(tuán)開源代碼大模型CodeFuse-CodeLlama-34B 4bits量化版本

2023-09-27 15:59 · 稿源：站長之家

站長之家（ChinaZ.com）9月27日消息:近日，螞蟻集團(tuán)代碼大模型CodeFuse-CodeLlama-34B4bits量化版本發(fā)布。

CodeFuse-CodeLlama-34B-4bits是CodeFuse-CodeLlama-34B模型的4bits量化版本，后者是通過QLoRA對基座模型CodeLlama-34b-Python進(jìn)行多代碼任務(wù)微調(diào)而得到的代碼大模型，模型輸入長度為4K。

經(jīng)4bits量化后，CodeFuse-CodeLlama-34B-4bits可用單張A10（24GB顯存）或者RTX4090(24GB顯存)加載，同時，量化后的模型在Humaneval pass@1指標(biāo)上仍取得了73.8%的表現(xiàn)。

微信截圖_20230927155613.png

據(jù)悉，CodeFuse是螞蟻?zhàn)匝械拇a生成專屬大模型，根據(jù)開發(fā)者的輸入提供智能建議和實(shí)時支持，幫助開發(fā)者自動生成代碼、自動增加注釋，自動生成測試用例，修復(fù)和優(yōu)化代碼等，以提升研發(fā)效率。

CodeFuse-CodeLlama-34B4bits項(xiàng)目地址:

https://modelscope.cn/models/codefuse-ai/CodeFuse-CodeLlama-34B-4bits/summary

（舉報）

相關(guān)推薦

關(guān)鍵詞：

姜子牙大模型開源代碼大模型Ziya-Coding-34B-v1.0

IDEA研究院封神榜團(tuán)隊(duì)最近開源了最新的代碼大模型Ziya-Coding-34B-v1.0，該模型在HumanEvalPass@1的評測上取得了75.5的好成績，超過了GPT-4的得分。此次開源的Ziya-Coding-34B-v1.0，基于CodeLLaMA34B的預(yù)訓(xùn)練模型，經(jīng)過了兩個階段的有監(jiān)督精調(diào)，支持多種與代碼相關(guān)的任務(wù)，包括代碼生成、代碼解釋、代碼糾錯以及單元測試的生成等。
薦開源標(biāo)桿！最強(qiáng)中英雙語大模型來了，340億參數(shù)，超越 Llama2-70B等所有開源模型

開源界最強(qiáng)的中英雙語大模型，悟道·天鷹34B，來了!有多強(qiáng)?一言蔽之:不僅模型夠大夠能打還一口氣送上整套“全家桶”級豪華周邊。能有如此大手筆的，正是中國大模型開源派先鋒——智源研究院。Aquila2模型全系開源地址:https://github.com/FlagAI-Open/Aquila2https://model.baai.ac.cn/https://huggingface.co/BAAIAquilaSQL開源倉庫地址:https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila/Aquila-sqlFlagAttenti

?Llama2 ?開源模型
幾千元訓(xùn)完中文版LLaMA2！Colossal-LLaMA-2把大模型門檻打下來了！

從頭預(yù)訓(xùn)練大模型被認(rèn)為需要高達(dá)5000萬美元的投資，這讓很多開發(fā)者和中小企業(yè)望卻步。Colossal-LLaMA-2的出現(xiàn)降低了大模型的門檻。該方案業(yè)已應(yīng)用到多個行業(yè)領(lǐng)域，構(gòu)建垂類大模型并取得良好效果。

?Colossal
國產(chǎn)開源新標(biāo)桿！20B大模型，性能媲美Llama2-70B，單卡可推理

國產(chǎn)新標(biāo)桿:免費(fèi)可商用的200億參數(shù)大模型，來了!書生·浦語大模型20B版本正式發(fā)布，一舉刷新國內(nèi)新一代大模型開源紀(jì)錄。它由上海人工智能實(shí)驗(yàn)室與商湯科技聯(lián)合香港中文大學(xué)和復(fù)旦大學(xué)共同推出。正如林達(dá)華所說:這或許才是當(dāng)下大模型趨勢里，大家最應(yīng)該“卷”的方向。

?InternLM ?書生·浦語大模型
薦20B量級大模型性能媲美Llama2-70B！完全開源，從基座到工具全安排明白了

【新智元導(dǎo)讀】國產(chǎn)模型開源紀(jì)錄，又被刷新了!上海AI實(shí)驗(yàn)室等機(jī)構(gòu)開源的InternLM-20B，竟然能和Llama2-70B打個平手?就在剛剛，國內(nèi)開源模型參數(shù)量紀(jì)錄，又被刷新了!9月20日，上海人工智能實(shí)驗(yàn)室與商湯科技聯(lián)合香港中文大學(xué)和復(fù)旦大學(xué)，正式開源了200億參數(shù)的InternLM-20B模型。項(xiàng)目地址:https://github.com/InternLM/InternLM魔搭社區(qū):https://modelscope.cn/organization/Shanghai_AI_Laboratory這次的200億參數(shù)版書生·浦語大模型，可以說是「加量不加價」，參數(shù)量還不到三分之一，性能卻可以劍挑當(dāng)今開源模型的標(biāo)桿——Llama2-70B。上海AI實(shí)驗(yàn)室的「雪中送炭」，必然會讓大模型在落地領(lǐng)域發(fā)揮出巨大的價值。

?模型
中文LLaMA-2刷榜，開源可商用！千元預(yù)算，訓(xùn)練半天，效果媲美主流大模型

最強(qiáng)中文版LLaMA-2來了!15小時訓(xùn)練，僅需數(shù)千元算力，性能碾壓同級中文漢化模型，開源可商用。LLaMA-2相較于LLaMA-1，引入了更多且高質(zhì)量的語料，實(shí)現(xiàn)了顯著的性能提升，全面允許商用，進(jìn)一步激發(fā)了開源社區(qū)的繁榮，拓展了大型模型的應(yīng)用想象空間。ColossalAI云平臺現(xiàn)已開啟公測，注冊即可獲得代金券，歡迎參與并提出反饋。

?LLaMA-2 ?開源大模型
智源研究院開源中英雙語大模型悟道·天鷹340億Aquila2-34B

智源研究院發(fā)布了最強(qiáng)開源中英雙語大模型——悟道?天鷹340億。這個新模型在推理、泛化等方面表現(xiàn)出色，在智能體、代碼生成、文獻(xiàn)檢索等場景方面取得了一系列成績。智源研究院還發(fā)布了FlagScale高效并行訓(xùn)練框架和FlagAttention高性能Attention算子集，進(jìn)一步推動大模型研究的發(fā)展。
薦全面超越LLaMA2，月下載量超三百萬，國產(chǎn)開源大模型如何成為新晉頂流？

圖源備注：圖片由AI生成，圖片授權(quán)服務(wù)商Midjourney回想兩個月前，LLaMA2的開源，曾以一己之力改變了大模型領(lǐng)域的競爭格局。相比于今年2月推出的第一代LLaMA，LLaMA2在推理、編碼、精通性和知識測試等任務(wù)中都實(shí)現(xiàn)了性能的大幅提升，甚至可以在某些數(shù)據(jù)集上接近GPT-3.5。如何讓大模型的能力與業(yè)務(wù)場景更好結(jié)合，同樣是當(dāng)下每一家大模型提供商的重點(diǎn)課題，也需要科技公司、學(xué)術(shù)機(jī)構(gòu)和開發(fā)者共同創(chuàng)造。

?LLaMA2 ?開源大模型 ?GPT
Meta悄然發(fā)布Llama 2 Long AI，在某些任務(wù)上擊敗GPT-3.5 Turbo和Claude 2

MetaPlatforms在9月29日發(fā)布了一篇計算機(jī)科學(xué)論文，介紹了其新發(fā)布的Llama2LongAI模型。該模型在某些任務(wù)上擊敗了GPT-3.5Turbo和Claude2，這表明Meta的開源方法在生成人工智能領(lǐng)域取得了重大進(jìn)展。該模型的開源性也表明，開源方法在這一領(lǐng)域具有競爭力。

?Meta ?Llama2 ?AI頭條
薦CMU華人打破大模型黑盒，Llama 2撒謊被一眼看穿！腦電波慘遭曝光，LLM矩陣全破解

大語言模型黑盒，居然被CMU等機(jī)構(gòu)的學(xué)者打破了?他們發(fā)現(xiàn)，LLM內(nèi)部有可解釋的表征，如果撒謊能被測謊儀檢測出來!最近，來自CAIS、CMU、斯坦福、康奈爾、馬里蘭、賓大等機(jī)構(gòu)的學(xué)者又有了令人震驚的發(fā)現(xiàn)——大語言模型，并不僅僅是黑匣子，或者難以理解的龐大矩陣。在它們內(nèi)部，具有可解釋的內(nèi)部表征。CMU等機(jī)構(gòu)研究者的探索也告訴我們，人類對于AI系統(tǒng)的理解和控制會越

?大語言模型 ?Llama

熱文

3 天
7天

站長商機(jī)

商務(wù)合作侵權(quán)投訴廣告服務(wù) 版權(quán)聲明招聘