11.11云上盛惠!海量產(chǎn)品 · 輕松上云!云服務(wù)器首年1.8折起,買1年送3個月!超值優(yōu)惠,性能穩(wěn)定,讓您的云端之旅更加暢享。快來騰訊云選購吧!
歡迎來到【AI日報】欄目!這里是你每天探索人工智能世界的指南,每天我們?yōu)槟愠尸F(xiàn)AI領(lǐng)域的熱點內(nèi)容,聚焦開發(fā)者,助你洞悉技術(shù)趨勢、了解創(chuàng)新AI產(chǎn)品應(yīng)用。新鮮AI產(chǎn)品點擊了解:https://top.aibase.com/1、數(shù)字人起飛!未來如何有效評估AI性能將成為重要挑戰(zhàn)。
ModelScope推出了預(yù)訓(xùn)練大語言模型推理引擎DashInfer,支持C和Python語言接口,可在多種CPU架構(gòu)上高效推理大模型。DashInfer采用CRuntime編寫,支持連續(xù)批處理和多NUMA推理,能充分利用服務(wù)器級CPU的算力,為推理14B及以下的LLM模型提供更多硬件選擇。性能測試結(jié)果表明,DashInfer在ARM和x86CPU上具有良好的推理性能,能夠有效提升大模型推理效率。
歡迎來到【AI日報】欄目!這里是你每天探索人工智能世界的指南,每天我們?yōu)槟愠尸F(xiàn)AI領(lǐng)域的熱點內(nèi)容,聚焦開發(fā)者,助你洞悉技術(shù)趨勢、了解創(chuàng)新AI產(chǎn)品應(yīng)用。新鮮AI產(chǎn)品點擊了解:https://top.aibase.com/1、干翻AIPC!蘋果M4芯片首發(fā)新款iPadPro頂配超2萬蘋果公司在春季新品發(fā)布會上展示了最新技術(shù)和產(chǎn)品革新,包括配備M4芯片和雙層OLED屏幕的新款iPadPro,以及ApplePencilPro和更大尺寸的iP
魔搭ModelScope社區(qū)宣布,DeepSeek-V2系列模型現(xiàn)已在魔搭ModelScope社區(qū)開源?;梅焦驹?月6日推出了第二代MoE模型DeepSeek-V2,并開源了技術(shù)報告和模型權(quán)重,該模型引入了MLA架構(gòu)和自研Sparse結(jié)構(gòu)DeepSeekMoE,以236B總參數(shù)、21B激活,實際部署在8卡H800機(jī)器上,輸入吞吐量超過每秒10萬tokens輸出超過每秒5萬tokens。DeepSeek-V2的推理代碼和模型下載鏈接已經(jīng)在魔搭ModelScope社區(qū)開源,用戶可以通?
在2024全球開發(fā)者先鋒大會上,魔搭社區(qū)推出了“ModelScope-Sora開源計劃”,旨在通過開源力量促進(jìn)中國類Sora模型的探索與創(chuàng)新。該計劃提供一站式工具鏈,包括數(shù)據(jù)處理工具、多模態(tài)數(shù)據(jù)集、類Sora基礎(chǔ)模型、訓(xùn)練推理工具等。魔搭計劃構(gòu)建開放的中文高質(zhì)量多模態(tài)數(shù)據(jù)集,助力中國多模態(tài)大模型的發(fā)展。
魔搭社區(qū)ModelScope宣布開源AgentScope,AgentScope是一款全新的多智能體框架,專為應(yīng)用開發(fā)者打造,旨在提供高易用、高可靠的編程體驗,提供多模態(tài)和分布式的技術(shù)支持:借助于AgentScope,可以在本地部署并魔改游戲應(yīng)用,任意修改你的游戲界面,或者添加更多的feature1.Agent游戲制作:AgentScope提供了一個基于Agent技術(shù)的圖文游戲制作體驗。玩家可以通過配置來創(chuàng)建自己的游戲劇情、任
魔搭社區(qū)與vLLM和FastChat展開合作,聯(lián)合為中國開發(fā)者提供更快更高效的LLM推理和部署服務(wù)。開發(fā)者可以使用vLLM作為FastChat中的推理引擎,提供高吞吐量的模型推理。還可以結(jié)合FastChat和vLLM搭建一個網(wǎng)頁Demo或者類OpenAIAPI服務(wù)器。
OneLLM是一種多模態(tài)對齊的統(tǒng)一框架,它使用通用編碼器和統(tǒng)一的投影模塊與LLM對齊多模態(tài)輸入。OneLLM還通過使用modalitytokens實現(xiàn)了在不同模態(tài)之間的切換。OneLLM在視頻-文本、音頻-視頻-文本、音頻-文本等任務(wù)中優(yōu)于現(xiàn)有方法,表現(xiàn)出了較強(qiáng)的零樣本能力。
MistralAI近日發(fā)布了首個開源MoE模型Mixtral8x7B,并宣布在魔搭社區(qū)上線。Mixtral8x7B是一個混合專家模型,由8個擁有70億參數(shù)的專家網(wǎng)絡(luò)組成,能夠處理32ktoken上下文長度,支持多種語言,具有優(yōu)秀的代碼生成能力。該模型在MT-Bench評測上達(dá)到了8.3分,與GPT3.5相當(dāng)。
據(jù)報道,OpenAI前CEOSamAltman與前總裁GregBrockman在OpenAI舊金山總部與公司高管會面。微軟和其他投資人正在努力恢復(fù)SamAltman的職位。項目地址:https://github.com/LC1332/Chat-Haruhi-Suzumiya/tree/main/research/personality浙大研究者提出UrbanGIRAFFE,解決城市場景的可控3D感知圖像合成浙江大學(xué)的UrbanGIRAFFE方法通過可控的相機(jī)姿勢和場景內(nèi)容,以及精妙的3D場景分解,實現(xiàn)了對復(fù)雜城市環(huán)境的多樣控制,?