快科技11月6日消息,聯(lián)發(fā)科今晚正式發(fā)布天璣9300旗艦5G生成式AI移動芯片,支持在端側(cè)生成式AI、游戲、影像等方面定義旗艦新體驗。
據(jù)介紹,天璣9300集成MediaTek第七代AI處理器APU 790,為生成式AI而設(shè)計,其性能和能效得到顯著提升,整數(shù)運算和浮點運算的性能是前一代的2倍,功耗降低了45%。
APU 790內(nèi)置了硬件級的生成式AI引擎,可實現(xiàn)更加高速且安全的邊緣AI計算,深度適配Transformer模型進行算子加速,處理速度是上一代的8倍,1秒內(nèi)可生成圖片。
同時,基于億級參數(shù)大語言模型特性,MediaTek開發(fā)了混合精度INT4量化技術(shù),結(jié)合MediaTek特有的內(nèi)存硬件壓縮技術(shù)NeuroPilot Compression,可以更高效地利用內(nèi)存帶寬,大幅減少AI大模型對終端內(nèi)存的占用,支持終端運行10億、70億、130億、最高可達330億參數(shù)的AI大語言模型。
APU 790還支持生成式 AI 模型端側(cè)技能擴充”技術(shù)NeuroPilot Fusion,可以基于基礎(chǔ)大模型持續(xù)在端側(cè)進行低秩自適應(yīng)(LoRA,Low-Rank Adaptation)融合,進而賦予基礎(chǔ)大模型更加全面的能力。
此外,MediaTek的AI開發(fā)平臺NeuroPilot構(gòu)建了豐富的AI生態(tài),支持Android、Meta LIama 2、百度文心一言大模型、百川智能百川大模型等前沿主流AI大模型,完整的工具鏈助力開發(fā)者在端側(cè)快速且高效地部署多模態(tài)生成式AI應(yīng)用,為用戶提供文字、圖像、音樂等終端側(cè)生成式AI創(chuàng)新體驗。
(舉報)