站長(zhǎng)之家（ChinaZ.com）8月23日 消息:HuggingFace 最近發(fā)布了一款新穎的小型 Rust ML 框架——candle，運(yùn)行速度極快，支持多種強(qiáng)大模型。它提供了對(duì) GPU 的支持，并且具有優(yōu)化的 CPU 后端，可以在瀏覽器中運(yùn)行。Candle 還包含了多個(gè)預(yù)訓(xùn)練模型和示例，如語(yǔ)音識(shí)別模型、通用 LLM、計(jì)算機(jī)視覺(jué)模型等。
項(xiàng)目地址:https://github.com/huggingface/candle
Rust 是系統(tǒng)編程語(yǔ)言，性能和安全性卓越。該 ML 框架可讓開(kāi)發(fā)者更高效地在 Rust 環(huán)境下開(kāi)發(fā)和優(yōu)化機(jī)器學(xué)習(xí)模型，提高開(kāi)發(fā)效率和程序運(yùn)行性能。
核心功能:
1. 簡(jiǎn)單易用:Candle 的語(yǔ)法類似于 PyTorch，讓用戶感覺(jué)更加熟悉和舒適。
2. 模型訓(xùn)練:支持模型的訓(xùn)練和優(yōu)化，讓用戶能夠構(gòu)建自己的機(jī)器學(xué)習(xí)模型。
3. 多個(gè)后端支持:Candle 提供了優(yōu)化的 CPU 后端，可選的 MKL 支持和加速支持，以及 CUDA 后端用于 GPU 加速。
4. 包含的模型:內(nèi)置了多個(gè)模型，如 LLMa、Falcon、Whisper 等，可直接使用或作為參考進(jìn)行修改和擴(kuò)展。
5. 輕量級(jí)部署:Candle 的目標(biāo)是實(shí)現(xiàn)無(wú)服務(wù)器推理，生成輕量級(jí)二進(jìn)制文件，可快速部署和執(zhí)行。
（舉報(bào)）