英特爾第五代至強處理器通過 AISBench 人工智能服務(wù)器系統(tǒng)性能測試，成為首家通過大語言模型 (LLM) 推理性能測試的企業(yè)。

在 AISBench 2.0 評估下，第五代至強處理器在 ChatGLM V2-6B（60 億參數(shù)）和 Llama2-13B（130 億參數(shù)）模型上表現(xiàn)突出，滿足輕量級 LLM 的實時推理需求。

具體性能表現(xiàn)如下：

• ChatGLM V2 模型通用推理（輸入輸出序列 256）：每秒 2493 個 token
• ChatGLM V2 模型通用推理（輸入輸出序列 2048）：每秒 926 個 token
• Llama2 模型通用推理（輸入輸出序列 256）：每秒 513 個 token
• Llama2 模型通用推理（輸入輸出序列 2048）：每秒 132 個 token

AISBench 2.0 測試結(jié)果證明了英特爾至強在輕量級 LLM 推理方面的卓越性能。

基于至強的服務(wù)器可構(gòu)建通用 AI 系統(tǒng)，用于數(shù)據(jù)預(yù)處理、模型推理和部署，提供 AI 性能、效率、準(zhǔn)確性和可擴展性的結(jié)合。

英特爾至強還支持“開箱即用”部署部分 AI 工作負(fù)載，降低總體擁有成本，為企業(yè)提供更佳的優(yōu)勢。

（舉報）