在生成式人工智能領(lǐng)域，大模型多模態(tài)交互能力的升級正掀起一股新的 AI 浪潮，在 RTC 能力的加持下，人與 AI 的交互不再局限于文字，也可以通過語音通話進(jìn)行生動(dòng)、流暢的低延時(shí)交互，這也成為當(dāng)下國內(nèi)外大模型廠商新的發(fā)力點(diǎn)。

今年5月，GPT-4o 的發(fā)布開創(chuàng)了AI 實(shí)時(shí)語音交互的先河。在此之前，一些傳統(tǒng)的大模型已經(jīng)具備語音交互的能力，但一般采用 WebSocket 方案，這一方案雖然應(yīng)用廣泛，但其傳輸架構(gòu)是基于 TCP 協(xié)議來構(gòu)建，延遲較高，在 STT-LLM-TTS 的三步驟中，一個(gè)來回的延遲就要2-3秒，在弱網(wǎng)等非理想網(wǎng)絡(luò)環(huán)境下，整體語音交互的延時(shí)更達(dá)到4秒+。在 GPT-4o 采用 RTC 方案后，展現(xiàn)出了自然、流暢的低延時(shí)語音交互體驗(yàn)，也讓更多企業(yè)與開發(fā)者看到了在 AI 語音交互中 RTC 方案的更優(yōu)性，并積極與 RTC 廠商合作，升級 AI 語音交互的體驗(yàn)。

聲網(wǎng)對話式AI解決方案?構(gòu)建實(shí)時(shí)多模態(tài)AI語音交互

聲網(wǎng)作為全球?qū)崟r(shí)互動(dòng)云行業(yè)的開創(chuàng)者，在音視頻領(lǐng)域積累了深厚的技術(shù)優(yōu)勢與場景實(shí)踐，通過與客戶在 AIGC 場景的深度合作，探索出了一套實(shí)時(shí)多模態(tài)對話式 AI 解決方案，該方案以語音為核心，支持視頻擴(kuò)展，實(shí)現(xiàn)文本/音頻/圖像/視頻的組合輸入&輸出，通過豐富的功能構(gòu)建真實(shí)、自然的?AI?語音交互體驗(yàn)。

例如對交互延遲進(jìn)行優(yōu)化，延遲可做到1s以內(nèi);支持?AI?降噪、背景人聲過濾，讓語音對話更純靜;支持隨時(shí)打斷與超擬人化人聲合成，讓對話更智能與逼真;同時(shí)還支持靈活可擴(kuò)展的?AI Agent?架構(gòu)等一系列功能，幫助開發(fā)者與企業(yè)快速構(gòu)建適配自己業(yè)務(wù)場景的?AI?實(shí)時(shí)語音對話服務(wù)。

圖:聲網(wǎng)實(shí)時(shí)多模態(tài)對話式AI解決方案架構(gòu)圖

1、延遲低于1s，極速響應(yīng):聲網(wǎng)實(shí)時(shí)多模態(tài)對話式AI解決方案可做到語音對話延遲低于1s。通過在客戶端進(jìn)行低延遲的音頻采集和播放、借助聲網(wǎng)自研的 SD-RTN? 實(shí)時(shí)傳輸網(wǎng)絡(luò)實(shí)現(xiàn)全球范圍的低延時(shí) RTC 傳輸，并進(jìn)一步通過更準(zhǔn)確低延遲的AI VAD、更快速的 LLM 推理首字耗時(shí)、低延遲流式 TTS、同機(jī)部署等一系列技術(shù)手段，保證對話的實(shí)時(shí)性與流暢性。

2、智能打斷，貼近真實(shí)會(huì)話:在人類真實(shí)的語音對話中，打斷對方并提出新的疑問是非常常見的現(xiàn)象，而在 AIGC 場景，能否支持隨時(shí)打斷也成為衡量大模型智能化的重要指標(biāo)。聲網(wǎng)的方案也支持先進(jìn)的 AI 語音活動(dòng)檢測（AI VAD）技術(shù)，可實(shí)現(xiàn)靈敏的自然語音打斷，模擬人類對話的自然流動(dòng)，讓對話更加真實(shí)、自然。

3、嘈雜環(huán)境下也能清晰對話:即使在嘈雜的環(huán)境中，聲網(wǎng)的解決方案也能保證清晰的語音交流。通過AI噪聲抑制、背景人聲過濾、音樂檢測/過濾等算法，確保人與 AI 的對話不受環(huán)境干擾，始終保持順暢。

4、靈活可擴(kuò)展的AI Agent架構(gòu):AI Agent 作為大模型的應(yīng)用框架，其重要性不言而喻。對于開發(fā)者而言，往往會(huì)根據(jù)自身的喜好或者業(yè)務(wù)場景選擇不同的組件搭配 AI Agent。對此，聲網(wǎng)的解決方案采用了靈活可擴(kuò)展的 AI Agent架構(gòu)，兼容市場主流的 ASR、LLM 和 TTS 技術(shù)，并具備工作流編排能力，幫助開發(fā)者與企業(yè)根據(jù)特定需求定制和擴(kuò)展 AI 驅(qū)動(dòng)的實(shí)時(shí)互動(dòng)體驗(yàn)。

5、超擬人化人聲合成:在一些傳統(tǒng)的AI語音對話中，AI角色機(jī)械式的聲音大大降低了對話的真實(shí)感。針對這一痛點(diǎn)，聲網(wǎng)的解決方案超可實(shí)現(xiàn)超擬人真實(shí)音色，合成的聲音幾乎與真人無異，且支持私人定制音色，模擬喜怒哀樂等多種情緒表達(dá)，提升用戶體驗(yàn)，使互動(dòng)更加自然，還原真實(shí)體驗(yàn)感。

6、支持?RTC?與?SIP?網(wǎng)關(guān)互通:AI電話客服是當(dāng)下 AIGC 應(yīng)用最廣泛的場景之一，具備呼叫中心坐席的特性，對此，聲網(wǎng)的解決方案也支持 RTC 與 SIP 網(wǎng)關(guān)互通，用戶可直接通過聲網(wǎng)的RTCSDK 直接呼叫企業(yè)客服中心坐席，有效的降低客服成本，提升客服效率。

RTC能力加持下??AIGC應(yīng)用場景迎來爆發(fā)

聲網(wǎng)在與客戶的合作中發(fā)現(xiàn)，在RTC 的加持下，AIGC應(yīng)用場景迎來進(jìn)一步爆發(fā)，AI智能助手、AI情感陪伴、AI口語老師、AI客服的 AI 交互體驗(yàn)進(jìn)一步升級，學(xué)生的學(xué)習(xí)效率更高，社交陪聊場景的娛樂性與沉浸感也進(jìn)一步增強(qiáng)。

來自量子位智庫推出的 AI智能助手用戶數(shù)據(jù)報(bào)告顯示，截止8月國內(nèi)市場的 AI智能助手 App 已超過64款。在 AI情感陪伴領(lǐng)域也涌現(xiàn)了 Soul、星野、Wow等一系列人氣社交APP。

以?AI情感陪伴為例，隨著多模態(tài)交互能力的升級，當(dāng)下 AI情感陪伴類產(chǎn)品正呈現(xiàn)出三個(gè)特征:

1、語音/視覺交互:除了傳統(tǒng)的文本交互外，越來越多的 AI情感陪伴類 APP 也在加入語音通話的功能，讓 AI陪伴更具有真實(shí)感。同時(shí)在視覺交互方面，部分產(chǎn)品也支持了視頻通話功能，通過3D建模、擬真渲染等技術(shù)構(gòu)建逼真的數(shù)字人，讓人與 AI 的情感交互更加擬人化。

2、情感計(jì)算:人與 AI 的一個(gè)核心區(qū)別就是人具備情感，為了讓 AI 的回答更加智能與真實(shí)，許多 AI 陪伴產(chǎn)品開始加入情感計(jì)算的能力。通過語義識(shí)別、面部表情等信號檢測用戶的喜怒哀樂等情緒狀態(tài)，并做出對應(yīng)的情感回應(yīng)，實(shí)現(xiàn)更加人性化的交互體驗(yàn)。

3、私人定制:標(biāo)準(zhǔn)化的人機(jī)交互千篇一律，個(gè)性化的定制才更有新意。具備個(gè)性化定制能力，提供自主創(chuàng)作和個(gè)性化選項(xiàng)已經(jīng)成為 AI陪伴類產(chǎn)品的新趨勢，例如定制原生IP角色、定制IP專屬畫風(fēng)和語音體系、定制專屬互動(dòng)話題等一系列功能。

圖:電影《Her》里的AI助理被視為AI情感陪伴的啟蒙

在?AI口語老師場景，聲網(wǎng)觀察發(fā)現(xiàn)，1v1教學(xué)場景非常適用 AI口語老師，從真人教學(xué)變成自學(xué)模式，例如正價(jià)課1v1與 Demo 課1v1教學(xué)，AI數(shù)字人老師將代替真人，1v1AI 口語老師將成為未來語言學(xué)習(xí)機(jī)構(gòu)必備的應(yīng)用，AI 數(shù)字人老師可能用于大齡學(xué)生與成人，卡通 IP 可用于低幼齡的課程。同時(shí)在職業(yè)教育賽道，已經(jīng)有不少教育機(jī)構(gòu)在大班課場景利用 AI數(shù)字人老師教學(xué)。

同時(shí)，在游戲社交、AI分身、實(shí)時(shí)語音翻譯等場景，實(shí)時(shí)AI語音也大有可為。例如，在狼人殺、誰是臥底等場景，AI NPC 角色雖然已經(jīng)在應(yīng)用，但是 AI 的痕跡還是較為明顯。在大模型具備實(shí)時(shí)語音交互能力后，誰是臥底中的 AI 角色可以做到快速的推理并發(fā)言，再搭配語音仿真技術(shù)，有望做到 AI 角色的以假亂真。

聲網(wǎng)的實(shí)時(shí)多模態(tài)對話式AI解決方案目前已經(jīng)上線，如您想進(jìn)一步體驗(yàn)我們的 Demo或者接入該方案，可在聲網(wǎng)公眾號找到這篇文章，掃描文章底部的二維碼聯(lián)系我們。

（推廣）