8月24日，“掘金AI Talk沙龍-深圳站”在深圳灣創(chuàng)新科技中心成功舉辦。作為稀土掘金AI社區(qū)定期舉辦的系列AI分享活動之一，本期沙龍的主題為《AI Agent 技術(shù)突破和應(yīng)用實踐》。網(wǎng)易伏羲受邀分享AI Agent前沿技術(shù)成果和獨 家實踐心得，與眾多行業(yè)專家和AI愛好者共同探討AI Agent技術(shù)的未來發(fā)展。

沙龍現(xiàn)場，網(wǎng)易伏羲AOP框架技術(shù)負責人Joysy帶來了《AOP框架在手游Copi lot的應(yīng)用實踐》主題分享，圍繞游戲Copi lot在《永劫無間》手游中的具體應(yīng)用實踐，Joysy介紹了AOP框架如何助力游戲智能化，展示了如何通過AI技術(shù)提升玩家體驗并優(yōu)化游戲性能。

以下為演講實錄:

大家下午好，我是來自網(wǎng)易伏羲的Joysy，很高興能夠在此與大家分享和交流。今天我分享的主題是《AOP框架在手游Copi lot的應(yīng)用實踐》。

PART1:AOP框架緣起

首先，我想簡單介紹一下網(wǎng)易伏羲。網(wǎng)易伏羲成立于2017年9月，是網(wǎng)易旗下的人工智能研究機構(gòu)。自成立以來，我們一直致力于利用前沿人工智能技術(shù)釋放勞動者的生產(chǎn)力，探索人機協(xié)作的全新時代。

我們堅信，未來人類與AI的關(guān)系應(yīng)當是協(xié)作而不是替代。在“人機協(xié)作，萬物有靈”的愿景下，網(wǎng)易伏羲正在探索如何將AI技術(shù)應(yīng)用于更多實體產(chǎn)業(yè)，通過創(chuàng)新性研發(fā)AOP框架（Agent-Oriented-Programming，面向智能體編程），構(gòu)建了可以直接面向智能體發(fā)布和運營各種任務(wù)的網(wǎng)易伏羲有靈AOP平臺，希望能夠借此實現(xiàn)“讓每一個人都可以從事自由有趣的工作”的使命愿景。

作為中國首 個游戲人工智能實驗室，網(wǎng)易伏羲在游戲AI領(lǐng)域取得了諸多創(chuàng)新性的成就。我們率先在行業(yè)內(nèi)實現(xiàn)了AI照片捏臉功能，首創(chuàng)了智能養(yǎng)育系統(tǒng)、AI故事接龍玩法、文字捏臉等前沿玩法，并接連研發(fā)出了AI游戲劇情動畫、AI游戲匹配、AI反外掛等一系列創(chuàng)新應(yīng)用，助力《逆水寒》手游實現(xiàn)了文字捏臉、智能NPC、劇組模式等突破性的AI應(yīng)用?？梢哉f，網(wǎng)易伏羲通過不斷的實踐創(chuàng)新，持續(xù)引領(lǐng)著游戲AI的發(fā)展方向，并進一步豐富了玩家的游戲體驗。近期，網(wǎng)易伏羲有靈AOP平臺更是助力《永劫無間》手游打造了全球首創(chuàng)的游戲Copi lot AI隊友，一經(jīng)上線便受到了廣泛好評。

PART2:游戲Copi lot應(yīng)用實踐

接下來，我將詳細介紹我們在《永劫無間》手游中實現(xiàn)的Copi lot隊友。

在游戲以往的人機設(shè)計中，機器人是比較呆板的，基本上是按照設(shè)定的目標或者自己的思路去打，不太會和玩家進行交流互動。另外，一些“社恐”的玩家不希望與真人開麥語音，但仍有社交和多人對戰(zhàn)的訴求;再者，玩家在玩游戲時經(jīng)常會匹配到一些坑爹的隊友，比如隊友比較菜或者戰(zhàn)斗中不能很好地配合，導(dǎo)致整場對局打得比較郁悶，甚至有想摔手機的沖動。在這些情況下，玩家可能會去一些陪玩平臺找一個能陪自己聊天同時技術(shù)又很牛逼的陪玩，去滿足玩家的情緒價值。

為了滿足這些需求，網(wǎng)易伏羲助力《永劫無間》手游推出了全球首創(chuàng)的游戲Copi lot——多模態(tài)實時交互的語音AI隊友，它能在戰(zhàn)斗中自主跑圖、戰(zhàn)斗、聽指令、報戰(zhàn)況，還能和玩家進行自由對話，給玩家?guī)順O 高的情緒價值，對于新手玩家，語音AI隊友還能進行教學(xué)引導(dǎo)。

這里有幾段視頻展示了AI隊友在游戲中的實際表現(xiàn)。正如大家所見，AI隊友不僅能指揮戰(zhàn)斗、跑圖、搜物資、匯報戰(zhàn)況，還能與玩家自由交流，給予玩家較高的情緒價值。

為了實現(xiàn)這樣的效果，我們?yōu)锳I隊友設(shè)計了豐富的人設(shè)選項，例如彩虹皮萌妹、溫柔體貼御姐以及溫暖深情暖男等。這些具有鮮明個性的AI隊友不僅能夠與玩家建立復(fù)雜的互動關(guān)系，還能根據(jù)不同的游戲情境展現(xiàn)出獨特的性格特點，進一步增強游戲的沉浸感和互動體驗。

以Agent教學(xué)問答功能為例，我們構(gòu)建了一個強大的知識庫，包含了游戲靜態(tài)知識（如規(guī)則、機制）和動態(tài)知識(如賽事信息)。當玩家提出問題時，AI會先通過Embedding模型將問題轉(zhuǎn)化為向量，接著在知識向量化庫中進行搜索，找到最匹配的答案。如果答案不明確，則會借助RAG和LLM等高 級模型進行深度檢索和推理，最終給出準確的回答。

那么，我們是怎么實現(xiàn)多智能體協(xié)同的呢?為了實現(xiàn)這一目標，我們在多智能體的設(shè)計上借鑒了人類大腦的運作機制。就像大腦中不同區(qū)域各自負責視覺、味覺、觸覺、行走和平衡等功能一樣，我們?yōu)槊總€智能體賦予了明確的職責，并確保它們能夠有效協(xié)作。這種設(shè)計理念不僅提高了系統(tǒng)的整體效能，還使得智能體之間的交互更加自然和流暢。

在這個場景中，Agent不僅能夠感知游戲戰(zhàn)場環(huán)境的狀態(tài)變化，還能通過移動端硬件傳感器接收并理解玩家的語音指令。在接收到這些狀態(tài)信息之后，Agent會利用自身的認知與決策能力，結(jié)合游戲領(lǐng)域相關(guān)知識庫和戰(zhàn)斗記憶，對環(huán)境狀態(tài)和語音輸入做出合理的行動決策動作以及相應(yīng)的語音反饋。

在實現(xiàn)AI隊友的過程中，我們首先需要解決的問題就是讓Agent能夠聽得懂玩家所說的內(nèi)容，確保AI能夠準確捕捉并理解玩家的意圖。為此，我們采用了無需喚醒的全開麥實時語音交流模式。這種模式雖然極大地提升了用戶體驗，但也帶來了一些挑戰(zhàn)，比如環(huán)境噪音、不同移動設(shè)備的兼容性、玩家的方言差異以及專業(yè)術(shù)語等問題。

為了解決這些問題，我們基于AOP框架的核心能力構(gòu)建了一個自主數(shù)據(jù)閉環(huán)訓(xùn)練模型，使Agent具備自主進化的能力，包括構(gòu)建標準測試集以及有效利用測試及線上數(shù)據(jù)不斷擴充數(shù)據(jù)集，從而推動模型迭代。

PART3:AOP框架核心能力

最后，我想和大家一起聊聊AOP框架的核心能力。在介紹AOP框架核心能力之前，我們需要先明確AOP的概念。AOP（Agent-Oriented-Programming，面向智能體編程） 是網(wǎng)易伏羲設(shè)計的一套全新的編程范式，接近自然語言編程、快捷定義任務(wù)，其核心價值在于為開發(fā)者對接智能體(擁有AI和人的能力)提供了統(tǒng)一范式的接口和服務(wù)，并自動構(gòu)建數(shù)據(jù)閉環(huán)讓智能體具備自主進化能力。開發(fā)者可通過 AOP 使用伏羲有靈機器人平臺預(yù)置的公共智能體能力(包括 ChatGPT、Midjourney 等預(yù)訓(xùn)練模型，以及數(shù)據(jù)標注、美術(shù)制作、工程機械操控等眾包能力)，也可針對行業(yè)細分場景定制化構(gòu)建智能體應(yīng)用。

AOP的設(shè)計思想，是基于馬爾可夫決策過程（Markov Decision Processes，MDP）的定義來進行任務(wù)建模，即Agent(智能體，包括人類或機器)在進行某個任務(wù)時，首先會和環(huán)境進行交互，產(chǎn)生新的狀態(tài)(State)，同時環(huán)境會給予相應(yīng)的獎勵(Reward)，這一過程循環(huán)往復(fù)，Agent與環(huán)境之間的交互產(chǎn)生了大量的數(shù)據(jù)。Agent利用這些新數(shù)據(jù)不斷調(diào)整自身的行為策略。經(jīng)過多次迭代后，Agent便能夠?qū)W習(xí)到完成特定任務(wù)所需的最 佳動作策略。

那么，AOP框架在《永劫無間》手游Copi lot的應(yīng)用具體是什么樣的呢?基于網(wǎng)易伏羲有靈AOP平臺所打造的多模態(tài)實時交互的語音AI隊友Agent，可以集成語音識別、語義理解、人設(shè)對話大模型、語音生成、強化學(xué)習(xí)、模仿學(xué)習(xí)等多項智能體能力。

基于Agent的記憶能力，AI隊友與玩家可以實現(xiàn)超越單場對局的情感社交，以及跨越多類型游戲角色的社交關(guān)系。同時，在戰(zhàn)斗中語音AI隊友能實時感知戰(zhàn)場環(huán)境的狀態(tài)變化，做出合理擬人化的行為決策，真正是一個“能感知”、“會表達”和“懂執(zhí)行”的靠譜AI隊友。

有靈AOP平臺在打造語音AI隊友Agent的過程中，除了大幅提升研發(fā)效能以外，還能借助人類智能體輕松實現(xiàn)數(shù)據(jù)閉環(huán)，充分利用研發(fā)以及日常測試進程中的數(shù)據(jù)進行閉環(huán)訓(xùn)練，自動更新模型。為實現(xiàn)玩家與AI隊友的絲滑語音交互，我們使用有靈AOP平臺的模型量化、推理加速、邏輯優(yōu)化等多項工程技術(shù)，將端到端交互響應(yīng)時間控制在800ms以內(nèi)，相比行業(yè)語音大模型的單模型推理速度有顯著優(yōu)勢。

目前，網(wǎng)易伏羲AOP框架已成功應(yīng)用于多個案例之中。例如，基于網(wǎng)易伏羲AOP人機協(xié)作的數(shù)據(jù)閉環(huán)提升文字捏臉效果，我們在《逆水寒》手游中首創(chuàng)文字捏臉，并在《永劫無間》手游中進一步發(fā)展，首創(chuàng)交互式捏臉玩法;基于AOP人機協(xié)作的數(shù)據(jù)閉環(huán)提升AI繪畫效果，成功為《永劫無間》打造“AI智繪·時裝共創(chuàng)”玩法;此外，AOP框架在人設(shè)對話RLHF方面也取得了顯著成果，通過網(wǎng)易伏羲有靈眾包平臺，我們有效提升了對話系統(tǒng)的質(zhì)量。在這個過程中，我們使用了實時對話、對比和修改創(chuàng)作等方法，對AI的對話表現(xiàn)進行了優(yōu)化。這種人機協(xié)作的方式，使我們的AI角色能夠更自然、更貼近真實地與玩家進行互動，創(chuàng)造出更具吸引力的游戲體驗。

最后，我想與大家分享下網(wǎng)易伏羲的最 新動態(tài):網(wǎng)易伏羲AOP SDK即將邁入首 次內(nèi)測階段。在此，我們衷心邀請所有對此技術(shù)充滿興趣的朋友們掃碼參與，也歡迎全球范圍內(nèi)的開發(fā)者和合作伙伴加入我們，共同探索智能體技術(shù)的新邊界。我們相信，網(wǎng)易伏羲AOP SDK將成為開發(fā)者的強大助手，幫助大家簡化復(fù)雜功能的實現(xiàn)過程，打造更加智能、更具響應(yīng)性的游戲世界，為玩家?guī)肀容^罕見的沉浸感和互動體驗。

展望未來，我們期待這項技術(shù)能夠在更廣闊的領(lǐng)域內(nèi)激發(fā)創(chuàng)新，觸及更多行業(yè)、影響更廣泛的領(lǐng)域。網(wǎng)易伏羲也將繼續(xù)秉承“人機協(xié)作，萬物有靈，讓每一個人都可以從事自由有趣的工作”的愿景，攜手合作伙伴，共同推動構(gòu)建一個智能化、互聯(lián)互通的世界，加速AI技術(shù)與實體產(chǎn)業(yè)深度融合，為未來社會的數(shù)字化轉(zhuǎn)型貢獻力量。

（推廣）