近日，信也科技推出第 一代LLM（大語言模型）應(yīng)用開發(fā)框架E-LADF（Easy build - Large language model Application Development Framework），使更多開發(fā)者能夠參與到基于LLM的應(yīng)用程序開發(fā)中來，從而推動(dòng)LLM在各領(lǐng)域的應(yīng)用和發(fā)展，讓科技界進(jìn)入LLM應(yīng)用時(shí)代。

E-LADF以類ChatGPT大模型引擎、向量數(shù)據(jù)庫等基礎(chǔ)組件為底座，旨在提供一系列功能接口，幫助開發(fā)者方便、快速地構(gòu)建和部署基于LLM的應(yīng)用程序，大大簡化了開發(fā)流程，減少了開發(fā)者需要處理的復(fù)雜性和耗時(shí)性任務(wù)。

基于E-LADF構(gòu)建上層應(yīng)用

四大核心接口 助力大模型應(yīng)用開發(fā)

目前，E-LADF包含四大核心接口功能：本地知識(shí)庫管理、通用場景流式對話、基于本地知識(shí)庫的問答和長文本實(shí)體抽取與摘要。此外，它在大模型支持方面也具有出色的靈活性和可擴(kuò)展性，不僅適配并支持云服務(wù)商的LLM服務(wù)接口，還提供本地化部署方案。

1.本地知識(shí)庫管理

通過向量數(shù)據(jù)庫做私有知識(shí)庫管理是E-LADF的一個(gè)重要特性。私有知識(shí)庫是指開發(fā)者可以自定義和管理的一組垂直領(lǐng)域的知識(shí)和信息，用于提升大模型應(yīng)用程序的個(gè)性化和定制化能力。

E-LADF框架集成了向量數(shù)據(jù)庫、各類結(jié)構(gòu)化及非結(jié)構(gòu)化數(shù)據(jù)解析等相關(guān)技術(shù)，通過將私有知識(shí)庫中的文本數(shù)據(jù)（如.pdf、.docx、.html等）轉(zhuǎn)化為向量表示并存儲(chǔ)在向量數(shù)據(jù)庫中，開發(fā)者可以有效、靈活地管理和利用領(lǐng)域知識(shí)，并根據(jù)文本的相似性進(jìn)行快速查詢與輸入與文本高度相關(guān)的知識(shí)和信息，將其與大模型應(yīng)用結(jié)合起來，開發(fā)更加個(gè)性化和定制化的應(yīng)用程序。

構(gòu)建本地知識(shí)庫流程

2.通用場景流式對話

通用的流式對話接口旨在為開發(fā)者提供通用的對話功能，其重點(diǎn)在于通用性和流式輸出，可以用于多種普適的應(yīng)用場景，包括聊天機(jī)器人、語音助手、智能客服等。開發(fā)者可以使用該接口與LLM模型進(jìn)行動(dòng)態(tài)的對話交流，不斷發(fā)送消息并接收模型的回復(fù)，實(shí)現(xiàn)連續(xù)的對話流程。同時(shí)，后臺(tái)還提供了上下文管理功能，實(shí)時(shí)記錄先前的對話歷史，使模型能夠理解上下文，生成連貫和一致的回復(fù)。

3.基于本地知識(shí)庫的問答

基于本地知識(shí)庫的問答接口允許開發(fā)者利用大語言模型和向量數(shù)據(jù)庫檢索（與私有知識(shí)庫管理結(jié)合使用）進(jìn)行知識(shí)的提取和問答。該接口的設(shè)計(jì)旨在幫助開發(fā)者構(gòu)建強(qiáng)大的垂直領(lǐng)域知識(shí)問答系統(tǒng)，能夠根據(jù)用戶提供的問題從文檔集合中準(zhǔn)確地獲取答案。

基于本地知識(shí)庫的問答

4.長文本實(shí)體抽取與摘要

通過調(diào)用實(shí)體抽取接口，開發(fā)者可以將長文本和待抽取實(shí)體類型作為輸入，接受到一個(gè)結(jié)構(gòu)化的輸出，該接口可廣泛用于信息抽取、摘要、知識(shí)圖譜構(gòu)建、文本分析和語義理解等領(lǐng)域。在后臺(tái)實(shí)現(xiàn)中，當(dāng)接收到用戶輸入的文本和待抽取實(shí)體類型時(shí)，服務(wù)端首先對輸入進(jìn)行解析并組織成有效的prompts（提示語），然后將其輸入到LLM模型中。接著，對LLM的輸出進(jìn)行解析，以獲取用戶所需的格式化結(jié)果。

多樣可選的GPT模型 滿足更高精度需求

E-LADF不僅支持適配OpenAI的ChatGPT服務(wù)接口，還提供了本地化方式部署LLM的功能。這一特性使得用戶在使用E-LADF的過程中，可以擺脫對云服務(wù)提供商的依賴，從而擁有更高的數(shù)據(jù)隱私和安全性，并且更好地掌控計(jì)算資源的使用。

目前，E-LADF已經(jīng)成功集成并支持了幾個(gè)性能僅次于ChatGPT在英文和中文上表現(xiàn)優(yōu) 秀的本地LLM模型，包括ChatGLM、Vicuna系列模型。用戶甚至可以基于這些模型進(jìn)行微調(diào)，以滿足特定應(yīng)用場景更高精度的需求。隨著大模型技術(shù)的不斷發(fā)展，E-LADF有著廣闊的發(fā)展前景。

未來，我們將不斷改進(jìn)和創(chuàng)新，并在以下幾方面提升E-LADF的功能和性能：

支持更多的大語言模型，使開發(fā)者能夠根據(jù)需求選擇最適合的模型；

加強(qiáng)框架的可擴(kuò)展性和定制化能力，滿足開發(fā)者在不同場景下的使用需求；

優(yōu)化框架的性能和效率，采用并行計(jì)算、硬件加速和優(yōu)化算法等技術(shù)手段，滿足開發(fā)者有效運(yùn)行和處理大規(guī)模數(shù)據(jù)的需求；

提供更多的應(yīng)用示例和案例，涵蓋自動(dòng)問答系統(tǒng)、摘要生成、智能客服和對話系統(tǒng)、金融智能分析與預(yù)測等各個(gè)領(lǐng)域，幫助開發(fā)者更好地理解和使用框架，從而為開發(fā)者提供實(shí)踐指導(dǎo)和靈感。

總的來說，大模型應(yīng)用框架在推動(dòng)大模型技術(shù)的應(yīng)用和發(fā)展方面起著重要的作用。通過不斷創(chuàng)新和改進(jìn)，E-LADF將進(jìn)一步提高開發(fā)者的開發(fā)效率，降低開發(fā)門檻，并推動(dòng)大模型技術(shù)在各個(gè)領(lǐng)域的廣泛應(yīng)用。我們期待著E-LADF在未來的發(fā)展中，為開發(fā)者提供更多的可能性和機(jī)會(huì)，助力他們構(gòu)建出更加智能和有效的大模型應(yīng)用。

（推廣）