站長之家（ChinaZ.com）9月27日 消息:DeepEval是一個用于對語言模型（LLM）應用進行評估和單元測試的框架。它提供了各種指標，可以測試語言模型應用生成的回復在相關性、一致性、無偏見性和無毒性等方面的表現(xiàn)。DeepEval使得機器學習工程師可以通過持續(xù)集成/持續(xù)交付(CI/CD)流程快速評估語言模型應用的性能。

項目地址:https://github.com/confident-ai/deepeval

DeepEval提供了Python友好的離線評估方法，確保你的流水線準備上線。它就像是流水線的“Pytest”，使得流水線的生產化和評估過程變得簡單明了，就像通過所有的測試一樣。

DeepEval的Web UI允許工程師分析和查看他們的評估結果。

DeepEval的特色功能包括:

- 測試回復的相關性、事實一致性、有毒性、偏見性等

- Web UI查看測試、實現(xiàn)、比較結果

- 通過合成問題-回答自動評估

安裝使用DeepEval非常簡單，只需要通過pip安裝:

```

pip install deepeval

```

然后按照快速入門文檔，你可以在1分鐘內上手使用。

對個別測試用例，定義只需要幾行代碼。例如:

```python

from deepeval.metrics.factual_consistency import FactualConsistencyMetric

from deepeval.test_case import LLMTestCase

from deepeval.run_test import assert_test

# 定義測試用例

test_case = LLMTestCase（

query="What is the capital of France?"，

expected_output="The capital of France is Paris."

）

# 定義使用的指標

metric = FactualConsistencyMetric（）

# 執(zhí)行測試

assert_test（test_case， metrics=[metric]）

```

這樣就可以構建一個簡單的測試，測試語言模型對問題"What is the capital of France?"的回復是否符合事實。

DeepEval內置了各種指標，也支持自定義指標。它可以非常方便地集成到現(xiàn)有的流水線和框架中，比如Langchain、LLAMA等。同時，DeepEval也提供了合成問題生成功能，可以快速針對特定領域評估語言模型。

總之，DeepEval目的是讓編寫、運行、自動化語言模型的測試變得如同編寫Python中的單元測試一樣簡單直觀。它很好地滿足了機器學習工程中對結構化反饋的需求，可以顯著提高工程師的迭代速度。

如果你在開發(fā)聊天機器人、語言模型應用，DeepEval絕對是一個提高工程效率的好幫手。

核心功能:

- 測試回復的相關性、一致性、無偏見性、無毒性

- 多個內置評估指標

- 支持自定義評估指標

- 一鍵集成到現(xiàn)有機器學習流水線

- 合成問題自動評估

- 提供Web UI分析和展示結果

- Python友好，編寫測試用例像寫單元測試

（舉報）