ElasticDoc ChatGPT 流程利用 Python 界面接受用戶問題并為 Elasticsearch 生成混合搜索請求，結合 BM25 和 kNN 搜索方法從 Elastic的官方文檔中查找最相關的文檔，這些文檔現已在 Elasticsearch 中編制索引。但是，您不必使用混合搜索甚至向量搜索。Elasticsearch 可以靈活地使用最適合您需求的搜索模式，并為您的特定數據集提供最相關的結果。

在檢索到最佳結果后，該程序會為 OpenAI 的 ChatCompletion API 制作Prompt，指示它僅使用所選文檔中的信息來回答用戶的問題。此提示是確保 ChatGPT 模型僅使用官方文檔中的信息、這是減少ChatGPT產生幻覺的關鍵。

最后，該程序向用戶展示 API 生成的響應和源文檔的鏈接，提供無縫且用戶友好的體驗，集成了前端交互、Elasticsearch 查詢和 OpenAI API 使用以實現高效的問答。

請注意，雖然為簡單起見我們只返回得分最高的文檔，但最佳做法是返回多個文檔以為 ChatGPT 提供更多上下文?？梢栽诓恢挂粋€文檔頁面中找到正確的答案，或者如果我們要為完整的正文文本生成向量，那么這些較大的文本正文可能需要分塊并存儲在多個 Elasticsearch 文檔中。通過利用 Elasticsearch 與傳統搜索方法協同搜索大量矢量字段的能力，您可以顯著提高您的頂級文檔召回率。

技術設置

技術要求相當低，但需要一些步驟才能將所有部分組合在一起。對于此示例，我們將配置Elasticsearch 網絡爬蟲以攝取 Elastic 文檔并在攝取時為title生成向量。您可以跟隨本文并復制此設置，或使用自己的數據。為了跟隨本文，我們需要：

Elastic Cloud設置

本節(jié)中的步驟假設您當前沒有在 Elastic Cloud 中運行的 Elasticsearch 集群。如果你已經有一個 Elastic Cloud

的集群，可以跳到下一部分。

注冊

如果您還沒有 Elasticsearch 集群，您可以通過Elastic Cloud注冊免費試用。

創(chuàng)建部署

注冊后，系統會提示您創(chuàng)建第一個部署。

回到云端

在繼續(xù)之前，我們需要在 Cloud Console 中做幾件事：

單擊左上角的導航圖標并選擇管理此部署。

添加機器學習節(jié)點。

重置 Elasticsearch 部署用戶和密碼：

復制 Elasticsearch 部署云 ID。

Eland

接下來，我們需要將embedding模型加載到 Elasticsearch 中，用于為我們的博客title生成向量，以及為用戶的搜索問題生成向量。我們將使用由 SentenceTransformers 訓練并托管在 Hugging Face 模型中心上的all-distilroberta-v1模型。在此示例中，我們之所以選擇這個模式，是因為它是在涵蓋廣泛主題的非常大的數據集上訓練的，適合一般用途。但是，我們并非一定要選擇這個模型，對于向量搜索用例，使用針對您的特定數據集進行微調的模型通常會提供最佳相關性。

為此，我們將使用Elastic 創(chuàng)建的Eland python 庫。該庫提供了廣泛的數據科學功能，但我們將使用它作為橋梁，將模型從 Hugging Face 模型中心加載到 Elasticsearch，以便它可以部署在機器學習節(jié)點上以供推理使用。

Eland 可以作為 python 腳本的一部分運行，也可以在命令行上運行。該存儲庫還為希望走這條路的用戶提供了一個 Docker 容器。今天我們將在一個小型 python notebook中運行 Eland ，它可以在網絡瀏覽器中免費運行在谷歌的 Colab 中。

打開程序鏈接并單擊頂部的“在 Colab 中打開”按鈕以在 Colab 中啟動筆記本。

將變量 hf_model_id 設置為模型名稱。此模型已在示例代碼中設置，但如果您想使用不同的模型可自行修改：

運行 cloud auth 部分，系統會提示您輸入：

運行剩余的步驟：

Elasticsearch 索引和網絡爬蟲

接下來我們將創(chuàng)建一個新的 Elasticsearch 索引來存儲我們的 Elastic 文檔，將網絡爬蟲配置為自動抓取這些文檔并為其編制索引，并使用攝取管道為文檔title生成向量。

請注意，您可以在此步驟中使用您的專有數據，以創(chuàng)建適合您的領域的問答體驗。

更新 dense_vector 字段的映射。（注意：對于 Elasticsearch 8.8+ 版本，此步驟應該是自動的。）

POST search-elastic-docs/_mapping{  "properties": {    "title-vector": {      "type": "dense_vector",      "dims": 768,      "index": true,      "similarity": "dot_product"    }  }}了解詳情

{  "acknowledged": true}

配置網絡爬蟲以爬取 Elastic官方文檔：

Elasticsearch 的網絡爬蟲現在將開始爬取文檔站點，為title字段生成向量，并對文檔和向量建立索引。

第一次爬網需要一些時間才能完成。同時，我們可以設置 OpenAI API 憑證和 Python 后端。

與 OpenAI API 連接

要向 ChatGPT 發(fā)送文檔和問題，我們需要一個 OpenAI API 帳戶和密鑰。如果您還沒有帳戶，可以創(chuàng)建一個免費帳戶，您將獲得初始數量的免費積分。

創(chuàng)建帳戶后，您需要創(chuàng)建一個 API 密鑰：

Python 后端設置

克隆或下載python程序

Github 代碼鏈接

2.設置身份驗證和連接環(huán)境變量（例如，如果在命令行上運行：export openai_api=”123456abcdefg789”）

3.運行streamlit程序。有關 streamlit 的更多信息可以在其文檔中找到。

聊天響應的示例

一切都已攝取且前端啟動并運行后，您可以開始詢問有關 Elastic 官方文檔的問題。

詢問“Show me the API call for an inference processor”現在會返回一個 API 調用的例子和有關配置設置的信息。

詢問將新集成添加到 Elastic Agent 的步驟：

如前所述，允許 ChatGPT 僅根據訓練過的數據回答問題的風險之一是它容易產生錯誤答案的幻覺。該項目的目標之一是為 ChatGPT 提供包含正確信息的數據，并讓它制定答案。

那么當我們給 ChatGPT 一個不包含正確信息的文檔時會發(fā)生什么？比方說，請它告訴您如何造船（Elastic 的官方文檔不包含此內容）：

當 ChatGPT 無法在我們提供的文檔中找到問題的答案時，它會退回到我們的提示指令，簡單地告訴用戶它無法回答問題。

Elasticsearch 的強大檢索 + ChatGPT 的強大功能

在這個例子中，我們展示了如何將Elasticsearch強大的搜索檢索功能與GPT模型生成的最新進展的AI響應集成，從而將用戶體驗提升到一個全新的水平。

這些組件可以根據您的具體要求進行定制，并進行調整以提供最佳結果。雖然我們使用了Elastic網絡爬蟲來攝取公共數據，但您并不局限于此方法。你隨意嘗試其他embedding模型，尤其是那些針對特定領域數據進行微調的模型。

您今天可以嘗試本博客中討論的所有功能！要構建您自己的 ElasticDocs GPT 體驗，請注冊一個Elastic 試用帳戶，然后查看此示例代碼庫以開始使用。

如果您想了解更多Elasticsearch在搜索相關性上的新可能，可以嘗試以下兩個：