Elasticsearch 推出相關性引擎，加速 AI 轉型
Elastic 透過推出 Elasticsearch 相關性引擎（ESRE）進一步擴充套件企業搜尋技術的功能，該引擎整合了人工智慧（AI）和向量搜尋技術，提高了搜尋的相關性並支援生成式 AI 專案。自 2012 年以來，Elasticsearch 作為企業 Elasticsearch 技術的基礎元件，一直在構建開源 Apache Lucene 的資料索引和搜尋專案。今年 2 月，該公司推出了對向量嵌入的支援預覽版，使 Elasticsearch 技術能夠像向量資料庫一樣發揮作用，這是 AI 領域的關鍵部分。ESRE 現在擁有更廣泛的向量支援，Elastic 還將其自己的轉換器神經網路模型整合到 ESRE 中，以幫助提供更好的語義搜尋結果。此外 ESRE 還使企業能夠帶來自己的轉換器模型，例如 OpenAI 的 GPT-4，在 Elasticsearch 內容中獲得生成式 AI 的好處。
引擎功能
ESRE 整合了多種搜尋技術，以提供更具相關性和定制化的搜尋結果，還可以支援嵌入式 AI 應用，實現相似搜尋、生成式搜尋等多種用例。ESRE 引擎功能如下：
- 向量搜尋： 使用向量搜尋技術，透過將內容進行數位表示並使用近似最近鄰（ANN）等方法，決定相關性，以對使用 BM25f 以及向量搜尋的搜尋進行排名。
- ESRE 引擎： 將不同的搜尋技術結合起來提供全面的搜尋引擎，包括 BM25f、向量搜尋、轉換器模型等。
- 轉換器模型： 使用 Elastic 開發的轉換器模型，採用疏密編碼（Late encoding model）技術，可以幫助企業從搜尋查詢中獲得非常精確的結果。
- 生成式 AI 操作： ESRE 引擎支援企業應用 OpenAI 的 GPT-4 LLM 模型進行生成式 AI 專案的搜尋，也支援企業使用開源的 LLMs 進行文字摘要、情感分析和問答等操作。
Elasticsearch 的搜尋進化是“轉型”的
過去十年間，Elasticsearch 依靠 BM25f 最佳匹配演算法來幫助對檔案進行排序並為搜尋查詢提供相關結果。ESRE 引擎的引入使企業現在可以使用 BM25f 和向量進行搜尋。使用向量搜尋可以提高準確性，但企業需要更多的方法以達到更好的文字搜尋結果。因此 Elastic 發展了一種新的轉換器模型，可以幫助企業獲得精確的輸出。
Elastic 的企業搜尋總經理 Matt Riley 表示 Elastic 的目標是為客戶提供在 Elasticsearch 中將儲存的大量資料轉換為有用訊息的最佳方法，“無論是使用 BM25f 的文字搜尋還是向量搜尋，或者兩者的混合方法。”
帶上自己的 AI 模型
透過 ESRE 引擎，Elastic 開放 Elasticsearch，允許企業帶上自己的 AI 模型以更好地分析搜尋查詢的資料。ESRE 引擎支援 OpenAI 及其 GPT-4 LLM 的整合，讓企業可以在 Elasticsearch 內容中使用生成式 AI。此外企業還可以使用開源的 LLMs 來進行文字摘要、情感分析和問答等操作。
Riley 指出，讓企業連線到 OpenAI 和其他 LLMs 是透過在 Elasticsearch 中建立資料與模型之間的橋梁實現的，這些模型無法使用私有資料進行訓練。
結論與建議
Elasticsearch 的 ESRE 引擎讓企業搜尋具有更好的相關性並支援生成式 AI 操作，並且鼓勵企業可以帶上自己的 AI 模型進行更好的搜尋分析。然而隨著 AI 技術的快速發展和應用，也必須注意其帶來的倫理和社會問題。
在 AI 技術的進一步應用和發展過程中，企業應該與 AI 專業人士和政策制定者合作，共同制定可持續性、公平性和安全性的 AI 標準和法規。同時企業還需要管理 AI 模型的使用和資料隱私問題，並確保 AI 技術的利用符合倫理及社會責任的原則。
除了對 AI 技術的應用進行戰略思考之外，企業還應該注重資料質量的重要性，提升資料處理及分析的技能，確保 AI 模型的訓練資料準確、全面和可靠。
最後建議企業要建立健全的風險管理和監管機制，確保 AI 技術的應用符合其商業和操作目標，並盡可能做好風險管理及風險控制。
