Databricks 推出 LakehouseIQ 和 Lakehouse AI：將生成式人工智慧融入資料湖
Databricks 在年度會議上宣布推出 LakehouseIQ 和 Lakehouse AI，旨在為客戶建立和管理資料湖上的自身生成式人工智慧模型。
隨著對生成式人工智慧需求的不斷增長，資料湖公司 Databricks 正竭盡所能將這項技術置於其核心位置。在其年度會議上，這家資料和人工智慧公司宣布推出 LakehouseIQ，一款旨在民主化資料洞察的生成式人工智慧工具。Databricks 還宣布推出了新的 Lakehouse AI 創新專案，旨在讓客戶更容易在資料湖上建立和管理自己的生成式人工智慧模型。此舉是繼該公司以 13 億美元收購 MosaicML 之後的一個舉措，同時也是在 Snowflake——Databricks 的主要競爭對手——繼續推動其自身的生成式人工智慧之際。
LakehouseIQ: 一個用於查詢資料的生成式人工智慧知識引擎
大多數企業使用者今天都希望分析資料，但技術專業知識的不足卻成為制約。對於每一個分析需求，他們必須求助於資料科學家和程式員，這樣才能找到並查詢相關的資料集，這需要時間，也增加了已經超負荷工作的團隊的工作量。
Databricks 透過新增 LakehouseIQ 解決了這個問題，它提供了一個生成式人工智慧的“知識引擎”，允許組織中的任何人只需用平常用語提問，即可搜尋、理解和查詢內部企業資料。不需要 Python、SQL 或資料查詢技能。該解決方案利用方案、檔案、查詢、熱度和血統等元素，學習企業的獨特語言（從內部行話和資料使用模式），並能夠立即回答使用者的查詢。這種理解水平使得解決方案能夠更準確地解釋問題的意圖，甚至生成額外的洞察供使用。此外由於它與 Unity Catalog（Databricks 的統一搜尋和管理解決方案）完全整合，內部安全和管理規則始終遵守。
“LakehouseIQ 解決了企業在使用人工智慧時面臨的兩個最大挑戰：為員工提供正確的資料，同時保持合規性，並在有必要時保留資料的私密性。它減輕了時間緊迫的工程師的負擔，簡化資料管理的負擔，並使員工能夠充分利用人工智慧革命，而不會危及公司的專有訊息。”Databricks 的聯合創始人兼執行長 Ali Ghodsi 表示。
值得注意的是，Dremio 和 Kinetica 也在探索類似的對話式資料查詢能力。而 Snowflake 本身則收購了 Neeva，預計提升其向使用其平臺儲存、分析和共享資料的企業提供智慧和對話式搜尋體驗的能力。這家資料雲公司還推出了 Document AI，一個用於從非結構化檔案中提取洞察的對話工具。
Lakehouse AI 的新工具
雖然 LakehouseIQ 將生成式人工智慧應用於 Databricks 的平臺上，但 Lakehouse AI 則幫助企業在該平臺上建立自己的生成式人工智慧解決方案。該數位工具箱現在正在擴充套件以涵蓋整個人工智慧生命周期，從資料收集和準備到模型開發和 LLMOps（生成式人工智慧模型操作）到服務和監控。Databricks 表示它正在擴充套件 Lakehouse AI，以提供向量嵌入搜尋，以改善生成式人工智慧的回應；在市場上提供一個精心挑選的開源模型集合（包括 MosaicML 的 MPT-7B）；LLM 最佳化的模型服務；具有 AI 閘道和提示工具等功能的 MLflow 2.5；以及提供端到端可見性的湖監控，以理解推動人工智慧努力的資料管道。
“對於組織來說我們已經到達了轉折點：利用人工智慧不再是一個渴望，而是必須的，以保持競爭力。Databricks 十多年來一直致力於使資料和人工智慧民主化，我們將繼續創新，使湖泊成為建立、擁有和保護生成式人工智慧模型的最佳地點。”Ghodsi 補充道。
在會議上，Databricks 還推出了相容 Apache Iceberg 和 Hudi 的 Delta Lake 3.0 以及使組織能夠建立高度可擴充套件和高效能的資料網格架構的聯邦功能。Databricks 的資料和人工智慧峰會將於 6 月 26 日至 29 日在舊金山舉行。
延伸閱讀
- 亞馬遜推出 Bedrock Studio：簡化生成式人工智慧應用開發
- 本週人工智慧大事記：生成式人工智慧與創作者補償的問題
- Dropbox、Figma CEO 支援 Lamini：新創公司打造企業專用生成式人工智慧平臺
- 亞馬遜計劃託管企業定製的生成式人工智慧模型
- Google 雲端大會：Google 全力開發生成式人工智慧
- Google 將生成式人工智慧技術注入其雲安全工具
- Fireworks.ai 開源 API 讓生成式人工智慧適用於任何開發者
- Brain.ai：生成式人工智慧系統統一作業系統
- 聚焦 SambaNova：現在提供一攬子生成式人工智慧模型
- 歐盟計劃升級超級電腦以支援生成式人工智慧初創企業
