
Databricks 推出 Lakehouse Federation:建立資料網格的新功能
概述
資料科學的擴張性和速度一直是企業面臨的挑戰。Databricks 的最新釋出,Lakehouse Federation,可以幫助企業克服資料孤島問題,實現資料湖的統一管理與查詢。這個新功能提供了查詢聯盟、資料快取等核心特點,使使用者能夠將不同的資料來源聯絡起來並高效地查詢它們。
應對資料孤島的挑戰
企業通常面臨著由不同資料系統引起的孤島問題。例如,一家公司可能有一個支援應用程式的 PostgreSQL 資料庫,但分析師可能希望結合這個資料庫與資料倉庫中的歷史資料進行查詢。在過去要做到這點,公司往往需要在內部建立一個類似的系統,這往往既昂貴又複雜,而且往往失敗。
資料網格的優勢
Databricks 的 Lakehouse Federation 建立在 Apache Spark 之上,使用 Spark 開源生態系統中的多種存取器。這使得 Databricks 能夠建立一個像 Lakehouse Federation 這樣的產品,而無需重新構建核心整合工具。這種優勢使得 Lakehouse Federation 能夠更輕鬆地存取不同的資料源,並在 Databricks 內部以標準資料庫的形式進行查詢。
資料治理的重要性
如今資料治理在企業中變得越來越重要。Databricks 在 Lakehouse Federation 上也新增了資料治理功能,這使得企業能夠更輕鬆地管理不同平臺上的資料存取許可權。這符合微軟的 Purview 治理解決方案的策略。透過在各個平臺上一致應用規則並跟蹤資料使用情況,Databricks 幫助企業實現合規要求,同時推動業務發展。
結論
Databricks 的 Lakehouse Federation 為企業在創新和資料管理之間提供了一條平衡之路。透過解決資料孤島問題,Lakehouse Federation 可以提供一個統一的介面和管理平臺,讓企業更輕鬆地使用和管理所有資料。儘管 Databricks 希望企業盡量採用其平臺,但我們必須承認,由於資料平臺的轉移困難,企業可能依然會面臨挑戰。因此 Lakehouse Federation 的出現成為理解決方案,它能夠為企業提供便利並實現更好的資料治理。
(翻譯:小助手)
延伸閱讀
- 英國任命前亞馬遜高管為反壟斷監管機構主席,聯盟表達擔憂!
- 美國各州聯盟起訴!馬斯克的 DOGE 獲取美國人私密資料,引發隱私風波
- 「風險投資界立志拒絕俄羅斯和中國資金,Databricks 創歷史新高的融資金額!」
- Databricks 斥資 20 億美元收購 Tabular,引發業界關注!
- Databricks 擴充套件 Mosaic AI 以幫助企業使用 LLM 打造新格局
- Databricks 推出 LakeFlow 幫助客戶打造資料流水線
- 資料湖與資料倉庫共融:Databricks 併購 Tabular,打造共同資料湖標準
- 風險投資公司組成聯盟,標準化資料收集
- 大型科技公司組成新聯盟以消除人工智慧取代工作的恐懼
- 銘記與 IBM 攜手共建 AI 聯盟,究竟有何目的?