從大資料到大 AI：LLM 整合將 Cloudera 資料湖帶入新境界

Cloudera 宣布推出 LLMs 戰略與工具，以整合大 AI

Cloudera 是一家大資料企業，憑藉大資料時代開始商業化。如今 Cloudera 已快速進入大 AI 時代，並推出了幫助企業整合 LLMs 和生成式 AI 的策略和工具，以驅動其 Cloudera Data Platform (CDP)。此外 Cloudera 還宣布了其可觀察性平臺的一般可用性，幫助組織監控在 CDP 上執行的資料工作負載。

Cloudera 如何為其資料湖引入 LLMs

Cloudera 沒有打算自己開發 LLMs，而是讓企業更容易地使用擁有資料湖儲存的資料，以獲得對資料的深度洞見。Cloudera 的平臺提供了一個開放的資料湖模型，可讓組織在資料湖儲存上執行資料分析操作。透過 LLMs 的整合，Cloudera 正在使企業能夠直接與 Hugging Face 的開源 LLMs 以及開源向量資料庫進行整合，以構建 AI 應用程式。透過使用這種機器學習技術，企業可以快速從現有的資料源中受益。

LLMs 是從大資料到大 AI 的合理發展道路

Cloudera 於 2008 年創立的時候，以開源專案 Hadoop 為基礎的大資料技術，是該公司的基礎。多年來，大資料市場轉向資料湖模型空間，組織用基於 SQL 的查詢引擎進行資料分析，以分析雲端物件儲存庫中儲存的資料。Cloudera 的 CTO Venkatesh 看到 LLMs 作為從大資料的合理發展道路上，邏輯上的下一步。他說：“使用 LLMs 可以使組織在資料分析的極限上獲得更多的資料量，並且使用英語或自然語言查詢代替 SQL 或 Spark 查詢，每次只需將資料注入一次，就可以多次從嵌入輸出中獲取資料，從而提高資料挖掘效率。”

大資料與大 AI 發展所需要的開源資料技術

資料湖技術依賴於資料物件儲存，經常是組織儲存非結構化和半結構化資料的最佳方法。為了使用人工智慧技術，需要使用向量資料庫組織資料。 Cloudera 正在為其 LLM 倉儲框架引入開源向量資料庫，使企業選擇哪個開源向量資料庫更加自由。儘管建立向量資料庫，但並不意味著企業正在複制雙倍資料，而是提供了資料的向量化嵌入功能的索引。

總結

綜上所述，Cloudera 的平臺可幫助企業更輕鬆地整合 LLMs 並將其應用到資料湖程式中。透過使用向量資料庫組織資料，企業可以更輕鬆地建立查詢 AI 模型。總之開源技術在 AI 企業的基礎建設中起著至關重要的作用，並透過這種技術的應用，我們可以期待 AI 企業的發展和提高效率。

Data Science-Cloudera,大資料,大 AI,整合,LLM,資料湖.

延伸閱讀

• Meta 將 Llama 3 智慧聊天機器人整合到其應用程式的搜尋欄位
• Meta 宣布其 Llama 3 開源 LLM 將在下個月推出
• 前 Nextdoor 執行長籌集 2500 萬美元支援 PipeDreams：一家整合暖通空調公司的新創公司
• 阿裏巴巴員工透露中國建立 LLM 的生活點滴
• Google 推出兩款新的開放 LLM
• 微軟 CEO 納德拉談 AI LLM 競爭：「我們正在等待競爭對手到來」
• 5 個步驟確保新創公司成功部署 LLM
• 微軟 Copilot 整合 Suno，增加音樂創作功能
• Meta 開始測試 Threads 與 ActivityPub 的整合
• Tumblr 執行者兼 Automattic CEO Matt Mullenweg 表示仍在努力整合「fediverse」