資料最佳化：提升效率、降低成本
引言
雲端公司的資料使用量不斷增加，這意味著他們能夠開發更具創新性的產品和體驗，從而為客戶帶來更多可能性。然而來自不同來源的龐大資料同時也帶來了一些挑戰。公司可能會在需要資料時找不到合適的資料，或是在找到資料後無法正確存取。此外從資料中獲取有價值的洞察力可能需要消耗大量的處理能力。雲端資料平臺往往根據使用量計費，因此效率低下可能導致不必要的花費增加。在資料儲存在本地時，管理這些效率低下的問題並不那麼困難，因為存在如有限的計算能力等約束，防止你過度消費。然而在雲端世界中，你可以無約束地按需擴充套件，這要求企業更加注重資料最佳化，以管理由於這種無限擴充套件能力導致的效率低下風險，避免不必要的成本支出。平衡成本和效能
在進行最佳化之前，你需要評估哪種雲端資料平臺最適合你的應用場景。一旦你做出了選擇，就需要考慮該應用場景的潛在成本影響（例如儲存成本、載入成本、計算能力）並將其與可以從該應用場景中獲得的潛在價值進行平衡。如果符合條件，你可以專注於管理效率低下的問題。 即使在找到了最適合你的應用場景的雲端資料平臺後，仍然可能存在效率低下的問題。不是每個在雲端資料平臺上工作的人都能夠高效地執行自己的任務，因此讓每個教訓成為一個教育時刻是非常重要的。重點關注可視性、警報和建議。這意味著提供給使用者們用於找出效率低下的潛在問題的可視性，快速警報使用者效率低下的情況並生成最佳化建議，同時將這一過程變成一個教育時刻。資料最佳化的四個方面
進行資料最佳化有四個方面可以考慮，這將幫助你更有效地運營、更快地擴充套件並從資料中獲得最大價值：1.計算最佳化
你不需要始終使用相同的計算大小。工作量根據一周的某一天或某一天的時間而變化。可以根據預期的查詢執行方式安排不同的倉庫大小，這樣可以節省很多資源。2.查詢最佳化
一個編寫不良的查詢可能需要超過需要的計算資源，或者掃描超過必要的資料。使用者也可能執行多次不必要的查詢。這樣的效率低下會浪費資金，拖慢潛在的洞察力發現。對使用者進行查詢編寫技巧的教育可以幫助避免一些不必要的行為，並且警報機制可以在查詢執行時間超過預期或者不應該執行時及時發出注意。3.資料集最佳化
傳統的資料建模技術會對你如何最佳化雲端資料平臺產生影響，因此你應該關注星型模型、聚合表和材料化檢視等決策。在雲端儲存數量級資料時，你需要制定一個保留策略，在一定時間後移動、存檔或永久刪除資料，並考慮如何載入資料。你是否載入了沒有被存取的資料？是否實時載入了只被很少存取的資料？確保你的資料集管理與實際應用場景相匹配，避免不必要的支出。4.環境最佳化
要重視控制開發環境中的成本，因為這些成本可能會累積。建立政策，比如在低階環境中不超過小型計算或者在不使用時立即關閉計算。也有時候，增加計算是有道理的。某些月底報表需要快速執行，你可能需要額外的計算來滿足服務水準協議。效率也很重要，因為你希望確保那些優先處理的流程不會被不必要執行的流程延緩。工具對於最佳化的重要性
集中的工具可以為最佳化增加一層監督和責任。這些工具可以監控使用量的意外變化，確保當大型月度報表需要額外計算時，計算在報表完成後即被關閉。工具可以廣泛地提供資料使用情況的可視性，識別新的使用模式，甚至提供快速解決問題的建議。我們建立了 Capital One Slingshot 工具，以幫助我們最佳化成本，減少浪費和效率低下，並加快對 Snowflake 的價值實現，同時遵守管理要求。結論
資料一直在不斷變化，因此需要不斷最佳化資料以達到最大效能。當你高效執行時，你能夠從資料中獲得洞察力，並提升業務效能。最佳化資料可以改善效能，並帶來實際的商業價值。 Salim Syed 是 Capital One Software 的 Slingshot 工程副總裁。VB Lab Insights 的內容是與 VentureBeat 有商業關係的公司共同創作的，其支付了相應的費用。我們的編輯團隊製作的內容絕不受廣告商或贊助商的影響。欲瞭解更多訊息，請聯絡 [email protected]。 關鍵詞：資料最佳化、資料分析、資料處理、效率提升、技巧DataOptimization-資料分析,資料處理,資料最佳化,效率提升,技巧
延伸閱讀
- 聯合航空如何運用人工智慧讓旅行更輕鬆
- Dataplor 的資料智慧工具：關鍵就在於地點
- GovDash：幫助企業運用人工智慧贏得政府合約
- Anthropic 找到了一個讓 AI 提供未知答案的技巧 + TechCrunch 分鐘: Anthropic 如何獲得 AI 提供未知答案
- 對資料感興趣？Quadratic 重新詮釋試算表
- Viam 透過其無程式碼自動化平臺，走向更多領域
- 資料分析公司 Sensor Tower 收購競爭對手 Data.ai
- 資料資訊保持快步前進，營收達 16 億美元
- 提高生產力：利用 LLM 技術快速輕鬆地使用商業智慧工具
- 維納斯·威廉斯體現她的室內設計技巧，帶來全新的 AI 動力平臺 Palazzo
