Data︰Data Pipeline 是什麼？除了運送數據還能做什麼？
預計閱讀時間︰8 分鐘
無論是數碼營銷、大數據分析，還是人工智能都需要大量顧客數據。不過隨著業務增長，顧客數據量與軟件系統越來越多，數據流動及管理成為致勝關鍵。Data pipeline (數據管道)能為品牌供應大量穩定、可靠而且結構化的數據，對品牌業務發展至關重要。讓我們一起探討 data pipeline 是什麼！
內容大綱
Data Pipeline 是什麼？
你會每天去水井取水嗎？不會，因為我們有供水系統。相同地，為什麼大家還要重複地用人手從一個系統下載數據檔案，重新整理再上載到另一個系統呢？
Data pipeline 中文是「數據管道」或「數據工作流」，是一系列自動化數據處理步驟。它的作用就像供水系統一樣，專門從各個數據系統收集並運送數據到指定數據庫。由於這些數據的格式不一，因此數據管道亦包括數據過濾及整理。一個設計良好的數據管道能為數碼營銷、個人化營銷、大數據分析、人工智能及機構學習等計劃定下重要基礎，是品牌轉型到 next gen marketing 不可或缺的一步。
使用 Data Pipeline 對品牌的三大好處
提升生產力
數據管道能幫助 marketers 自動執行一些處理數據的動作，從而節省人力資源及減少人為錯誤，讓 marketers 騰出時間專注於更有價值的工作。
提高數據質量
數據管道能收集和整合來自不同源頭的顧客數據。有了這些結構化數據，品牌就可以獲得更多見解，作出更準確的營銷決策，從而大幅提高營銷績效。
推動 AI & 機器學習
人工智能需要大量數據來訓練模型，進行深度學習，建立相關智慧。 數據管道能為 AI 提供穩定、可靠而且結構化的數據，推動品牌 AI 發展，更快做到營銷自動化 (marketing automation) 與 personalisation at scale。
Data Pipeline 六大組成部份
Data Source 數據源頭
你的顧客數據來自什麼地方？Google 及 Meta 廣告平台、分析網站及移動應用程式數據的 GA4、會員計劃及 CRM 系統、客戶服務系統、電郵及 SMS 系統、網店、銷售系統及第三方數據系統等都可以是你的顧客數據源頭。基本上任何產生顧客數據的地方都可以是你的顧客數目源頭。
Data Collection/Ingestion 數據收集/攝取
確認數據源頭後，就是時候把不同來源的數據集合成統一數據流。不同數據系統可能有不同的要求。以 Apple 廣告為例，用戶必須在看到廣告後於一定時間內完成某些指定動作才算一個 conversion，SKAdNetwork 系統才會發放相關數據，因此數據普遍有 24 – 48 小時的延後，因此比較廣告平台表現時要小心。
Data Flow 數據流程
數據流程是指數據所採取的路線，包括步驟的先後次序。最被廣泛使用的三種數據流方法是 ETL、ELT 和 reverse ETL。ETL (extract, transform, load) 是先從源頭收集數據，經過整合後才儲存入數據庫，適合用於較傳統的數據系統。ELT (extract, load, transform) 是先把數據儲存於數據庫，到需要的時候才加以分析，可以提高數據處理的靈活性。最後的 reverse ETL 有點不一樣。它是把數據倒流回數據源頭，完成整個數據循環的步驟。例如品牌可把整理後的顧客數據載入 Google 及 Meta 廣告平台做 retargeting 及 microtargeting，提升廣告表現等。
Data Processing 數據處理
數據被收集後需要通過驗證、清理 (data cleansing)、標準化、配對等整合工作才能使用。視乎品牌採用的是 ETL 還是 ELT 架構，這步驟可能在儲蓄數據之後或之後完成。
延伸閱讀︰Data Cleansing 是什麼？
Data Destination 數據目的地
這是存放數據的地方，通常由大型數據儲蓄庫組成，例如用於結構化數據的 data warehouse (數據倉庫)，用於非結構化或半結構化數據的 data lake (數據湖)，以及結合兩者優點的 data lakehouse (數據湖倉一體)。我們可從這些儲蓄庫中獲取最新數據作分析之用。
Monitoring System 監控系統
數據管道必須有監控以確保數據輸送流暢。這可以包括監控數據質量、管道性能和資源利用率等。管道亦應預先設有通報機制，確保突發情況出現時管理員能得到及時通知。
建立 Data Pipeline 要考慮什麼因素？
一個設計良好的數據管道能為數碼營銷、個人化營銷、大數據分析、人工智能及機構學習等計劃提供重要基礎，不過建立數據管道涉及許多不同的用戶、平台和系統，需要詳細計劃。我們建議大家建立數據管道時需要考慮以下項目。
確定 Customer Data Strategy
設計數據管道時，你首要需要考慮你希望透過數據管道達到什麼目標？需要哪些數據？你可以從什麼地方獲得這些數據？如何衡量數據管道的成功？有了這些大方向，你才可以設計一個有效的數據管道。
了解目標用戶的需要和技術水平
用戶不願意使用，再先進的技術也是毫無用處的。因此我們建議大家設計數據管道前先進行 focus group 及 UX audit，詳細了解用戶的期望、實際需要與技術水平，確保數據能以最適合的形式出現，方便用戶使用。
留意時間可能帶來的變化
數據管道可以使用一段非常長的時間。隨著時間過去你可能遇到數據格式轉變、系統轉換、顧客數據量增加等情況，導致出現系統不相容、數據偏差、處理數據量超出限額等問題。因此我們建議大家設計數據管道時需要預留一定的靈活性，確保它能隨著業務增長而變化。
延伸閱讀︰Customer Data 也有保鮮期？
進行數據質量檢查
數據質量是指數據的準確性、完整性和一致性。所謂「garbage in, garbage out」，如果數據質量出現問題，可能導致日後數據分析時得出錯誤或不完整的結論。 因此我們建議大家在管道的各個階段加入數據質量檢查機制，有助確保數據準確、完整和一致。
FIMMICK CDP - 統一你的顧客數據！
FIMMICK CDP 為你打通數據壁壘，自動整合來自網站、CRM、電子郵件、短信、聊天工具及手機應用的客戶數據，讓你實現全渠道數據互通，從而助你捕捉客戶行為、深入了解客戶、追蹤廣告效能、優化廣告投放及增強客戶體驗，讓你在數碼市場中占據先機。
- 建立第一方數據資料，避免數據孤島的狀況出現。
- 通過數據整合，建立一個完整的客戶畫像，讓企業能精準分析顧客行為。
- 從所有客戶數據中獲得可市場洞察，實行用數據推動營銷決策。
- 自動化客戶的生命周期旅程，提高運營效率。
- 觀察客戶行為變化，及早採取留客措施，減少客戶流失。
- 更安全、合規地管理數據。
總結
一個優良的數據管道能為品牌集中所有顧客數據，為數碼營銷、自動化營銷、人工智能驅動營銷提供重要的數據基礎，對品牌業務至關重要。然而，設計和建立數據管道是一個複雜的過程，設計者必須對 marketing、大數據和相關電腦系統和軟件擁有深入了解，因此不少品牌都選擇尋找專業機構代為建立。如果你也對建立數據管道有興趣，歡迎與我們聯絡！
Customer Data 系列文章
相關服務
相關文章
AI: Unlocking 7 AI Application in Food and Beverage
Explore the exciting ways AI is reshaping the restaurant experience. From AI-powered ordering to robot servers, the future of dining is here.
CRM: How to Choose a CRM system – Tips & Considerations
Unlock the power of CRM with this comprehensive guide to choosing the right system. Learn about the different types of CRM, key features.
Ecommerce: 6 Critical Things Ecommerce Startups Often Miss
Launching an online business is exciting, but many startups stumble over critical early steps. Let’s explore the 6 items startups often miss.