基于在線視頻用戶數據的DMP系統的設計與實現.pdf

1、隨著個人電腦和智能手機的不斷普及，以及網絡帶寬成本的不斷下降，在線觀看網絡視頻已經成為人們生活中常見的一種娛樂或學習方式。國內幾個著名的在線視頻網站每天都會有億級的訪問量，因此會產生大量的用戶數據。如何存儲和有效的利用這些數據，來支持公司的廣告精準營銷，用戶統計，數據挖掘，效果評估等不同的業務場景，是需要解決的問題。
　　針對此問題，本人所在的實習公司優酷土豆實現了一個DMP系統，即數據管理平臺。在技術選型時，主要考慮以下幾點:D

2、MP的原始數據量非常大，對于數據處理能力要求高，但是這份數據的生成時效性要求不高。DMP需要有一個實時查詢的接口來滿足外部業務要求，對所生成的結果數據的操作需要有強大的實時計算技術來支撐。綜合上述兩點，我們在技術上分別采用了MapReduce的框架和SPARK的計算框架，來實現離線和實時的計算任務。
　　在優酷土豆工作期間，本人主要參與和完成了DMP系統的需求分析，設計，開發，測試以及維護工作。工作內容如下:
　　(1)參與

3、并完成了系統的需求分析，包括功能需求與非功能需求。
　　(2)參與并完成了系統的概要設計，包括系統的總體概要設計，數據預處理功能、數據合并功能、人群篩選與投影功能等功能模塊的概要設計。
　　(3)負責并完成了系統多個模塊的詳細設計與實現，包括標簽體系的詳細設計，日志解析模塊的設計與實現，用戶頻道偏好挖掘設計與實現，用戶偏好Top20子頻道的設計與實現，用戶廣告關鍵詞偏好的挖掘設計與實現，數據清洗模塊的設計與實現，Hive中U

4、DF函數的實現，數據合并模塊的設計與實現，人群篩選管理接口詳細設計與實現，人群投影接口詳細設計與實現。
　　(4)負責并完成了多個功能模塊的測試用例編寫與實際功能測試工作。
　　(5)負責系統的維護與更新，包括自動化腳本的編寫，以使各分區數據定時更新。在實現該項目的過程中，主要用到的技術為Hadoop的MapReduce框架以及Spark Sql，實現的語言為Java、Hive和shell腳本。使用Git進行版本控制，Mav