巨量資料資源管理最佳化平臺.PDF

巨量資料資源管理最佳化平臺 2014/8/22 1 大綱 1 巨量資料分析平臺 2 Bistro+ 簡介 3 Bistro+ 發展方向 2 巨量資料分析平臺 3 企業需要思考的問題 •如何提升製程的良率? •如何增加銷售的業績 ? •如何更準確了解客戶需求? 分析的結果是表象 還是實際的狀況? 巨量資料分析有助於企 業了解這些問題 4 簡單的說， Big Data 處理就是… Volume Variety 很多的非/ 半結構化資料 要在一定的時間內處理完 Velocity 而且具真實性且成本不能太高 Veracity 巨量資料分析階段 http://fredbigdata.blogspot.tw/2013/06/big-data-lifecycle.html 6 傳統 RDBMS vs. Big Data / MapReduce Characteristic Traditional RDBMS Big Data / MapReduce Data Size GB PB Access Interactive Batch / Near Real Time Latency Low High Data Updates Read and Write many times Write once and Read many times Schemas / Structure Static Schema Dynamic Schema Language SQL Procedural Integrity High Not 100% Works well for Process Intensive Jobs Data Intensive Jobs Data / Processing Interactions Send Data to Compute Sends Code to Data Fault Tolerance Coordinating Processes with Fault Tolerant for HW/SW