海量數據即時運算 x AI演算處理,讓你坐擁完整生態訊息

特色

物聯感測器裝置產生的數據資料通常是巨量並且連續的、也需要數據能被即時分析、控制數據的品質保證、快速的倉儲並且能輕易的提供應用,綜合以上,歸納出以下七點必須被滿足:

即時高效能處理能力

高吞吐量

及時高效能處理能力,能接納並處理大量的資料流。
高擴充性

可擴充性

高擴充性,滿足未來資料大幅成長後的需求。
高可用性

高可用性

異常可自動切換且切換時間要趨近於零,要具備保證送達(Guaranteed Delivery)的能力。
資料收集須滿足各種資料格式

支援多方平台

資料蒐集須滿足各種資料格式,支援多樣的資料源和目的端平台。
高傳輸效率

傳輸效率佳

資料在傳輸過程(In-Flight)避免不必要的資料複製和保存
數據品質的保證

數據品質把關

數據多並不一定意味著數據好。 成功的大數據分析項目首先需要相關且準確的數據。
數據最佳化利用

數據最佳化利用

儲存數據累積巨量資料後,利用機器學習進行預測分析。

基於前述的七點需求,方直物聯數據匯流平台(以下簡稱為本平台)大數據儲存運算架構,包含了物聯感測器數據視覺化及管理平台、物聯感測器傳輸數據所需訊息接收佇列服務、數據QA/QC資料格式檢核、資料倉儲資料庫、應用程式模組及資料交換介面(API)服務及大數據分析模組。

流程

本平台以Kafka技術做為主軸延伸發展,來達成即時資料串流(Real-time Data Streaming),因此技術提供巨量且即時之資料傳送,並可於前端搭配WebAPI以及MQTT做為與物聯感測器裝置的傳輸橋梁,透過Kafka,可以將原始數據快速倉儲至時序型的資料庫,並同時將數據一併利用Kafka Streaming實作即時的數據資料品保稽核,稽核出來的內容,除了倉儲至大數據的資料庫以外,也透過MQTT將訊息串接,實現E-Mail、Line等告警通知,如下圖所示: