海量數據即時運算 x AI演算處理,讓你坐擁完整生態訊息
特色
物聯感測器裝置產生的數據資料通常是巨量並且連續的、也需要數據能被即時分析、控制數據的品質保證、快速的倉儲並且能輕易的提供應用,綜合以上,歸納出以下七點必須被滿足:
基於前述的七點需求,方直物聯數據匯流平台(以下簡稱為本平台)大數據儲存運算架構,包含了物聯感測器數據視覺化及管理平台、物聯感測器傳輸數據所需訊息接收佇列服務、數據QA/QC資料格式檢核、資料倉儲資料庫、應用程式模組及資料交換介面(API)服務及大數據分析模組。
流程
本平台以Kafka技術做為主軸延伸發展,來達成即時資料串流(Real-time Data Streaming),因此技術提供巨量且即時之資料傳送,並可於前端搭配WebAPI以及MQTT做為與物聯感測器裝置的傳輸橋梁,透過Kafka,可以將原始數據快速倉儲至時序型的資料庫,並同時將數據一併利用Kafka Streaming實作即時的數據資料品保稽核,稽核出來的內容,除了倉儲至大數據的資料庫以外,也透過MQTT將訊息串接,實現E-Mail、Line等告警通知,如下圖所示: