時間:2023-06-13|瀏覽:253
在數據存儲加速專場上,阿里巴巴中間件高級技術專家鐘宇發表了關于時序數據存儲的演講。時序數據是指時間序列數據,按時間順序記錄的同一統一指標的數據。時序數據可以是時期數或時點數。鐘宇舉了兩個例子:一是餐廳就餐人數統計,另一個是股票價格。時序數據主要具備持續產生大量數據、數據產生率平穩無波峰谷等特點。
鐘宇重點介紹了五種時序數據存儲分析方案,包括:直接保存到關系數據庫中、直接保存到基于LSMtree的新型關系數據庫引擎中、直接保存到搜索引擎中、使用列式存儲的方式來保存時序數據、使用流計算引擎。另外,他還介紹了時間序列數據庫的方案,以openTSDB為例。
綜上所述,通過時序數據和流引擎的對比,鐘宇認為,將可配置的預聚合功能融合到數據庫里即可解決方便使用的問題。同時,還可以考慮將歷史數據的文件存在云存儲上,可以做長線離線的分析。然而,還會有一些難題是亟待解決的,比如發散時間序列問題、定時采樣以及高頻采樣、數據表互操作等問題。
因此,未來,阿里團隊會考慮引入存儲引擎產品,結合事件驅動和定時采樣考慮引進一些備存的思路解決數據驅動的模型雙引擎。同時,硬件加速(類似FPGA)是適合時間序列場景的流架構的方式,目前正在采用FPGA的方式考慮下一步的硬件加速體系,提供公有云服務。
熱點:數據