近日，東方國(guó)信CirroData-TimeS時(shí)序數(shù)據(jù)庫(kù)進(jìn)行了全新升級(jí)，推出了V1.3.1版本。新版時(shí)序數(shù)據(jù)庫(kù)新增四項(xiàng)新功能，分別在安全控制、數(shù)據(jù)同步、系統(tǒng)監(jiān)控和序列視圖方面帶給用戶全新體驗(yàn)！

此外CirroData-TimeS V1.3.1也對(duì)原有系統(tǒng)問題進(jìn)行了修復(fù)，同時(shí)優(yōu)化了多項(xiàng)功能操作，不斷滿足用戶在新場(chǎng)景中的新需求。

新增功能

安全控制：通過審計(jì)日志，方便管理員查詢用戶在數(shù)據(jù)庫(kù)中的增刪改查等各項(xiàng)操作，確保信息安全；

新增審計(jì)日志功能，可以實(shí)現(xiàn)如下場(chǎng)景需求：

• 可以按鏈接來源決定是否記錄審計(jì)日志，例如：非人為操作，像硬件采集器寫入的數(shù)據(jù)不需要記入審計(jì)日志；人為操作，諸如普通用戶通過cli等工具操作的數(shù)據(jù)，需要記入審計(jì)日志；
• 過濾掉系統(tǒng)級(jí)別的寫入操作，如CirroData-TimeS監(jiān)控體系本身記錄的寫入操作等。

數(shù)據(jù)同步：滿足用戶搭建完整的數(shù)據(jù)鏈路來滿足端邊云同步、異地災(zāi)備、讀寫負(fù)載分庫(kù)等需求；

數(shù)據(jù)同步功能可以將CirroData-TimeS的數(shù)據(jù)同步傳輸?shù)搅硪粋€(gè)數(shù)據(jù)平臺(tái)，我們將一個(gè)數(shù)據(jù)同步任務(wù)稱為Pipe，一個(gè)Pipe包含三個(gè)子任務(wù)（插件）：抽取（Source）、處理（Process）、發(fā)送（Sink）。

Pipe允許用戶自定義三個(gè)子任務(wù)的處理邏輯，通過類似UDF的方式處理數(shù)據(jù)。在一個(gè) Pipe 中，上述的子任務(wù)分別由三種插件執(zhí)行實(shí)現(xiàn)，數(shù)據(jù)會(huì)依次經(jīng)過這三個(gè)插件進(jìn)行處理：Pipe Source 用于抽取數(shù)據(jù)，Pipe Processor 用于處理數(shù)據(jù)，Pipe Sink 用于發(fā)送數(shù)據(jù)，最終數(shù)據(jù)將被發(fā)至外部系統(tǒng)。

Pipe 任務(wù)模型如下：

描述一個(gè)數(shù)據(jù)同步任務(wù)，本質(zhì)就是描述 Pipe Source、Pipe Processor 和 Pipe Sink 插件的屬性。用戶可以通過 SQL 語(yǔ)句聲明式地配置三個(gè)子任務(wù)的具體屬性，通過組合不同的屬性，實(shí)現(xiàn)靈活的數(shù)據(jù) ETL 能力。

全新監(jiān)控面板：新版CirroData-TimeS的監(jiān)控面板包括了集群監(jiān)控、數(shù)據(jù)寫入、數(shù)據(jù)查詢、存儲(chǔ)引擎和系統(tǒng)監(jiān)控等功能；

• 集群監(jiān)控：監(jiān)控集群總CPU核數(shù)、總內(nèi)存空間、總硬盤空間、集群包含ConfigNode與DataNode數(shù)、集群?jiǎn)?dòng)時(shí)長(zhǎng)、寫入速度、集群各節(jié)點(diǎn)當(dāng)前CPU、內(nèi)存、磁盤使用率、分節(jié)點(diǎn)信息等；
• 數(shù)據(jù)寫入：監(jiān)控寫入平均耗時(shí)、耗時(shí)中位數(shù)、99%分位耗時(shí)、WAL文件數(shù)量與大小、節(jié)點(diǎn)WAL flush SyncBuffer耗時(shí) 等；
• 數(shù)據(jù)查詢：監(jiān)控節(jié)點(diǎn)查詢加載時(shí)間序列元數(shù)據(jù)耗時(shí)、讀取時(shí)間序列耗時(shí)、修改時(shí)間序列元數(shù)據(jù)耗時(shí)、加載Chunk元數(shù)據(jù)列表耗時(shí)、修改Chunk元數(shù)據(jù)耗時(shí)、按照Chunk元數(shù)據(jù)過濾耗時(shí)、構(gòu)造Chunk Reader耗時(shí)的平均值 等；
• 存儲(chǔ)引擎：監(jiān)控分類型的文件數(shù)量和大小、處于各階段的TsFile數(shù)量和大小、各類任務(wù)的數(shù)量與耗時(shí) 等；
• 系統(tǒng)監(jiān)控：監(jiān)控系統(tǒng)內(nèi)存、交換內(nèi)存、進(jìn)程內(nèi)存、磁盤空間、文件數(shù)、文件尺寸、JVM GC時(shí)間占比、分類型的GC次數(shù)、GC數(shù)據(jù)量、各年代的堆內(nèi)存占用、網(wǎng)絡(luò)傳輸速率、包發(fā)送速率 等。

序列視圖：一種全新的基于時(shí)間序列的數(shù)據(jù)組織管理方式；

在傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)中，數(shù)據(jù)都必須存放在一個(gè)表中，而在CirroData-Times等時(shí)序數(shù)據(jù)庫(kù)中，序列才是存儲(chǔ)單元。因此，CirroData-Times中序列視圖的概念也是建立在序列上的。

一個(gè)序列視圖就是一條虛擬的時(shí)間序列，每條虛擬的時(shí)間序列都像是一條軟鏈接或快捷方式，映射到某個(gè)視圖外部的序列或者某種計(jì)算邏輯。換言之，一個(gè)虛擬序列要么映射到某個(gè)確定的外部序列，要么由多個(gè)外部序列運(yùn)算得來。

用戶可以使用復(fù)雜的SQL查詢創(chuàng)建視圖，此時(shí)序列視圖就像一條被存儲(chǔ)的查詢語(yǔ)句，當(dāng)從視圖中讀取數(shù)據(jù)時(shí)，就把被存儲(chǔ)的查詢語(yǔ)句作為數(shù)據(jù)來源，放在FROM子句中。

序列視圖通常在以下 實(shí)際場(chǎng)景 中應(yīng)用：

• 時(shí)間序列重命名（PI資產(chǎn)管理）：實(shí)際應(yīng)用中，采集數(shù)據(jù)的設(shè)備可能使用人類難以理解的標(biāo)識(shí)號(hào)來命名，這給業(yè)務(wù)層帶來了查詢上的困難。而序列視圖能夠重新組織管理這些序列，在不改變?cè)行蛄袃?nèi)容、無(wú)需新建或拷貝序列的情況下，使用新的模型結(jié)構(gòu)來訪問他們；
• 簡(jiǎn)化業(yè)務(wù)層查詢邏輯：有時(shí)用戶有大量設(shè)備，管理著大量時(shí)間序列。在進(jìn)行某項(xiàng)業(yè)務(wù)時(shí)，用戶希望僅處理其中的部分序列，此時(shí)就可以通過序列視圖功能挑選出關(guān)注重點(diǎn)，方便反復(fù)查詢、寫入；
• 輔助權(quán)限管理：生產(chǎn)過程中，不同業(yè)務(wù)負(fù)責(zé)的范圍一般不同，出于安全考慮往往需要通過權(quán)限管理來限制業(yè)務(wù)員的訪問范圍。

改進(jìn)與優(yōu)化

CirroData-TimeS V1.3.1新版優(yōu)化了如下功能操作：

• 優(yōu)化權(quán)限模塊，支持時(shí)間序列粒度的權(quán)限控制；
• 客戶端服務(wù)器支持 SSL 通訊加密；
• 計(jì)算類型視圖支持 LAST 查詢；
• 優(yōu)化 Python 客戶端的性能；
• 優(yōu)化查詢執(zhí)行過程；
• 增加一鍵啟停集群腳本（start-all/stop-all.sh & start-all/stop-all.bat）；
• 增加一鍵收集實(shí)例信息腳本（collect-info.sh & collect-info.bat）；
• 新增標(biāo)準(zhǔn)差、方差內(nèi)置聚合函數(shù)；
• 新增 TsFile 修復(fù)命令；
• Load TsFile 完善內(nèi)存控制，覆蓋全流程；
• Rest 接口（V2 版）增加列類型返回。

CirroData-TimeS V1.3.1新版修復(fù)了以下問題：

• 修復(fù)在 target path 中，使用反引號(hào)導(dǎo)致 select into 報(bào)錯(cuò)的問題；
• 修復(fù)網(wǎng)絡(luò)分區(qū)環(huán)境下 show cluster 出現(xiàn) NPE 的問題；
• 修復(fù) duration 含多 unit 時(shí) group by month 異常問題；
• 修復(fù)有 order by clause 時(shí)，limit 和 offset 不能下推的問題；
• 修復(fù) group by month + align by device + limit 組合場(chǎng)景下的異常；
• 修復(fù) IoT 協(xié)議同步時(shí)反序列化報(bào)錯(cuò)問題。

繼續(xù)閱讀：大模型   大數(shù)據(jù)

星空人工智能技術(shù)網(wǎng) 倡導(dǎo)尊重與保護(hù)知識(shí)產(chǎn)權(quán)。如發(fā)現(xiàn)本站文章存在版權(quán)等問題，煩請(qǐng)30天內(nèi)提供版權(quán)疑問、身份證明、版權(quán)證明、聯(lián)系方式等發(fā)郵件至1851688011@qq.com我們將及時(shí)溝通與處理。！：首頁(yè) > 大數(shù)據(jù) » 東方國(guó)信CirroData-TimeS時(shí)序數(shù)據(jù)庫(kù)全新升級(jí)，V1.3.1版推出四大新功能