客戶介紹

聚水潭是中國(guó)領(lǐng)先的電商SaaS ERP服務(wù)商，通過(guò)全鏈路數(shù)字化解決方案（覆蓋訂單/倉(cāng)儲(chǔ)/供應(yīng)鏈/財(cái)務(wù)）助力企業(yè)降本增效。其核心ERP產(chǎn)品為不同類型及規(guī)模的客戶提供一套統(tǒng)一且直觀的業(yè)務(wù)監(jiān)控、運(yùn)營(yíng)及管理工具，賦能客戶做出數(shù)據(jù)驅(qū)動(dòng)的智能決策，使其能在快速發(fā)展的電商行業(yè)中脫穎而出。

●      服務(wù)客戶基數(shù)大，截至 2024 年，已為 88,400 名不同類型的 SaaS 客戶提供服務(wù)。

●      核心產(chǎn)品成熟度高，其云端電商 SaaS 產(chǎn)品，能夠推動(dòng)商家客戶與中國(guó)乃至全球超過(guò) 400 個(gè)電商平臺(tái)連接（根據(jù)灼識(shí)咨詢的資料，行業(yè)平均連接的電商平臺(tái)數(shù)量不足 200 個(gè)）

●      技術(shù)基礎(chǔ)設(shè)施穩(wěn)定高效，在 2024 年“雙11”期間成功處理了約 16 億份訂單，創(chuàng)下行業(yè)領(lǐng)先記錄。

為什么選擇MaxCompute 近實(shí)時(shí)數(shù)倉(cāng)解決方案

原有架構(gòu)痛點(diǎn)

用戶很多現(xiàn)有業(yè)務(wù)數(shù)據(jù)符合PK主鍵的場(chǎng)景，在相關(guān)表格的日常數(shù)據(jù)的增全量合并操作時(shí)，必須進(jìn)行復(fù)雜的PK去重操作以維護(hù)數(shù)據(jù)一致性。隨著用戶業(yè)務(wù)的不斷擴(kuò)展，用戶倉(cāng)內(nèi)核心業(yè)務(wù)數(shù)據(jù)量迅速增大，給客戶帶來(lái)如下明顯痛點(diǎn)：

1.       日常維護(hù)復(fù)雜的增全量合并ETL鏈路

2.       每日對(duì)全量數(shù)據(jù)進(jìn)行掃描，計(jì)算成本隨數(shù)據(jù)量提升不斷增加

3.       最新全量數(shù)據(jù)按天保存，冗余數(shù)據(jù)不斷積累大大提升存儲(chǔ)成本

4.       增全量合并計(jì)算性能隨數(shù)據(jù)量上升而下降，數(shù)據(jù)新鮮度變低，下游業(yè)務(wù)消費(fèi)數(shù)據(jù)的壓力不斷增大

MaxCompute 近實(shí)時(shí)數(shù)倉(cāng) Delta Table 解決方案優(yōu)勢(shì)

MaxCompute在原有的離線批處理引擎基礎(chǔ)上升級(jí)了系統(tǒng)架構(gòu)，推出了近實(shí)時(shí)數(shù)倉(cāng)解決方案。MaxCompute的近實(shí)時(shí)數(shù)倉(cāng)，基于全新的表格式實(shí)現(xiàn)了增全量數(shù)據(jù)一體化存儲(chǔ)和管理，并且推出了豐富的增量計(jì)算能力，同時(shí)升級(jí)了MaxCompute短查詢加速（MaxQA）以支持查詢秒級(jí)返回。

MaxCompute近實(shí)時(shí)數(shù)倉(cāng)設(shè)計(jì)了多種新的表數(shù)據(jù)組織格式，既可支持MaxCompute普通表的所有功能，同時(shí)也能很好的支持增量處理鏈路的新場(chǎng)景。其中，PK Delta Table作為增量表格式中支持?jǐn)?shù)據(jù)包含主鍵場(chǎng)景的重要格式，完全契合聚水潭包含PK主鍵的業(yè)務(wù)場(chǎng)景，并能很好的解決用戶原有業(yè)務(wù)的諸多痛點(diǎn)。

●      PK Delta Table數(shù)據(jù)文件類型

PK Delta Table支持多種數(shù)據(jù)文件組織格式，來(lái)高效支持全量讀寫和近實(shí)時(shí)增量讀寫等多種場(chǎng)景，主要包含 Checkpoint File，Delta File 和 CDC Log。

其中，每次上游事務(wù)commit的數(shù)據(jù)會(huì)寫入Delta File，來(lái)保存每行數(shù)據(jù)的中間歷史狀態(tài)，從而為用戶提供增量數(shù)據(jù)的讀取功能。Delta File經(jīng)過(guò)Compact合并操作后會(huì)生成Checkpoint File，PK值相同的記錄只會(huì)保留一行，并按照列式壓縮存儲(chǔ)，用來(lái)支撐高效的全量數(shù)據(jù)查詢需求。

●      Deletion Vector功能提升PK Delta Table文件讀寫性能

MaxCompute針對(duì)PK Delta Table的表格式最新推出了Deletion Vector功能，通過(guò)一種輕量化的緊湊的二級(jí)制格式，形成一個(gè)類似向量的結(jié)構(gòu)(Bitmap)，在增量數(shù)據(jù)不斷更新過(guò)程中，高效管理已經(jīng)被刪除的數(shù)據(jù)，從而避免每次讀寫時(shí)候的全量數(shù)據(jù)進(jìn)行replay掃描的耗時(shí)，來(lái)提升查詢性能。當(dāng)用戶讀寫的PK Delta Table數(shù)據(jù)量較大（平均文件大小>10M）且SQL對(duì)表格多列進(jìn)行讀寫時(shí)加速效果更為明顯。

客戶生產(chǎn)系統(tǒng)落地效果：提效比例超過(guò)200%

在深度參與商家業(yè)務(wù)優(yōu)化的分析后，客戶發(fā)現(xiàn)在聚水潭電商最核心的銷售履約鏈路上，圍繞訂單、出庫(kù)、售后的全流程數(shù)據(jù)，均存在如下符合Delta Table使用場(chǎng)景的明顯特征：

1.       明確的業(yè)務(wù)PK主鍵

2.       基于業(yè)務(wù)主鍵的數(shù)據(jù)更新

3.       主表和明細(xì)表關(guān)聯(lián)查詢

4.       數(shù)據(jù)量大（PB級(jí)數(shù)據(jù)規(guī)模）

基于以上評(píng)估分析，最終用戶選擇對(duì)訂單明細(xì)鏈路（表數(shù)據(jù)量最大，邏輯最復(fù)雜，依賴最多，計(jì)算存儲(chǔ)成本消耗最大，且成上升趨勢(shì)）作為Delta Table改造項(xiàng)目的首選目標(biāo)進(jìn)行嘗試。

圖1 - 銷售履約訂單明細(xì)鏈路增全量合并ETL鏈路

圖2 - T時(shí)增量具體業(yè)務(wù)流程

伴隨訂單明細(xì)鏈路的改造完成，Delta Table也完成了元數(shù)據(jù)更新，寫入攢批，多表查詢等諸多特性的優(yōu)化，最終聚水潭履約鏈路的數(shù)據(jù)更新周期從近3個(gè)小時(shí)提升至30分鐘左右，提效比例超過(guò)200%，配合業(yè)務(wù)上對(duì)于更長(zhǎng)周期數(shù)據(jù)更新的訴求（如預(yù)售訂單超180，售后維保超1年），聚水潭數(shù)據(jù)中臺(tái)團(tuán)隊(duì)基于Delta Table架構(gòu)快速驗(yàn)證了更長(zhǎng)更新周期、全鏈路H時(shí)效的技術(shù)方案，整體方案從設(shè)計(jì)到落地優(yōu)化不到2個(gè)月時(shí)間，大大簡(jiǎn)化了增量數(shù)據(jù)寫入和消費(fèi)的成本，計(jì)算資源消耗降低56%。同時(shí)，利用MaxCompute近實(shí)時(shí)數(shù)倉(cāng)最新推出的Deletion Vector的性能優(yōu)化功能，針對(duì)生產(chǎn)的23條相關(guān)核心SQL任務(wù)進(jìn)行優(yōu)化后，整體性能提升42%，且計(jì)算資源消耗在之前基礎(chǔ)上進(jìn)一步降低21%。

未來(lái)展望

聚水潭將部分核心業(yè)務(wù)從傳統(tǒng)批式引擎遷移到近實(shí)時(shí)數(shù)倉(cāng)鏈路的過(guò)程中，構(gòu)建了統(tǒng)一的增全量一體化數(shù)據(jù)鏈路，大幅降低了日常處理新增數(shù)據(jù)的核心業(yè)務(wù)的復(fù)雜度和資源成本，同時(shí)利用最新的Deletion Vector能力使得增量數(shù)據(jù)寫入和查詢?nèi)蝿?wù)的性能得到明顯提升。未來(lái)，用戶將重點(diǎn)致力于進(jìn)一步提升核心業(yè)務(wù)數(shù)據(jù)的新鮮度，確保下游能更及時(shí)獲取最新業(yè)務(wù)狀態(tài)。同時(shí)，結(jié)合MaxQA對(duì)秒級(jí)查詢響應(yīng)的支持，將為商家提供更敏捷的實(shí)時(shí)數(shù)據(jù)洞察與交互式分析體驗(yàn)，進(jìn)一步賦能其快速?zèng)Q策。

繼續(xù)閱讀：

星空人工智能技術(shù)網(wǎng) 倡導(dǎo)尊重與保護(hù)知識(shí)產(chǎn)權(quán)。如發(fā)現(xiàn)本站文章存在版權(quán)等問(wèn)題，煩請(qǐng)30天內(nèi)提供版權(quán)疑問(wèn)、身份證明、版權(quán)證明、聯(lián)系方式等發(fā)郵件至1851688011@qq.com我們將及時(shí)溝通與處理。！：首頁(yè) > 大數(shù)據(jù) » MaxCompute x 聚水潭：基于近實(shí)時(shí)數(shù)倉(cāng)解決方案構(gòu)建統(tǒng)一增全量一體化數(shù)據(jù)鏈路