Gartner在2019年首次提出“數據編織”（Data Fabric）的推動概念，隨后幾年都把它列為數據和分析技術領域的數據重要趨勢。了解過數據編織的編織朋友大致都知道數據編織是管理數據的架構和技術框架，但更具體的中國可以落地的內容可能知之甚少。

在Gartner今年發(fā)布的企業(yè)數據、分析和人工智能技術成熟度曲線中，落地Gartner將數據編織視為可在2-5年內落地的推動技術。Aloudata（大應科技）CMO 劉靚在最近的數據一次采訪中表示，Aloudata對于國內數據編制落地的編織預期非常樂觀。

Aloudata正在推動中國企業(yè)落地數據編織

日前，中國Aloudata正式發(fā)布了《數據編織價值評估指南》的企業(yè)白皮書，介紹了數據編織的落地價值主張、實現機制，推動以及如何進行實踐落地并進行價值評估，數據用來幫助企業(yè)更好地理解并應用數據編織。編織

劉靚表示，在與大量客戶交流中發(fā)現，企業(yè)普遍對數據編織這一理念關注度高，但苦于落地實踐時經常面臨諸多困惑，包括場景如何適配、價值如何評估等關鍵問題，而白皮書針對這些問題提供了更具針對性、實踐性也更強的指南。

白皮書中提到，如今的數據管理領域面臨諸多挑戰(zhàn)，包括數據需求與鏈路復雜性的增長、合規(guī)與跨域以及云環(huán)境的多樣性三大方面挑戰(zhàn)。而數據編織被視為未來數據管理的核心解決方案，能夠應對復雜的數據環(huán)境，更高效地管理和釋放數據價值。

西卡中國BI和數據負責人袁鶯作為特邀嘉賓出席了發(fā)布會，“我們擁有云上和云下的數據資源，這些數據跨越不同區(qū)域，并涉及數據安全與合規(guī)等問題。如果采用傳統(tǒng)數據架構整合數據，將耗費大量成本和精力，也無法保證數據的時效性和可用性，難以有效支持業(yè)務的數據消費需求。”她強調，“采用數據編織能夠將整個數據整合周期縮短 40%，并能適應快速變化的業(yè)務需求，實現數據整合與不斷調整的并行處理。”

作為國內首個邏輯數據編織平臺，Aloudata AIR 有三大核心價值

業(yè)界普遍將數據編織定義為一種數據架構理念，對其能力邊界尚無明確標準。而Aloudata自研的國內首個邏輯數據編織平臺Aloudata AIR則清晰定義了“零搬運、免運維、自治理”的價值主張，它可以解決數據開發(fā)過程中的效率、成本和復雜性問題。

與業(yè)界許多數據虛擬化方案多側重在數據的集成與查詢場景不同，Aloudata AIR將NoETL作為數據虛擬化技術的核心能力，強調其在數據集成、加工與服務全流程中的價值，也就是：無需事前搬運數據、無需事中運維ETL任務、無需事后計存治理。

“零搬運”是指Aloudata AIR通過數據虛擬化技術實現邏輯集成，秒級完成數據集成后，將跨源、跨引擎的數據用一種SQL語言實現統(tǒng)一查詢訪問。這使得數據在整個開發(fā)和使用過程中無需進行物理搬運，這種做法不僅避免了數據多次復制造成的存儲和計算資源浪費，而且能更好地保證數據實時性。

“免運維”指的是無需事中運維ETL任務。ETL是數據開發(fā)的核心環(huán)節(jié)，但它的操作復雜，給開發(fā)者帶來了沉重的負擔。Aloudata通過查詢加速與任務下推技術，在實現性能加速的同時自動化封裝了復雜的ETL的任務開發(fā)和作業(yè)執(zhí)行。邏輯數據集變更后，系統(tǒng)自動更新下游數據，無需繁瑣的手動回刷數據。這一做法顯著減少了人工干預和出錯風險，使數據開發(fā)更敏捷。

“自治理”的核心就是平臺自動感知和優(yōu)化數據資源的使用。它不僅會根據需求生成物化表來提升查詢速度，降低存儲與計算成本。它還會實時監(jiān)控數據消費狀態(tài)，如果物化表一段時間沒人用，系統(tǒng)會通過自動回收來避免資源浪費。這樣不僅可以提升資源利用率和查詢性能，還可以減少人力管理的成本。

邏輯數據編織平臺 Aloudata AIR通過“零搬運、免運維、自治理”消除了傳統(tǒng)數據開發(fā)中的瓶頸，讓數據管理變得更加高效、敏捷，同時降低了運維成本和復雜性。這三大特點就是Aloudata落地數據編織架構的核心價值。

Aloudata提出了一套關于數據編織的價值評估框架

在經濟下行、IT預算緊縮的背景下，很多企業(yè)都非?？粗貙ν顿Y回報率（ROI）的量化分析，希望能做出更明智的技術選型決策。為此，Aloudata在《數據編織價值實現評估指南》白皮書中，提出了業(yè)界首個針對數據編織技術的價值評估框架，從三個評估維度和兩個關鍵指標入手，幫助企業(yè)衡量投入產出比。

Aloudata認為，要從提升數據交付效率、降低數據膨脹系數和減少數據管理成本三方面下手評估數據編織架構的價值。

所謂“數據交付效率”關注的是業(yè)務提出數據需求后，能多快得到結果，能否端到端地提升數據集成、整合到服務的交付效率，把數據需求的響應周期從周提升到天，實現數據交付10倍提效。

“數據膨脹系數”衡量了數據被多次重復拷貝的情況，關注那些能導致數據倉庫資源迅速膨脹的問題，能否從機制設計上系統(tǒng)化地減少數據拷貝，節(jié)省存算資源，提升存算的有效性和經濟性，至少節(jié)省30%的存算成本。

“數據管理成本”包括數據開發(fā)、運維和治理中的人力投入與資源消耗。減少這些成本在于通過簡化系統(tǒng)技術概念，降低數據平臺上手門檻和減少運維成本，并提升數據管理的自動化水平和逐步增強數據平臺的“智駕”能力，至少節(jié)省70%的數據管理成本。

此外，白皮書指出，可以通過“當天需求滿足率”和“當天數據動銷率”兩個關鍵指標進行量化評估，分別從業(yè)務需求響應和數據資源利用的視角評估數據編織的實際價值。

“當天需求滿足率”指的是，業(yè)務團隊提出的數據需求，能在當天得到滿足的比例。這是站在業(yè)務方視角評估和感受數據平臺能力和價值的唯一核心指標，也是數據產生業(yè)務價值的重要體現之一。“當天數據動銷率”是指當天有更新的數據在當天或未來一段時間內的使用率。它體現了數據的利用效率和價值產出。如果數據長期未被使用，企業(yè)可以通過優(yōu)化數據資產管理回收這些資源，降低存儲和運維成本。

依托AloudataAIR，首創(chuàng)證券落地數據編織架構

首創(chuàng)證券是一家知名券商，數據團隊規(guī)模并不大，在構建數據倉庫時面臨著人員短缺和Hadoop技術棧不熟悉的挑戰(zhàn)。傳統(tǒng)Hadoop數倉體系需要龐大的ETL開發(fā)團隊和深厚的技術積累，而首創(chuàng)證券的數據團隊希望能找到一種更加精益的架構方案。

經過認真評估，首創(chuàng)證券選擇了Aloudata AIR邏輯數據編織平臺。通過這一平臺，他們構建了邏輯數倉，將多個業(yè)務系統(tǒng)的數據進行無縫連接。

具體而言，在ODS（數倉的操作數據存儲）層，數據通過邏輯連接直接快速集成，無需物理搬運。在DWD（數倉的明細數據層）層，數倉沉淀了歷史數據。這種分層架構不僅簡化了數倉的結構，還實現了數據的按需加速與物化，提高了數據處理的靈活性和經濟性。

此外，首創(chuàng)證券還使用了Aloudata CAN自動化指標平臺，形成了從數倉數據沉淀到業(yè)務指標開發(fā)的完整自動化鏈路。Aloudata AIR負責邏輯編織和數據沉淀，而Aloudata CAN基于這些明細數據構建了業(yè)務語義模型與指標。這一組合讓業(yè)務指標開發(fā)和分析需求變得更高效。

在實際應用中，首創(chuàng)證券的源頭數據庫多達100多個，包含數萬張表。在傳統(tǒng)架構下，這些數據的集成可能需要耗費大量時間和資源，需要處理成千上萬的任務。而通過 Aloudata AIR，這些表在短短一天內便完成了集成。

更重要的是，真正沉淀到DWD層的物理表不到100張，極大降低了數據管理的復雜性。首創(chuàng)證券的報表查詢效率也有了顯著提升，一秒內響應率達到95%。這得益于DWD層的加速策略以及應用層的查詢自動路由機制，確保了高效的查詢執(zhí)行。

綜上，Aloudata AIR邏輯數據編織平臺與 Aloudata CAN自動化指標平臺的結合，為首創(chuàng)證券帶來了全面的效率提升。無論是數據運營效率、查詢性能，還是管理成本，首創(chuàng)證券的數據編織實踐實現了質的飛躍，為中小型團隊應對數據復雜性提供了優(yōu)秀的參考案例。