大數據集成系統

産品概述

大數據集成系統是(shì)巨龍信息以20年的數據整合治理實踐爲基礎，采用分布式并行計算架構自主研發的大數據ETL集成系統，具備高吞吐、高可用、高擴展特性，支持主流雲平台、數據庫、文件、消息對接、接口等數十種異構數據源，内置上百種數據處理組件和函數，爲海量異構數據的超大規模數據倉庫建設提供抽取、清洗、整合、入庫等集成業務，消除數據孤島，加快數據變現(xiàn)，實現(xiàn)數字化轉型。

産品亮點

		海納百川，數據源适配廣泛 支持市面上主流的雲平台；支持涵蓋OldSQL、NoSQL、NewSQL的各類數據庫；支持文件自動下(xià)載 解壓、解密處理；支持消息隊列實時數據消費(fèi)；支持WebService接口對接配置。
		無代碼開發，組件開箱即用 内置上百個組件和上百個公式，開箱即用；支持第三方按照組件開發标準定制業務性組件。
		高吞吐處理能力，支撐百億數據處理 采用多線(xiàn)程處理算法，高效的内存利用率；可拓展形成100節點以上集群、任務運行過程無需本地磁 盤IO操作，提升整體單位時間的大批量處理能力；支持TB/h級的大數據集成業務性能。
		“火(huǒ)眼金睛”，全方位實時監控 支持對系統運行環境（如調度引擎、執行引擎）和流程作業業務的實時狀态監控，通過圖形可視化的 方式展現(xiàn)監控結果，極大降低了系統日常的維護成本。
		“縱橫”架構融合，運行持續穩定 并行架構提升單機處理能力的縱向線(xiàn)性擴展；分布式架構提升多機處理能力的橫向線(xiàn)性擴展；支持 執行引擎快速部署及自動識别；支持資源調度中心雙活模式；支持執行引擎宕機自動識别和任務轉移；支持引擎集群管理節點自動競選，确保系統穩定運行，任務執行不脫機。
		自動容錯，異常數據分流 采用異常數據分流機制，在不影響正常流程的情況下(xià)，自動将ETL處理過程中出現(xiàn)的異常數據轉儲 到指定位置，保證數據不丢失。在任務分發和執行的過程中，感知(zhī)引擎狀态，自動将異常設備的任務 轉移到正常設備上重新執行，保證了任務執行高可用。
		以點帶面，知(zhī)識賦能 支持一鍵生成數據處理模闆，結合特有的環節分組及批注功能，實現(xiàn)專業人員(yuán)知(zhī)識沉澱，滴灌賦能執行人員(yuán)，以點帶面，形成知(zhī)識輻射。

應用案例

大數據集成系統已經服務政府、政數局、水利廳、财政廳、海關(guān)總署、公安廳/局等多個用戶部門，累計支撐2萬+數據處理方案的穩定運行，共處理數據已達P級，用戶遍及廣東、天津、福建、安徽、甘肅、湖南、内蒙古、青海 等省份，其中天津某行局配置管理2000個大數據ETL作業，完成約600億數據抽取、整合行務，當前運行穩定；福建某大數據治理項目采用混合異構數據庫模式，分别與騰訊雲、阿裏雲ODPS、Gbase 8a、億榕文件存儲等大數據庫完成适配。