基于Apache doris怎么構建數據中臺(四)-數據接入系統
上一次我們講解了數據資產，元數據管理，血緣關系等，這次我們開始將數據接入，怎么實現快速的數據接入
在開發數據模型時，我們必須有一個統一的平臺，能夠像流水線一樣，把數據一步步加工成數據模型。這其中涉及到數據萃取、數據聚合、作業調度等。
主要是為了實現業務數據的快速接入，零代碼實現，數據分析人員只需要通過UI進行簡單的配置、提交任務即可完成數據的接入，并能實現對數據接入任務的管理及監控。
Mysql數據源數據接入
主要是為了完成針對Mysql數據的業務系統數據接入零代碼實現，不需要開發人員接入，提供給數據分析人員使用，目的是為了業務數據快速接入，無需編碼
數據接入系統我們通過自研的規則引擎，和接入任務整合，同時自動化完成了數據接入的ETL工作，規則可以通過頁面進行可視化配置，這塊我會在后面的質量模塊介紹
- 通過UI界面添加數據接入任務的方式
- Mysql數據的采集是通過Canal 采集binlog完成
- 在界面上第一步是配置canal實例（canal實例的管理是通過cannal admin），除了kafka topic名稱需要手工輸入，其他信息盡可能不要讓使用人員手工數據
- 第二步配置Flink Job任務信息，需要的kafka topic名稱來源于上一步，業務表和數倉表的對應關系通過元數據選擇方式完成，避免手工輸入
- 第三步：提交任務，這時候完成canal實例創建，運行，Flink job任務提交運行
- 并在列表上監控canal實例及Flink job運行狀態的監控
DataX 數據接入
要實現的內容基本和Mysql binlog的同步一樣
只不過是Datax是為了實現非mysql數據的數據接入零代碼完成
數據API方式數據接入
傳統數據API方式的數據接入都需要進行代碼開發對接才能完成，初步設想這塊通過通用的代碼生成器的方式實現針對常用API方式（WebService,RestFul API）零代碼接入
圖形化數據接入
我們目前支持Kafka，Mysql，datax數據零代碼接入
Mysql ：通過Canal采集業務數據庫的binlog日志，將數據推送到指定的Kafka隊列
其他DB：通過datax（全量和增量）定時的將數據，推送到指定的Kafka隊列，這里我們對Datax做了改造，讓Datax的數據格式和Canal格式一致，
數據接口：后端數據接收服務隊數據進行轉換（可配置）以后，形成和Canal一致的數據格式，推送到指定的Kafka隊列
- 后端針對業務db，我們會通過元數據采集系統采集業務系統庫表及字段的元數據信息，進入到元數據管理系
- 針對沒有數據庫表的，通過接口直接推送到Kafka的數據，我們在元數據管理里統一提供虛擬庫表，通過這個完成數據的統一接入
- 在數據接入的時候，我們整合了我們自研的規則引擎，可以實現數據接入和ETL規則自動綁定，通過阿波羅配置系統進行統一下推到Flink Job里執行，
- 對于異常數據（不符合規則的），自動推送到指定的Kafka隊列，后端有對應的服務進行處理，我們這里是通過Flink實現了一個輕量級的ETL，及數據入Doris的自動化工具
效果如下：
第一步選擇要接入的數據表
第二步選擇數據倉相關的信息，這一步會進行表字段映射檢查及配置，目前要首先在數倉中建立相應的表，后續會自動化建表
第三步就是輸入Flink Job名稱進行提交了，整個就完成了
數據開發控制臺
- 提供一個數據類似于HUE的SQL數據開發控制臺，數據開發人員可以通過這個控制臺進行sql的開發調試
- 生產環境這里delete，drop等操作要進行審批確認，才能進行，避免誤操作，刪除數據
- 可以將調試好的sql，添加到定時任務調度系統中，這里我們將海豚調度集成到我們數據中臺中
零代碼入倉的問題解答
很多朋友問到，我們這種方式會不會數據丟失，會不會數據重復，結合我們自己的場景，給我我們的解決方案
數據入到Doris數據倉庫對應的表中，這里我們采用的是Flink實時消費KafKa的數據，然后通過Doris的 Stream Load完成
Flink消費Kafka數據我們支持兩種方式：
指定Kafka Topic的Offset進行消費：kafka.offset
指定時間戳的方式：kafka.timestamp
數據丟失的問題
針對Flink Job失敗，重啟也是通過這兩個參數，
- 如果你記錄了失敗的時間點的Kafka Offset，可以通過配置文件配置這個參數來重啟Flink Job就
行。這樣不會造成數據丟失
- 如果沒有記錄這個offset，可通過指定consumer.setStartFromTimestamp(timestamp);這個時間就是在配置文件中配置的時間戳 ，這樣無論是通過offset還是從指定的時間開始消費Kafka數據，都不會造成數據丟失
數據重復問題
因為我們這個是在數據接入層使用的，數據是進入到數據倉ODS層，在這一層我們采用的是Doris Unique Key模型，就算數據重復入庫，會覆蓋原先的數據，不會存在數據重復問
下一講開始講解數據質量管理
