当数字化遇见物联网，云边一体的数据交换与汇聚

01 再谈数据的汇聚与交换

       数字经济时代，对于数据的应用，深入到了工作与生活的方方面面，而能够最大发挥数据价值的前提条件即是在于做好数据汇聚与交换，进行数据源与数据同步管理，解决数据孤岛问题、提供数据服务，为进一步解决数据分散、杂乱的问题提供集中与共享能力。

       与此同时，随着5G通信技术的普及，物联网异军突起，机器人、生产自动化、办公自动化、智能家居、智能佩戴、智能医疗，大量的物联网设备与技术融入了生产生活当中，大量边缘化与集中化平台需要信息共享，需要云边一体化的数据交换的能力。

       在数字化建设推进过程中也伴生出一些问题，影响着数据的汇聚与交换：

丨数据环境复杂、数据结构跨度大。

丨物联网的崛起，在数字化进程的融合。

丨数据量与之俱增，各异的增长规律。

丨IT环境复杂，数据通道的不稳定与数据一致。

       明易达推出的「易捷数据源与数据同步管理」平台，作为数据中台的重要基础能力，为数据平台与数据应用场景提供了稳定、健壮、高效、统一的数据流，在面向智慧城市、智慧园区、智慧校园、仓储物流等场景中，融合、交换众多业务主数据与物联网信息，在云边融合以及云边网融合的大信息时代可发挥重要的抓手作用。

 

02 异源异构数据的接入

       面对复杂的数据环境、空间跨度大的数据结构，以及不同数据源与数据格式的接入，同时非主流的数据源还会时有出现，「易捷数据源与数据同步管理」平台内置了主流数据源的适配能力，并提供自定义的适配扩展能力。

丨内置引擎：内置了市面上主流的数据接入引擎，如MySQL、ES、Oracle、Hive、DM、Hbase、Redis、Kafka、PostGRESQL等，实现开箱即用。

丨自定义扩展适配器：根据实际接入需求自定义数据库引擎的相关参数，支持对适配器参数字段进行扩展。

丨异构数据映射：通过可视化界面对采集源和目标库的字段映射关系进行对应调整，提供字段映射，解决数据异构。

 

03 物联网的对接管理

        随着大量传感器、机器人的应用普及，在各种IT环境中，物联网的数据成为了数字化建设过程不可或缺的重要组成，「易捷数据源与数据同步管理」平台将物联网接入管理与主数据集成融为一体，可完善整体的数字化能力。

丨物联网接口管理：定义物联网设备的厂家与类型，提供相应接口服务能力的配置与查看；

丨物联网协议转换：物联网设备种类繁多，对接协议各有不同，面对场景应用，提供了协议转换，形成了统一的物联网数据对接方式。

丨物联网报文转换：自定义属性元数据，属性具有命名空间管理；

丨物联网接口维护：面向复杂的物联网环境，提供统一的调试工具，方便建设期与运行期的接口测试与问题定位；

 

04 同步作业的丰富规则

        数据量与之俱增，各异的增长规律，「易捷数据源与数据同步管理」平台基于各种数据环境定义不同的同步规则，对数据源进行有效跟踪，同时基于各种资源与数据环境，进行了吞吐量的能力适配。

丨离线同步：可处理各种数据源和数据目标，支持多种文件格式，从而满足不同的数据同步和数据处理需求，同时可进行同步策略配置。

丨实时同步：通过解析binlog抓取增量数据，配置完成即可执行CDC同步任务。

丨记录追溯：可查看自动保存的离线/实时同步任务执行记录，并进行定期删除。

丨扩展同步：可自定义扩展采集源和目标库种类，并对其配置参数进行自定义编辑。

丨吞吐能力：通过分布式与缓存通道机制，支持从每秒MB的接入到每秒GB的接入能力

 

05 作业的健壮性与可靠性保障

       IT环境日益复杂，独立平台可通过冗余方案提供系统的可靠性与健壮性，跨平台数据通道的不稳定性与数据一致性的保障是数据同步成败的关键。「易捷数据源与数据同步管理」平台通过分布式监控、重试、故障切换以及断点续传的补偿能力，极大的保障了平台作业的健壮性与可靠性。

丨分布式监控：独立的分布式同步作业监控能力，及时发现同步与交换作业的异常。

丨重试机制：监控平台发现作业异常，按照预先设定的规则，进行作业重启措施；

丨故障切换：对于无法重启的作业以及异常工作节点，系统将采取故障作业切换机制，选择合适的工作节点，重启作业。

丨断点续传：采取断点续传与once at least同步策略，保障了数据的一致性。