图可是恒天软件自主研发的一款图形化的大数据计算编排引擎,提供一系列底层功能节点,将数据输入输出、数据处理等定制化部分全面统一。通过简单的拖拽和配置,对大数据的计算逻辑进行高度抽象和管理,并对计算任务进行调度和监控,从而一站式地解决数据接入、数据同步、数据校验、数据转换、数据计算以及数据输出。
产品功能
数据接入
图可引擎提供输入节点,支持多种数据源的接入适配。通过识别统一资源标识符URI,图可输入节点可自动识别及调用相关适配器。
数据同步
图可允许设置数据的排序字段,数据的主键或联合主键,支持数据接入时全量同步和增量同步。数据校验、转换、计算数据校验、转换规则被视作数据计算规则的一种,都通过计算设计器来配置。数据处理包括了字段的上下限检查、正则校验、空值处理、精度变换、格式转换、字段加解密、字段脱敏、字段组合计算、记录去重、记录组合计算、大表连接、筛选、过滤、合并、分组等各种不同处理逻辑。另外还支持利用SQL语句自定义处理逻辑。
数据输出
与数据接入对应,图可的计算结果能够输出到不同目标存储,比如数据文件、数据库、内存缓存、消息队列等
设计项目管理
主要管理由计算设计器完成的设计项目,方便拖拽逻辑的复用。逻辑以JSON格式保存到数据库。
任务管理
计算设计器完成计算配置后,提交到任务中心进行任务配置。包含任务频率、异常处理、断线重连和任务断点续跑等。