科杰科技：企业数据资产管理的一体化实现

科杰科技数据资产管理产品帮助企业构建数字资产中心，完成数字资产的汇聚和管理，打造企业数字资产/IT资源治理和运营的统一门户，实现资产生命周期全程可视、可溯、可管、可用，并逐步实现IT异构资源的运营和管理，对外提供一致性的IT服务体验；拉通各底层产品的原子能力，实现数字资产的一键发布、一键订阅，拉通资产的开发、发布、部署、复用等环节端点，端到端构建支撑业务创新的技术平台。

系统架构

数据资产平台业务架构设计分为五层，即展现层、应用层、支撑层、数据层、基础层，如下图所示。

数据模型：将平台内集成的数据进行逻辑分类及逻辑模型创建，最终根据业务需求将模型数据物化到数据库中。

元数据管理：通过采集在平台上管理客户的业务库的元数据，实现对已有库表的元数据的管理。

资产目录：经过管理员补充完善并审批通过数据资源，展现在资产目录页面，普通用户可对资源目录进行检索，并提供各类数据统计的结果查询。

个人中心：对数据资产进行管理、流程审批等操作，可以对数据资产进行收藏和展示。

02产品能力

企业级元数据的统一管理能力

科杰科技平台支持各类源头的元数据自动化采集，一键采集对接，包括通过接口采集外部资产的元数据。支持元模型属性的自定义扩展，能够满足元数据管理快速实施的需要，可适应用户在不同时期的不同管理需要。支持维护业务元数据属性值，打通技术和业务限制，并配合版本管理，能完整存储元数据整个生命周期动态和变化，方便用户跟踪业务运作的历史数据。

数据资产目录自动生成与服务能力

基于平台统一管理的企业元数据及整合的各类数据，可输出企业级数据资产目录，反映企业数据资产情况，体现数据有哪些、谁管理、数据量、表信息、字段信息等。用户可通过资产目录进行数据查询及查看等。

丰富的数据资产类型

平台不仅支持多种数据库、文件等结构化和非结构化物理资源的定义、盘点和规划，还能够将富含业务知识的模型、指标、标签、接口等逻辑资源封装为数据产品，全方位的盘点企业的各类数据生产要素。

图形化分析，快速理清元数据关系

平台提供图形化的血缘分析、影响分析和全链分析功能，支持对某项元数据(表、字段)的上游数据信息、下游数据信息和上、下游数据信息之间关系进行可视化呈现，帮助用户快速理清元数据关系。

跨库跨源联合查询

提供hive、impala、spark_sql、presto等组件进行即席查询，支持不同查询场景下不同的查询需求，提供完整执行日志和执行结果，辅助开发进行业务逻辑的校验。

03功能介绍

数据资产目录是企业的数据资产门户，提供全域数据资产信息和数据质量管理管控的全部功能，可以面向企业所有用户开放，包含丰富、全面的元数据信息。提供多维度的元数据浏览、查询服务。自动沉淀企业数据资产信息可追溯的数据血缘关系，能够方便对数据资产的管理管控。数据资产管理包括业务流程数据域相关的数据管理。包含以下功能：

1.提供数据模型、数据表、数据标准、数据质量、数据标签、数据指标、API接口全部元数据信息，具备业务元数据、技术元数据、管理元数据全方位、多维度的元数据信息。

2.元数据信息快速检索：支持全文检索和分类筛选检索，通过搜索引擎和多维度的标签快速、准确定位所需元数据信息。

3.数据血缘关系图谱：可供追溯数据仓库中数据的完整血缘信息，呈现数据的来龙去脉。支持图形化的方式追溯数据血缘关系，从数据源到数据应用全链条的涉及的表、任务、负责人等信息查看。支持按层级展开方式分析数据路径。

4.个性化服务：提供收藏、访问记录和全文检索等个性化服务，帮助开发者方便管理和使用元数据信息。

数据资产门户

提供中台数据资产地图功能，以数据搜索为核心，通过可视化方式，综合反映有关数据基本信息、数量、应用、血缘关系、数据质量。帮助用户找到数据、读懂数据、消费数据，致力于为用户提供高效率的数据消费数据。业务资产和技术资产统一管理，提供以下功能。

元数据管理

（1）元模型管理

为了保障元数据在使用时的稳定性，系统提供元模型管理功能，支持内置keendata产品体系中的元模型，包括数据表、数据模型、数据指标、数据标签、数据标准、API接口；支持自定义业务元数据及管理元数据属性，打通业务元数据和技术元数据的关联。

（2）元数据采集

通过元数据规范采集数据源以及这些数据源之间的关系，并进行集中登记管理，形成自动获取数据源的全局视图，实现基于元数据自动获取数据信息。

对外部资产，通过接口采集的方式进行元数据的采集，获取要实现元数据的自动采集，需要在集成的元数据平台中配置自动采集策略和调度时间等，使元数据能够按预设的调度策略触发相应的元数据自动获取过程，满足元数据自动获取的时效性。

资产详情

（1）资产详情

点击检索结果的目标数据表的区域，可以进入仓库/集市内的数据表详情页面，在详情页面内，可按照业务元数据、技术元数据、管理元数据分类查看数据表详情信息，包括数据表质量、基础信息、表结构信息、版本信息、分区信息、预览表数据、表的血缘关系、字段血缘关系以及表在调度任务中的依赖关系等数据，除此之外还提供便捷操作功能，包括一键发起权限申请、收藏表方便用户判断并直接使用数据资产进行任务开发。

业务元数据：支持查看表的所在集市、主题、存储类型、数据库类型及自定义属性值。

技术元数据：

1）数据表综合质量报告：提供数据表综合质量报告数据，包括从完整性、稳定性、及时性、重复性、准确性、规范性等综合维度数据质量评分，热度、表日增量趋势、报警和阻塞趋势以及实际今日的质量预警信息，帮助用户综合判断质量上升趋势，及时关注问题数据，并采取对应措施提升数据质量和应用数据，页面如下。

2）数据表结构：提供数据表元数据信息、包括主键信息、字段信息、数据描述、且支持添加标签，方便用户解读数据，点击可查看血缘分析具体的字段上下游血缘关系，分析判断字段的影响链路；除此之外还提供权限控制下的分区信息，包括完整的数据分区字段信息、分区数量、分区大小，多级分区等全面的表结构信息，辅助用户创建数据任务，页面如下。

3）数据预览：提供目标数据表主数据预览功能，辅助用户预览当前表数据。如果没有权限，请根据实际业务使用需求单击“变更表权限”申请。

4)表血缘关系：平台通过解析任务提供中心表的血缘信息DAG图，包括中心表的上游、下游层级和全数据加工链路的数据表，可以清晰地展示数据的来龙去脉，可向上追溯到数据来源业务系统，向下追溯到数据应用业务系统，并提供多种交互，支持逐级展开，支持搜索结果表到中心表的链路展开，支持查看数据加工任务，并查看任务的详细DDL语句，支持特大任务的快速定位、全屏展示，放大和缩小等页面功能，非平台内创建的数据表也可呈现血缘关系，页面如下。

5）字段血缘关系：数据任务上线后的数据表可查看字段血缘关系，从字段名列表中，选择需要查看的字段的血缘可以根据血缘层级、血缘字段、任务类型、表名称、表负责人等信息，查看血缘关系的调度产出和完整链路。支持查看数据加工任务，并查看任务的详细DDL语句，支持血缘关系面板的快速定位、全屏展示，放大和缩小等页面功能，帮助用户做影响分析，通过切换目标表字段可实现目标字段血缘关系的追溯。页面如下。

6）版本管理：可切换版本查看数据表元数据信息，如下。

7）数据加载任务：可查看当前数据表关联的所有调度任务总数量和任务列表。

8）变更信息：单击目标表的变更记录，查看当前表的变更描述、变更类型、粒度、时间和操作人等变更记录。

9）相似表：单击目标表的相似表，查看相似表的名称、相似度、所属仓库、所属数据库、负责人、更新时间。

管理元数据：支持查看表的负责人、创建人、创建时间、DDL变更时间、关联任务数、更新类型及自定义属性值。

（2）血缘分析

通过自动解析的数据血缘关系，帮助企业简洁直观地发现数据流转关系、数据影响链路，合理订阅并维护用户关注的数据，当上游表结构发生修改时，可实时提醒下游表负责人，避免问题数据传导至下游，提升工作效率。

资产盘点

基于数据资产管理，统计平台中管理的元数据数量及分布情况。元数据盘点包含：元数据总量统计、热门搜索、资产收藏排名、模型按数据主题分布情况、资产占比情况。

查询分析

数据中台提供统一的数据资产管理，支持方便快捷地查看表元数据信息。可以在用户开发任务过程中，快速查看表的一些基本信息，包括字段、类型、描述、分区信息、表数据预览等。

04总结

科杰科技数据资产管理产品以“全域数据资产统一纳管”为核心目标，打通数据全生命周期的各个环节，以智能化手段解决企业中关键核心数据不可信、不可用、数据价值无法释放等痛点问题。通过平台形成从数据产生到消费应用的“数据供应体系”，让数据从离散无序，逐步沉淀、升级，成为真正可用、可信的数据资产，全面推进企业数字化转型，助力企业从数据资产中，要效率、要效益、要价值。