数据集成之主数据管理（一）基础概念篇数据集成是当下比较热门的话题，相关的产品和平台也越来越多。很多CIO都在各种数据集成平台和产品之间犹豫不决。因此对数据集成平台的框架体系有全面的理解，对各个厂家产品所提供的功能有深入的认识才能为数据平台选型的决策提供可靠的保证。我有幸参与了国内一个知名企业的集成平台的设计工作，并主导了数据集成平台的需求分析和产品选型工作。这次工作中，研究了很多新的技术方向和产品，下面我主要讲一下数据集成领域的一种新兴的产品平台主数据管理平台MDM（MasterDataManagement）。主数据的概念首先介绍一下什么是主数据。这里借用其他网站的一个数据分类模型，我们可以看到有元数据（metadata）,引用数据（ReferenceData），主数据（MasterData），企业结构数据（EnterprisestructureData）,交易活动数据（TransactionActivityData），交易审计数据（TransactionAuditData）这六大类数据。简要解释一下这六大类的数据，关于这些数据分类的定义可以在网上很容易的找到。元数据：数据的数据，平时我们设计表时，大部分属性字段就是元数据。比如，性别，国籍，出生省份等。这个是最接近自然意义的的数据。引用数据：元数据的可能取值范围，我们设计表时所说的数据字典往往就是引用数据。比如，性别只能是男和女，男和女就是引用数据。国家的引用数据就是世界上这100多个国家和地区；主数据：在我们数据库设计中最重要的一些实体，是由元数据和引用数据实例的集合。DMReview专栏作家JaneGriffin将主数据定义为“...用于为核心业务实体创建和维护全企业‘记录系统’，以记录业务交易并评定这些实体的业绩所需的信息。”平时我们常碰到的客户信息，产品信息都属于主数据。对于主数据的介绍，我们会在后面详细展开说明。企业结构化数据：企业业务中所需的数据实体，可能是多个主数据的集合。不同行业的结构化数据会有很大不同。交易活动数据：主数据之间活动产生的数据。比如客户购买产品的交易记录就是交易活动数据，工厂生产产品，生产记录也是交易活动数据。交易审计数据：我们对数据的所有活动都通过交易审计数据进行记录。比如我们对客户信息修改的操作，对交易的增加和删除操作，这些活动在很多关键系统（比如银行）都需要记录，以合符相应法规的要求（如BaselII、萨班斯—奥克斯利法案）。下图中数据模型中的蓝色越深代表语义相关性越强和数据质量越重要，而黄色越深代表数据的数据数量越多、更新的频率越快、实时抓取的数据越快、数据的生命越短。下图可以看到，元数据的数据语义性最强，几乎不更新，数据量最少，生命周期最长。HYPERLINK"http://www.dmreview.com/issues/20060401/1051002-1.html"http://www.dmreview.com/issues/20060401/1051002-1.html主数据是企业应用系统中最基本的业务单元，下面是一段英文的原文：MasterDataarethefundamentalbusinessdatainthecompany,typicallylong-livedandusedacrossmultipleapplications。CoreMasterDataareoperationalentities,supportingallfundamentalbusinessactivitytransactionsbeingexecutedonthislevel.TheCoreMasterdataarecommonandshareablewithintheorganization。我觉得很好理解，比如一个产品系统，它处理的基本数据就是生产数据。HR系统处理的基本数据是雇员；CRM系统是客户一般来说核心主数据包含：Customers,Contracts,Suppliers,Distributors/Partners,Employees等等。另外，各个行业对于主数据的管理的需求和期望会有很大不同，因此行业经验对于主数据管理也是很重要的。主数据管理的概念从上面的介绍可以了解，主数据并不是什么新的概念，但为什么之前没有主数据管理的产品呢？其实，解释这个问题和解释数据集成出现的原因很类似。因为之前主数据依附于各个单独的业务系统，比如HR,ERP，SCM，企业的网站，商业合作伙伴的系统都可能对某一个主数据有存储，比如某个产品。问题随之来了，如系统间数据编码不一致；数据的冗余；某些系统数据的不完整。举个实际的例子，如果我们新建一个BI的系统，那么有可能我需要从生产系统，财务系统，物流系统，企业合