数据仓库和数据挖掘6数据挖掘原理柏柯嘉baikejia@tom.com数据仓库和数据挖掘主要内容1数据挖掘的概念2数据挖掘和数据仓库3数据挖掘和知识发现柏柯嘉baikejia@tom.com数据仓库和数据挖掘主要内容1数据挖掘的概念2数据挖掘和数据仓库3数据挖掘和知识发现柏柯嘉baikejia@tom.com数据仓库和数据挖掘数据仓库和数据挖掘数据挖掘是从数据仓库中找出有用信息的一种过程与技术数据挖掘不平常的数据仓库暗藏的先前未知的可能有用的有用信息若把大量的数据比做藏有金子的山，OLAP提供了在山中各处迅速地观察工具，它能让你迅速的到达你想到的地方。但不能告诉你是否此处有价值。如果山是巨大的，发现其中重要的有价值的位置本身是非常耗时的。柏柯嘉baikejia@tom.com数据仓库和数据挖掘数据挖掘的概念数据挖掘就是从大量数据中获取有效的、新颖的、数据挖掘就是从大量数据中获取有效的、新颖的、潜在有用的、最终可理解的模式的非平凡过程潜在有用的、最终可理解的模式的非平凡过程简单的说，数据挖掘就是从大量数据中提取或简单的说，数据挖掘就是从大量数据中提取或““挖挖掘掘””知识，又被称为数据库中的知识发现知识，又被称为数据库中的知识发现数据源必须是真实的、海量的、含噪声的含发现的是用户感兴趣的知识发现的知识要可接受、可理解、可运用义并不要求发现放之四海皆准的知识，仅支持特定的发现问题柏柯嘉baikejia@tom.com数据仓库和数据挖掘数据挖掘技术数据挖掘技术是人们长期对数据库技术进行研究和开发的结果。起初各种商业数据是存储在计算机的数据库中的，然后发展到可对数据库进行查询和访问，进而发展到对数据库的即时遍历。数据挖掘使数据库技术进入了一个更高级的阶段，它不仅能对过去的数据进行查询和遍历，并且能够找出过去数据之间的潜在联系，从而促进信息的传递。柏柯嘉baikejia@tom.com数据仓库和数据挖掘支持数据挖掘技术的基础超大规模数据库的出现，例如商业数据仓1库和计算机自动收集的数据记录强大的多处理器计算机，例如更快和更大的计算能力和并行体系结构23海量数据搜索，对巨大量数据的快速访问数据挖掘算法的发展4柏柯嘉baikejia@tom.com数据仓库和数据挖掘从商业数据到商业信息的进化进化阶段商业问题支持技术产品厂家产品特点提供历史性数据搜集“过去五年中我的总计算机、磁带和IBM、CDC的、静态的数(60年代)收入是多少？”磁盘据信息“在广州的分部去年关系数据库，Oracle、Sybase、在记录级提供数据访问三月的销售额是多SQL、Sybase、Informix、IBM、历史性、动态(80年代)少？”Informix、DB2Microsoft数据信息在广州的分部去年联机分析处理在各种层次上数据仓库；Pilot、Comshare、三月的销售额是多（OLAP）、多维提供回溯的、Arbor、Cognos、决策支持少？全国据此可得数据库、数据仓动态的数据信年代Microstrategy(90)出什么结论？”库息“下个月全国的销售高级算法、多处Pilot、Lockheed、数据挖掘提供预测性的会怎么样？为什理器计算机、海IBM、SGI、其他初（正在流行）信息么？”量数据库创公司柏柯嘉baikejia@tom.com数据仓库和数据挖掘数据挖掘与其他科学的关系数据库技术统计学机器学习数据挖掘可视化信息学高性能计算柏柯嘉baikejia@tom.com数据仓库和数据挖掘实施数据挖掘的目的不再是单纯为了研究，更主要的是为商业决策提供真正有价值的信息，进而获得利润。所有企业面临的一个共同问题是：企业数据量非常大，而其中真正有价值的信息却很少，因此需要从大量的数据中经过深层分析，获得有利于商业运作、提高竞争力的信息，就像从矿石中淘金一样，数据挖掘也由此而得名。柏柯嘉baikejia@tom.com数据仓库和数据挖掘数据挖掘的主要功能其他功能概念/类别描述时间序列分析功能关联分析聚类分析分类和估值柏柯嘉baikejia@tom.com数据仓库和数据挖掘概念/类别描述概念/类别描述是指对数据集做一个简洁的总体性描述并/或描述它与某一对照数据集的差别。移动电话费月消数据集费额超出1000元的客户资料数据挖掘分析35－50岁，有工总体性描述作，月收入5000