|
|
本帖最后由 keithguofan 于 2014-7-31 16:54 编辑
谈第二个话题：
数据挖掘受到了很多学科领域的影响，其中数据库、机器学习、统计学无疑影响最大
。粗糙地说，数据库提供数据管理技术，机器学习和统计学提供数据分析技术。由于统计学界往往醉心于
理论的优美而忽视实际的效用，因此，统计学界提供的很多技术通常都要在机器学习界进一步研究，
变成有效的机器学习算法之后才能再进入数据挖掘领域。从这个意义上说，统计学主要是通过机器
学习来对数据挖掘发挥影响，而机器学习和数据库则是数据挖掘的两大支撑技术。
从数据分析的角度来看，绝大多数数据挖掘技术都来自机器学习领域。但能否认为数据挖掘只
不过就是机器学习的简单应用呢？答案是否定的。一个重要的区别是，传统的机器学习研究并不把
海量数据作为处理对象，很多技术是为处理中小规模数据设计的，如果直接把这些技术用于海量数
据，效果可能很差，甚至可能用不起来。因此，数据挖掘界必须对这些技术进行专门的、不简单的
改造。例如，决策树是一种很好的机器学习技术，不仅有很强的泛化能力，而且学得结果具有一定
的可理解性，很适合数据挖掘任务的需求。但传统的决策树算法需要把所有的数据都读到内存中，在面对海量数据
时这显然是无法实现的。为了使决策树能够处理海量数据，数据挖
掘界做了很多工作，例如通过引入高效的数据结构和数据调度策略等来改造决策树学习过程，而这
其实正是在利用数据库界所擅长的数据管理技术。实际上，在传统机器学习算法的研究中，在很多
问题上如果能找到多项式时间的算法可能就已经很好了，但在面对海量数据时，可能连
算法 都是难以接受的，这就给算法的设计带来了巨大的挑战。
机器学习和数据挖掘以及统计之间的关系表面上很像，但是也有非常大的区别
相似点在于：都是数据分析的工具，三个领域内都有办法用来分析同一数据，基本原理都很浅显。
不同点在于：
统 计对模型的要求比较苛刻，如谢所引，一定要对模型的各种性质，比如大样本，小样本，是否无偏，有多大的variance，是否达到c-r bound，是否一致，最后最好还要有model checking. 机器学习很少关心模型在大样本的情况下如何，也不关心estimator的传统的性质－－这也可能是因为他们的模型太过复杂，无法从数学上证明，这也从一个侧面反映了为什么normal distribution在统计中的用处如此之大（有了它，很多模型的性质的研究就便的容易了），也有可能是因为他们一般都用在数据量大的地方－－但是机器学习却挺关心另一个东西－－error，包括empirical error and structural error。举个简单的例子，我们眼看着神经网络和支持向量机这两种网络模型很流行，很容易懂，很有用，但是很多人却不知道它们来自何处，为什么能具有对广泛的数据拥有广泛的用途，为什么精度会很高？－－背后的原因很简单，它们两分别优化的是这两种error。而机器学习正是着眼于研究这两种error，通过这两种error的研究垮身为一种具有很浓数学味道的学科－－用了大量的分析学－－而这一点也是它与数据挖掘的本质区别－－数据挖掘只需要设计一张鱼网（算法），在大量的数据中网到自己需要的模式，很多时候相当的需要运气。所以很多人都说这是渔夫的工作。
统计学习和机器学习的差别不怎么大。倒是统计建模和机器学习有些差别。2001年Brieman（是这么拼的吗？）写了一篇文章，叫做statistical modeling：two cultures，介绍了之间的区别。统计建模是基于数据的概率分布的。因此统计模型中很重视推断inference，这些推断，比如假设检验，置信区间，都是基于某种分布假设的。而机器学习最近本的问题，便是要最小化预测误差的某种度量。这两种方法对于世界的认知是不同的。统计建模，最终的目的，是获得数据的概率分布，如果数据产生的分布已知，那么就天下大吉。统计建模认为世界可以用概率分布来逼近。而机器学习不这么认为，它不在乎数据产生于什么分布，并且认为这个世界运行的方式是无法单纯用概率分布来解释的，比如神经网络。因此，它的目的，是预测的精准性。这是两种建模的方式，而归根结底，是对这个世界认知的方式。
统计学习更倾向于模型，通常会基于某种已知的模型就行计算。而机器学习更倾向于数据本身，往往会通过某些算法（决策树，聚类，支持向量机，神经网络等）来从数据本身挖掘信息。
总的来说：机器学习是数据挖掘中的一种重要工具。然则数据挖掘不仅仅要研究、拓展、应用一些机器学习方法，还要通过许多非机器学习技术解决数据仓储、大规模数据、数据噪音等等更为实践问题。机器学习的涉及面也很宽，常用在数据挖掘上的方法通常只是“从数据学习”，然则机器学习不仅仅可以用在数据挖掘上，一些机器学习的子领域甚至与数据挖掘关系不大，例如增强学习与自动控制等等。所以我个人认为，数据挖掘是从目的而言的，机器学习是从方法而言的，两个领域有相当大的交集，但不能等同。
|
|
楼主: pipihappy8888
IP卡
狗仔卡
发表于 2014-7-30 16:59
显身卡
楼主
