模式分类(Pattern Classification) 第二章 贝叶斯决策理论
在第一节介绍中,给出了在决策过程中,只用先验概率的不足:只能决策一次,在以后的过程中给出的决策结果都是一样的,这个用在决策论中很不足。
究其原因,是在决策过程中,使用的信息太少。没有用feature,给出了calss-conditional probability density也就是类条件概率密度。 先验概率 + 类条件概率密度 给出了决策信息的组合。同时给出了贝叶斯公式,在该章,或者是模式分类很大一块上,都是基于这个公式做了一个问题的转化。 将先验概率 + 类条件概率密度 转化为后验概率,从而指导我们分类。
给出后验概率并不代表就给出了分类方法或者说决策规则。引入了最小化错误概率(minimize the probability of error),这个才是我们的目的。用这给出了贝叶斯决策规则,让规则不和后验概率绑定,是为了以后我们简化计算,找到问题的本质,提供余地。所以就可以写出很多的决策规则,虽然都和后验概率有那么点关系。
那么一个决策过程的大体框架搭设好了,以后就是对这个框架具体化了。这个是贝叶斯公式在模式分类中应用的,理论基础。一切基础都是构建在其之上,修改一些条件,从而去适合一些情况,得到一些决策规则。
贝叶斯决策理论的形式上扩展,在此节,给出了用数学语言来表示贝叶斯决策问题。一个类向量,feature空间,feature向量等。用它们做基础进行给负责情况下,贝叶斯决策问题的数学推导。而且还引入了"风险"概念,让决策目的更明确了,从最小化错误概率(minimize the probability of error)到最小化风险,从而使得决策理论更有效应用于实际问题。
用一个两—类分类问题,提出了如何利用贝叶斯公式,后验概率推导我们的决策函数
最小错误率分类节,给出了从后验概率,在有损失函数的情况下,如何推导出决策规则。提出了Minimax最小化最大可能总风险准则,Neyman-Pearson准则。
分类器,判定函数,决策面。 给出了决策规则,在实际中的表示和实现。它们从数学推导中出发,用这些概念来构造分类器,也就是分类的最后输入。
正态分布密度,在这节,给出了研究最活跃,透彻的正态分布模型,一般的feature是以这样的概率密度的随机分布。有单变量的和多变量。一些数学基础,对于我来说,有些难,但是他是以后分析的基础。
在假定正态分布基础上,对判定函数进行了推导,用一些特殊的假设,来简化我们的判断式。一般正态分布也就有个协方差矩阵,我们一般在其基础上进行讨论。把其简单化,复杂化等,都是在协方差矩阵的基础上。在该节给出了好多图像例子,可以对判断面有一些直观的认识。使得我们明白,我们做的数学模型,是什么样子的架构,图像一画出,我们就很容易了解我们的模型复杂度。好好体会这些图像吧。
第七节,从错误概率和错误积分角度讲分类器的特性,用联合密度的加(离散情况)或者积分(连续情况)来得到错误概率,对于多类问题,求错误概率太麻烦,所以用正确概率来表示分类器的特性。
第八节,给出了正态分布的错误边界的上界,Chernoff边界和Bhattacharya边界,两者的区别,和求法对我来说,好像难了点,先有个大致了解吧。这些讲述了信号检测用的ROC曲线,在Data Mining书了有涉及,大致了解。 这些方法,最主要的是搞清在实际中如何应用,然后建造和上述边界相同的模型处理,再套用上述求法。
第九节,如果特征值是离散的,那么贝叶斯决策理论如果处理。将积分运算,变成加运算。
第十节,也是给出了实际中可能遇到的情况,正如上面的离散情况,如果遇到缺失值或者噪声值如何办,这里给出的处理是,在缺失值所在领域积分,求其均值。噪声的话,就需要个噪声条件概率,用它去求后验概率。
第十一节,贝叶斯置信网,我是第一次看到(孤陋寡闻阿),感觉这么处理随机变量的有点粗糙,因为它将相关关系,都处理为因果关系,而是还是单向的,我的感觉,事物的相关关系,至少也应该是想神经网络那样错综复杂的,但这样一个模型应该不好计算吧。不过在实际应用中,贝叶斯置信网应该很不错,事物之间的依赖并不要求那么的确定(事物关系之间的本质关系,那是那么容易就说清呢,神经网络研究告诉我们,可能事物,比如,神经元,自身的结构不负责,复杂的是事物之间的联系,反馈,加权值等等,它们构造了复杂系统的特性),但是在实际应用中,却给了很大的指导作用,从而不会让我们迷失了复杂的关系面前,而毫无办法。置信网络是由,节点(事物,父节点,子节点),连接(因果关系),和条件概率表(父节点,如何对子节点产生影响)表示。 用置信网络可以使得求联合概率成为可能,使联合概率等价于一些条件概率的乘积。
第十二节,同样是从应用考虑,如果决策时,使用上下文的信息,也就是,上次的决策,对下面决策有什么有用信息。给出了数学表示,并没有深究,据说第三章还有描述。
这一章,总的来说,是对贝叶斯决策的一个介绍性描述,给出了最基本的理论基础,先验概率和后验概率,然后如何用后验概率,构建决策规则,在构建过程中考虑错误概率,或者错误风险(成本)的情况。并着重讲述了,当特征值(或称事例的属性值)的概率分布为正态分布的数学求解,仔细体会它的求解过程,可以指导我们面对其他分布情况的求解。而且还给出了评估该模型的简单准则。在其简单模型上,有实际中遇到的问题,进行了一些扩展,缺失值,噪声值,离散值(不同于正态分布的概率分布),组合决策等实际扩展。还有贝叶斯置信网,这个很有用的求联合分布的工具,对于相关性作了一些简化和探讨。
[广告] 特惠尝必胜客26道新品