模式分类（Pattern Classification） 第二章 贝叶斯决策理论
在第一节介绍中，给出了在决策过程中，只用先验概率的不足：只能决策一次，在以后的过程中给出的决策结果都是一样的，这个用在决策论中很不足。
究其原因，是在决策过程中，使用的信息太少。没有用feature，给出了calss-conditional probability density也就是类条件概率密度。 先验概率 + 类条件概率密度 给出了决策信息的组合。同时给出了贝叶斯公式，在该章，或者是模式分类很大一块上，都是基于这个公式做了一个问题的转化。 将先验概率 + 类条件概率密度 转化为后验概率，从而指导我们分类。
给出后验概率并不代表就给出了分类方法或者说决策规则。引入了最小化错误概率（minimize the probability of error），这个才是我们的目的。用这给出了贝叶斯决策规则，让规则不和后验概率绑定，是为了以后我们简化计算，找到问题的本质，提供余地。所以就可以写出很多的决策规则，虽然都和后验概率有那么点关系。
那么一个决策过程的大体框架搭设好了，以后就是对这个框架具体化了。这个是贝叶斯公式在模式分类中应用的，理论基础。一切基础都是构建在其之上，修改一些条件，从而去适合一些情况，得到一些决策规则。
贝叶斯决策理论的形式上扩展，在此节，给出了用数学语言来表示贝叶斯决策问题。一个类向量，feature空间，feature向量等。用它们做基础进行给负责情况下，贝叶斯决策问题的数学推导。而且还引入了"风险"概念，让决策目的更明确了，从最小化错误概率（minimize the probability of error）到最小化风险，从而使得决策理论更有效应用于实际问题。
用一个两—类分类问题，提出了如何利用贝叶斯公式，后验概率推导我们的决策函数
最小错误率分类节，给出了从后验概率，在有损失函数的情况下，如何推导出决策规则。提出了Minimax最小化最大可能总风险准则，Neyman-Pearson准则。
分类器，判定函数，决策面。 给出了决策规则，在实际中的表示和实现。它们从数学推导中出发，用这些概念来构造分类器，也就是分类的最后输入。
正态分布密度，在这节，给出了研究最活跃，透彻的正态分布模型，一般的feature是以这样的概率密度的随机分布。有单变量的和多变量。一些数学基础，对于我来说，有些难，但是他是以后分析的基础。
在假定正态分布基础上，对判定函数进行了推导，用一些特殊的假设，来简化我们的判断式。一般正态分布也就有个协方差矩阵，我们一般在其基础上进行讨论。把其简单化，复杂化等，都是在协方差矩阵的基础上。在该节给出了好多图像例子，可以对判断面有一些直观的认识。使得我们明白，我们做的数学模型，是什么样子的架构，图像一画出，我们就很容易了解我们的模型复杂度。好好体会这些图像吧。
第七节，从错误概率和错误积分角度讲分类器的特性，用联合密度的加（离散情况）或者积分（连续情况）来得到错误概率，对于多类问题，求错误概率太麻烦，所以用正确概率来表示分类器的特性。
第八节，给出了正态分布的错误边界的上界，Chernoff边界和Bhattacharya边界，两者的区别，和求法对我来说，好像难了点，先有个大致了解吧。这些讲述了信号检测用的ROC曲线，在Data Mining书了有涉及，大致了解。 这些方法，最主要的是搞清在实际中如何应用，然后建造和上述边界相同的模型处理，再套用上述求法。
第九节，如果特征值是离散的，那么贝叶斯决策理论如果处理。将积分运算，变成加运算。
第十节，也是给出了实际中可能遇到的情况，正如上面的离散情况，如果遇到缺失值或者噪声值如何办，这里给出的处理是，在缺失值所在领域积分，求其均值。噪声的话，就需要个噪声条件概率，用它去求后验概率。
第十一节，贝叶斯置信网，我是第一次看到（孤陋寡闻阿），感觉这么处理随机变量的有点粗糙，因为它将相关关系，都处理为因果关系，而是还是单向的，我的感觉，事物的相关关系，至少也应该是想神经网络那样错综复杂的，但这样一个模型应该不好计算吧。不过在实际应用中，贝叶斯置信网应该很不错，事物之间的依赖并不要求那么的确定（事物关系之间的本质关系，那是那么容易就说清呢，神经网络研究告诉我们，可能事物，比如，神经元，自身的结构不负责，复杂的是事物之间的联系，反馈，加权值等等，它们构造了复杂系统的特性），但是在实际应用中，却给了很大的指导作用，从而不会让我们迷失了复杂的关系面前，而毫无办法。置信网络是由，节点（事物，父节点，子节点），连接（因果关系），和条件概率表（父节点，如何对子节点产生影响）表示。 用置信网络可以使得求联合概率成为可能，使联合概率等价于一些条件概率的乘积。
第十二节，同样是从应用考虑，如果决策时，使用上下文的信息，也就是，上次的决策，对下面决策有什么有用信息。给出了数学表示，并没有深究，据说第三章还有描述。
这一章，总的来说，是对贝叶斯决策的一个介绍性描述，给出了最基本的理论基础，先验概率和后验概率，然后如何用后验概率，构建决策规则，在构建过程中考虑错误概率，或者错误风险（成本）的情况。并着重讲述了，当特征值（或称事例的属性值）的概率分布为正态分布的数学求解，仔细体会它的求解过程，可以指导我们面对其他分布情况的求解。而且还给出了评估该模型的简单准则。在其简单模型上，有实际中遇到的问题，进行了一些扩展，缺失值，噪声值，离散值（不同于正态分布的概率分布），组合决策等实际扩展。还有贝叶斯置信网，这个很有用的求联合分布的工具，对于相关性作了一些简化和探讨。
[广告] 特惠尝必胜客26道新品
