The Elements of Statistical Learning.ppt

Model Selection 非参数模型选择的三种方法： Roughness Penalty Kernel Methods and Local Regression Basis Function and Dictionary Methods Model Selection Roughness Penalty: 一般形式就是在损失函数后面加上一个惩罚函数。例如 二次可微的时候，可以令 取不同的值，对应不同的光滑性要求。 这其实等价于较光滑的函数具有较高的先验级别（类比先验概率） Model Selection Kernel Methods and Local Regression 核方法其实就是对不同位置上的训练集中的点赋予不同的权重，例如 利用核函数，我们可以进行加权的局部回归 Model Selection Basis Function and Dictionary Methods: Dictionary Methods就是从无穷多的函数集合（Dictionary）中依据某种方式选出来一些基，然后线性拟合函数 Basis Function就是用 的函数来代替 进行回归 Model Selection 模型中某些参数的选择，如： 惩罚项的乘数 核的宽度 函数基的个数 不能通过最小化目标函数来完成。否则必然会有过度拟合。解决方法多元统计中的cross-validation等 Model Selection 模型复杂度对variance-bias trade-off的影响： 模型复杂度越高，variance越高，bias越低（模型复杂度的定义） The Elements of Statistical Learning Chapter 2: Overview of Supervised Learning 季张龙 Contents 基本术语(2) 两种基本算法：Linear Model和Nearest Neighbor Methods(3) Loss Function和Optimal Prediction(4) Curse of Dimensionality(5) Additive Model(6) Model Selection(6,7,8,9) 基本术语 Machine Learning: 根据给定的算法从已知的数据中习得一定的规则，这些规则可以依据类似的输入决定输出 Supervised Learning（有监督学习）： In supervised learning, the goal is to predict the value of an outcome measure based on a number of input measures 基本术语 Training Set(训练集)： The outcome and feature measurements we have observed Prediction Model, or Learner: predict the outcome for new unseen objects (based on our algorithm and training set) Predictor或feature: 标记为 ，自变量 Response：变量 基本术语 变量主要有两种，连续的称为quantitative，标记为 ，不连续的称为qualitative/ categorical，标记为 ，一般情况下各个种类没有顺序关系。 输出连续性response的叫做Regression（回归），不连续的叫做Classification（分类） 基本术语 Dummy Variable：K-level qualitative variable is represented by a vector of K binary variables or bits, only one of which is “on at a time Contents 基本术语(2) 两种基本算法：Linear Model和Nearest Neighbor Methods(3) Loss Function和Optimal Prediction(4) Curse of Dimensionality(5) Additive Model(6) Model Selection(6,7,8,9) 两种基本算法 Linear Model（线性模型，内容略） 同时是最小二乘估计，最小化 是数量值时容易处理，这就是一种回归 如果 是dummy variables，则以上方法可以作为分类， 两种基本算法 Nearest