用决策树方法对手写数字的识别.doc

决策树的matlab实现（运用在手写数字的0，1识别） [1]单个决策树的实现。 一、载入实验数据 %载入实验的原始数据 images = loadMNISTImages(train-images.idx3-ubyte); labels = loadMNISTLabels(train-labels.idx1-ubyte); images_0=images(:,labels==0); images_1=images(:,labels==1); Images_te = loadMNISTImages(t10k-images.idx3-ubyte); Labels_te = loadMNISTLabels(t10k-labels.idx1-ubyte); Images_te_0=Images_te(:,Labels_te==0); Images_te_1=Images_te(:,Labels_te==1); %对原始数据进行处理 X=[images_0 images_1]; %将0和1的训练样本拼接成新的矩阵。注意此时时是每一行代表一个样本。 Y=[zeros(5923,1) ones(6724,1)]; %生成训练样本相应的类别标签，是一个列向量。每一个元素代表相应 样本所属于的类别。 Images_te_0=Images_te_0; %测试样本的数字0，每一行代表一个样本。 Images_te_1=Images_te_1; % 测试样本的数字1，每一行代表一个样本. 二、构建决策树 t=treefit(X,Y); % X是训练样本，一定注意是每一行代表一个样本数据。Y是训练样本 % 所对应的类别标签，仍旧是一个列向量。t就是根据训练样本构建的一个决策树。 三、用决策树对测试样本进行分类 result0=treeval(t,Images_te_0); % 对测试样本手写数字0进行识别。result0为一个列向量，每一元素表示对应样本被识别为的类。 %treeval函数的格式为treeval(t,X)，其中，t为构建的决策树，X为测试样本。一定要注意X的每一行表示的是一个样本。 result1=treeval(t,Images_te_1); %对测试样本数字1进行分类。 四、错误率分析 error0=find(result~=0); error1=find(result~=1); %找出被识别错误的数字0和1的索引。 rate0=size(error0,1)/980; rate1=size(error1,1)/980; %分别计算错误率。 实验结果为 rate1= 0.007048458149780 rate0= 0.004081632653061 可以看到正确几乎接近100% 五、显示决策树 treedisp(t);或者是view(t); 如下： 六、对决策树进行剪枝 在对决策树进行剪枝之前，我们需要计算交叉验证的最小错误率水平。具体过程为： 我们计算不同k值下的k-fold cv ，找出错误率最小的那个k值。在matlab上的实现是用我自己编写的trcv函数做的。如下： k=trcv(10,X,Y); 找到了k，我们就按照这个k值来对我们建立的决策树进行剪枝。用函数prune实现。如下： tree_new=prune(t,level,k); 实现结果为： k=4； view(tree_new)的结果如下 我们发现经过剪枝，决策树变得简单许多。下面我们可以用这棵新树对测试样本进行测试。在此就不再做了。 [2]用随机森林来实现 我自己编写了一个随机遇森林函数rf，用它可以直接实现。实现过程如下： labels0_te=zeros(980,1); %载入测试样本的标签 [w,err]=rf(X,Y,Images_te_0,labels0_te,5); 最后的错误率为err=0.001.比之前0.004提高很多。我们find(w~=0); 发现只有一个样本被识别错误而已。