第一章 SAS决策树.doc

信贷风险建模试验 案例研讨系列（二） 概论 决策树通过应用一系列简单的规则建立起对观测数据的分类。决策树对于观测值的分类建立在变量的输入值基础上。每条规则都是在前一条规则形成的层次的基础上对观测数据的进一步划分，而最终建立的划分层次称为决策树，每个划分段称为决策树的一个结点。最初的未进行划分的片段包括所有的观测数据称作决策树的根结点。一个结点和它所有的后续结点共同构成一颗子树。决策树中最底层的结点叫做叶子。观测数据都将会被分配到其中的一个叶子之中。 建立决策树实例 本文将引用SAS软件自带数据（SAMPSIO.HMEQ） 图（1） （三）新建 数据挖掘项目 SAS的命令窗口输入命令 miner，进入数据挖掘窗口。 在菜单栏中选择 文件 —〉新建—〉项目，弹出新建数据挖据项目 如 图（2）。 图 （2） 在Create new project 窗口中点击 Create 按钮，进入new tree 项目。并为新的数据项目更名为：Tree Node。 （四）建立输入数据源结点 添加一个 输入数据源 结点，为本次数据分析建立起数据源。 增加一个 Input Data Source 结点，选择项目列表下方的Tools 选项。在列表中选择 Input Data Source结点，点击鼠标左键将Input Data Source拖入右侧的工作空间。 双击工作空间Input Data Source 结点，进入Input Data Source的设置窗口。 在Input Data Source设置窗口中的Data项中点击Select按钮，选择数据源。进入选择 SAS Data Set窗口。在Library项选择SAMPSIO—〉 HMEQ。 如图（3）。 图（3） 点击ok，回到Input Data Source设置窗口，选择Variables项，在variables项中找到BAD数据项，在BAD行 Model Role 项上点击鼠标右键选择Set Model Role选项—〉Target项，如图（4）。 图（4） 关闭Input Data Source设置窗口，并保存。 （五）建立 Data Partition 结点 Data Partition结点主要将元数据分为训练数据、验证数据和测试数据。其中训练数据用于生成决策树轮廓，验证数据用于比较响应变量的观测值和预测值，而测试数据使用不多。 像拖入Input Data Source结点一样，将Data Partition从左侧列表框拖入右侧的工作平台。 建立 Input Data Source 结点 和 Data Partition结点之间的连接。如图（5）。 图（5） 双击Data Partition 图标，进入属性设置界面，设置属性如图（6） 图（6） 关闭该窗口，并保存。 （六）建立 Tree Node 结点 Tree Node节点是进行决策树分析的中心结点，对它的不同设置和操作将对数据集建立起不同的决策树模型。 像拖入Input Data Source结点一样，将 Tree 从左侧列表框拖入右侧的工作平台。 建立 Data Partition 结点 和 Tree 结点之间的连接。如图（7）。 图（7） 双击tree图标，进入相关属性设置界面，相关标签属性和设置介绍如下： Data 标签：该标签中展示了前一结点数据集的名称和相关的描述，这些数据集包括训练数据和验证数据等。如图（8） 。 图（8） Variables标签：variables标签中可以看到观测数据集各数据项的相关情况，如图（9）， 图（9） 在每一个标题头上点击鼠标左键，可以按该列对表格中各项进行排序。 其中可以在Status属性中列中单击鼠标右键选择Set Status将Use状态更改为Don’t Use状态。 在Model Role 列点击鼠标右键选择 edit target profile 将变量进行目标变量和解释变量之间的转化。 Basic标签：在Basic 标签中，可以指定划分规则以及与决策树大小相关的各种参数值。下面是一个有关Basic标签各项的一个展示如图（10）。 图（10） 其中划分规则（splitting criteria）可以根据目标变量的度量方面进行选择。 对于定性或二进制的目标变量，可以选择以下划分规则： 检验（默认）——Pearson 检验用于衡量对目标变量建立分支结点，其默认显著性指标为 0.20 。 熵值约简——通过对熵值大小的衡量反映结点不纯性也成为熵不纯性。 基尼系数约简——通过对基尼系数大小的衡量反映结点不纯性也成为Gini 不纯性。 对于连续型目标变量，可以选择以下两种划分规则： F 检验（默认）——F检验的P值与结点一致性有关，默认显著性指标为 0.20。 一致性约简——该约简基于