文档详情

计算智能教学课件:my感知器算法.ppt

发布:2017-05-05约小于1千字共25页下载文档
文本预览下载声明
感知器算法 湖南师范大学 数学与计算机学院 陈明 要解决的问题 现有线性可分的数据集,求一个分类器 一些基本概念 超平面 wx+b=0;w为权值,b为偏置 线性可分性:存在一个超平面 感知器:是用如下函数定义出的一个判别模型。 如何定义目标函数 点x0到超平面的距离 直观的感觉:通过使得误分类点数最小化找出一个超平面S。但是该目标函数不连续可导,不易优化。 换种方式找一个超平面S: 使得误分类点到超平面S的总距离最少 感知器算法的目标 对于误分类点,有 目标为最小化: 其中M为误分类点的集合 感知器算法中,实际并未考虑分母 记 ,称为损失函数 损失函数 感知器学习算法 如何让机器学习,得到w,b?利用梯度下降法最小化损失函数! 原始形式、对偶形式 批更新方式、单个样本更新方式 原始形式的感知器算法 例题1 更新方式: 批更新方式,批量梯度法 单个样本更新方式,随机梯度法 例题2 初始时x1 + x2 - 0.5 = 0,学习率0.7; 有两个样本[0.4, 0.05]T [-0.20, 0.75]T没有被正确分类,它们的类别分别为1,-1。 批更新方式 1.42x1 + 0.51x2 - 0.5 = 0正确划分了所有的样本点。 单个样本更新呢? 例题3 结果为:-x1+x2=0 对偶形式的感知器算法 利用下式进行判断是否误分类时,只需要直接查询G矩阵(对偶形式易于推广至核函数) 扩展知识 如何利用感知器算法处理多类分类? 当具有多个类别,且可以通过多个线性分类器完成时,我们可以使用Kesler’s Construction来完成!!! x1 ○ 0.5 0.5 ○ y x2 ○ -0.75 1 x1 ○ 1 1 ○ y x2 ○ -0.5 1
显示全部
相似文档