机器学习方法.doc

机器学习方法 篇一：机器学习：入门方法与学习路径 (附资料) 作者授权转载 作者：龙心尘、寒小阳 ◆nbsp;◆nbsp;◆ 1. 引言 也许你和这个叫『机器学习』的家伙一点也不熟，但是你举起iphone手机拍照的时候，早已习惯它帮你框出人脸；也自然而然点开今日头条推给你的新闻；也习惯逛淘宝点了找相似之后货比三家；亦或喜闻乐见微软的年龄识别网站结果刷爆朋友圈。恩，这些功能的核心算法就是机器学习领域的内容。 套用一下大神们对机器学习的定义，机器学习研究的是计算机怎样模拟人类的学习行为，以获取新的知识或技能，并重新组织已有的知识结构使之不断改善自身。简单一点说，就是计算机从数据中学习出规律和模式，以应用在新数据上做预测的任务。近年来互联网数据大爆炸，数据的丰富度和覆盖面远远超出人工??以观察和总结的范畴，而机器学习的算法能指引计算机在海量数据中，挖掘出有用的价值，也使得无数学习者为之着迷。 但是越说越觉得机器学习有距离感，云里雾里高深莫测，我们不是专家，但说起算有一些从业经验，做过一些项目在实际数据上应用机器学习。这一篇就我们的经验和各位同仁的分享，总结一些对于初学者入门有帮助的方法和对进阶有用的资料。 ◆nbsp;◆nbsp;◆2. 机器学习关注问题 并非所有的问题都适合用机器学习解决(很多逻辑清晰的问题用规则能很高效和准确地处理)，也没有一个机器学习算法可以通用于所有问题。咱们先来了解了解，机器学习，到底关心和解决什么样的问题。 从功能的角度分类，机器学习在一定量级的数据上，可以解决下列问题： 1.分类问题 根据数据样本上抽取出的特征，判定其属于有限个类别中的哪一个。比如： 垃圾邮件识别(结果类别：1、垃圾邮件 2、正常邮件) 文本情感褒贬分析(结果类别：1、褒 2、贬) 图像内容识别识别(结果类别：1、喵星人 2、汪星人 3、人类 4、草泥马 5、都不是)。 2.回归问题 根据数据样本上抽取出的特征，预测一个连续值的结果。比如： 星爷《美人鱼》票房 大帝都2个月后的房价 隔壁熊孩子一天来你家几次，宠幸你多少玩具 3.聚类问题 根据数据样本上抽取出的特征，让样本抱抱团(相近/相关的样本在一团内)。比如： google的新闻分类 用户群体划分 我们再把上述常见问题划到机器学习最典型的2个分类上。 分类与回归问题需要用已知结果的数据做训练，属于“监督学习” 聚类的问题不需要已知标签，属于“非监督学习”。 如果在IT行业(尤其是互联网)里溜达一圈，你会发现机器学习在以下热点问题中有广泛应用： 1.计算机视觉 典型的应用包括：人脸识别、车牌识别、扫描文字识别、图片内容识别、图片搜索等等。 2.自然语言处理 典型的应用包括：搜索引擎智能匹配、文本内容理解、文本情绪判断，语音识别、输入法、机器翻译等等。 3.社会网络分析 典型的应用包括：用户画像、网络关联分析、欺诈作弊发现、热点发现等等。 4.推荐 典型的应用包括：虾米音乐的“歌曲推荐”，某宝的“猜你喜欢”等等。 ◆nbsp;◆nbsp;◆3. 入门方法与学习路径 OK，不废话，直接切重点丢干货了。看似学习难度大，曲线陡的机器学习，对大多数入门者也有一个比较通用的学习路径，也有一些优秀的入门资料可以降低大家的学习门槛，同时激发我们的学习乐趣。 简单说来，大概的一个学习路径如下：nbsp; nbsp; 简单说一点，之所以最左边写了『数学基础』『典型机器学习算法』『编程基础』三个并行的部分，是因为机器学习是一个将数学/算法理论和工程实践紧密结合的领域，需要扎实的理论基础帮助引导数据分析与模型调优，同时也需要精湛的工程开发能力去高效化地训练和部署模型和服务。 需要多说一句的是，在互联网领域从事机器学习的人，有2类背景的人比较多，其中一部分(很大一部分)是程序员出身，这类同学工程经验相对会多一些，另一部分是学数学统计领域的同学，这部分同学理论基础相对扎实一些。因此对比上图，2类同学入门机器学习，所欠缺和需要加强的部分是不一样的。 下面就上述图中的部分，展开来分别扯几句： 篇二： 篇三：3.1 数学基础 有无数激情满满大步向前，誓要在机器学习领域有一番作为的同学，在看到公式的一刻突然就觉得自己狗带了。是啊，机器学习之所以相对于其他开发工作，更有门槛的根本原因就是数学。每一个算法，要在训练集上最大程度拟合同时又保证泛化能力，需要不断分析结果和数据，调优参数，这需要我们对数据分布和模型底层的数学原理有一定的理解。所幸的是如果只是想合理应用机器学习，而不是做相关方向高精尖的