《QCon上海二零一六-在Spark上构建硬件加速的分布式神经网络架构-王奕恒、黄晟盛》.pdf
文本预览下载声明
在Spark上构建分布式神经网络
王奕恒
Intel, Big Data Technology
1
2015-6-3
2015-6-3
Agenda
• 背景和概要介绍
• 通用计算平台上的性能优化
4 4
Agenda
• 背景和概要介绍
• 通用计算平台上的性能优化
5 5
神经网络 Artificial Neural Network
外部输入 神经元 认知
神经网络与神经科学的关系
• Biological Inspiration
• 最初的研究动机: 解决问题/研究人脑
• 现代的“深度学习”和神经科学的关系已相对较远
Perceptron:最基础的神经元模型
• 本质上就是线性模型叠加非线性activation
向量内积
MLP – Multilayer Perceptron
多个Perceptron组合成网络 (无环,feed-forward)
向量矩阵相乘
6
卷积神经网络 Convolutional Neural
Network
一种特殊的神经网络形式——可以处理已知的、具有网格状拓扑结构的数据(根据卷
积操作的特性)
CNN在实践中已经有非常成功的应用,特别是在图像识别领域。
ImageNet image classification result
Year Error Rate
… 2011 26%
AlexNet 2012 15.3%
GoogLeNet 2014 6.6%
State-of-art 2015 5%
AlexNet for ImageNet Classification 2012
Pixels Edges
Object Parts Object models
Illustrations from Andrew Ng. CS229 7
7
Spark上神经网络的支持
Spark 1.5开始支持
• MLP的实现在spark.ml ( spark.ml.MultilayerPerceptronClassifier )
• 数据接口基于spark的DataFrame
• Layer, error, activation等基本功能在ml.ann.Layer
• Optimizer和Evaluation主要实现在mllib,和其他算法共享
• Some docs: /docs/latest/ml-ann.html
8
MNIST 手写
显示全部