文档详情

10.1.4　Spark的应用.pdf-吴章勇杨强-人民邮电出版社

发布：2021-04-26约字共页下载文档

文本预览下载声明

212大数据Hadoop3.X分布式处理实战以把它当作一个函数。这种函数对于经常进行用户界面编程的程序员来说是最熟悉的：注册一个回调函数以便在事件发生后得到通知。在下面的程序中，计时器函数被叫

显示全部

相似文档

10.1.2　Spark伪分布式安装.pdf-吴章勇杨强-人民邮电出版社 205第10章内存计算框架Spark尽管创建Spark是为了支持分布式数据集上的迭代作业，但实际上它是对Hadoop的补充，可以在Hadoop文件系统中并行运行。在HadoopMR过程中，中间结果会借助磁盘传递，因此对比计算，大量的MapR
2021-04-23 约字页立即下载
10.1.5　Spark入门示例.pdf-吴章勇杨强-人民邮电出版社 217第10章内存计算框架Spark对象在有比较高的空间使用率的情况下，依然可以较快被访问。（3）尽可能不要存储到硬盘上，除非计算数据集的函数，计算量特别大，或
2021-04-24 约字页立即下载
10.2.2　Spark Streaming示例.pdf-吴章勇杨强-人民邮电出版社 221第10章内存计算框架Spark为时间片数据的批处理。（3）时间片或批处理时间间隔（batchinterval）：以时间片作为拆分流数据的依据。一个时间片的
2021-04-26 约字页立即下载
10.1.3　由Java到Scala.pdf-吴章勇杨强-人民邮电出版社 209第10章内存计算框架Spark从图10.5可见，我们也可以通过http://hadoop0:4040和http://hadoop0:8080两个URL来查
2021-04-26 约字页立即下载
7.3.2　创建表.pdf-吴章勇杨强-人民邮电出版社 147第7章分布式数据仓库Hive可见，新建的数据库在HDFS上的存储路径位于hdfs://hadoop0:9000/user/hive/warehouse/
2021-04-24 约字页立即下载
9.4　深入理解Sqoop的导入与导出.pdf-吴章勇杨强-人民邮电出版社 196大数据Hadoop3.X分布式处理实战即可查看到导出的数据，如图9.12所示。图9.12查看导出数据9.4深入理解Sqoop的导入与导出Sqoop在导入导出数据时都会使用代码生成器创建对应表的实体类，用
2021-04-25 约字页立即下载
13.2.3　基于物品的协同过滤算法.pdf-吴章勇杨强-人民邮电出版社 292大数据Hadoop3.X分布式处理实战（4）根据每一件物品的推荐度高低给当前用户推荐物品。比如上面那个例子，首先，系统通过反查表忽略掉C用户，然后计算出A
2021-04-23 约字页立即下载
13.3.1　实现HDFS文件操作工具.pdf-吴章勇杨强-人民邮电出版社 299第13章电商商品推荐系统（1）HdfsDAO.java：HDFS操作工具类。（2）Step1.java：按用户分组，计算所有物品出现的组合列表，得到用户对
2021-04-26 约字页立即下载
13.2.2　基于用户的协同过滤算法.pdf-吴章勇杨强-人民邮电出版社 289第13章电商商品推荐系统下两项。（1）减噪：用户行为数据是用户在使用应用过程中产生的，它可能存在大量的噪声和用户的误操作，系统可以通过经典的数据挖掘算法过
2021-04-27 约字页立即下载
11.1.1　安装并配置CentOS.pdf-吴章勇杨强-人民邮电出版社前面章节介绍的Hadoop及其相关组件都是伪分布式安装，用于学习是没有问题的。但在生产环境里，基本上会采取分布式即集群安装。本章将介绍如何采用集群模式安装Had
2021-04-26 约字页立即下载
12.2.3　日志分析方法.pdf-吴章勇杨强-人民邮电出版社 268大数据Hadoop3.X分布式处理实战会产生多个日志文件，每个日志文件128MB（Hadoop2之后的HDFS默认分块大小），设置系统定时器如CRON，每日0时后向HDFS导入头一天的日
2021-04-23 约字页立即下载
13.2.4　算法实现设计.pdf-吴章勇杨强-人民邮电出版社 295第13章电商商品推荐系统的整体多样性不足时，系统可以通过加入ItemCF增加整体的多样性，同样可以提高推荐的精度。4．用户对推荐算法的适应度前面大部分是从
2021-04-25 约字页立即下载
13.2.1　协同过滤.pdf-吴章勇杨强-人民邮电出版社 286大数据Hadoop3.X分布式处理实战定个性化的电影推荐后，有许多冷门电影竟然进入了候租榜单。从公司的电影资源成本方面考量，热门电影的成本一般比较高，如果
2021-04-24 约字页立即下载
11.1.3　安装Hadoop.pdf-吴章勇杨强-人民邮电出版社 237第11章Hadoop及其常用组件集群安装图11.13重命名解压后的文件夹将JDK的安装目录/usr/local/jdk配置到/etc/profile的PATH环境变量中，如图11.14所示。图11.14将JDK配置到/etc/prof
2021-04-22 约字页立即下载
14.4.3　业务服务器实现.pdf-吴章勇杨强-人民邮电出版社 347第14章分布式垃圾消息识别系统至此，已经完整实现了自定义的RPC组件。完整的示例代码可参考案例源代码的com.Chinasofti.pla
2021-04-24 约字页立即下载

10.1.4 Spark的应用.pdf-吴章勇 杨强-人民邮电出版社

10.1.4　Spark的应用.pdf-吴章勇杨强-人民邮电出版社