文档详情

10.1.5　Spark入门示例.pdf-吴章勇杨强-人民邮电出版社

发布：2021-04-24约字共页下载文档

文本预览下载声明

217第10章内存计算框架Spark对象在有比较高的空间使用率的情况下，依然可以较快被访问。（3）尽可能不要存储到硬盘上，除非计算数据集的函数，计算量特别大，或

显示全部

相似文档

10.1.2　Spark伪分布式安装.pdf-吴章勇杨强-人民邮电出版社 205第10章内存计算框架Spark尽管创建Spark是为了支持分布式数据集上的迭代作业，但实际上它是对Hadoop的补充，可以在Hadoop文件系统中并行运行。在HadoopMR过程中，中间结果会借助磁盘传递，因此对比计算，大量的MapR
2021-04-23 约字页立即下载
10.1.4　Spark的应用.pdf-吴章勇杨强-人民邮电出版社 212大数据Hadoop3.X分布式处理实战以把它当作一个函数。这种函数对于经常进行用户界面编程的程序员来说是最熟悉的：注册一个回调函数以便在事件发生后得到通知。在下面的程序中，计时器函数被叫
2021-04-26 约字页立即下载
10.2.2　Spark Streaming示例.pdf-吴章勇杨强-人民邮电出版社 221第10章内存计算框架Spark为时间片数据的批处理。（3）时间片或批处理时间间隔（batchinterval）：以时间片作为拆分流数据的依据。一个时间片的
2021-04-26 约字页立即下载
4.2.2　WordCount入门示例.pdf-吴章勇杨强-人民邮电出版社 63第4章分布式计算框架MapReduce图4.2运行结果4.2.2WordCount入门示例下面通过一个WordCount单词计数经典案例讲解MapReduce的处理流程。有file1.txt和file2.txt两个文本文件，需要
2021-04-23 约字页立即下载
10.1.3　由Java到Scala.pdf-吴章勇杨强-人民邮电出版社 209第10章内存计算框架Spark从图10.5可见，我们也可以通过http://hadoop0:4040和http://hadoop0:8080两个URL来查
2021-04-26 约字页立即下载
6.1.2　HBase Java API示例.pdf-吴章勇杨强-人民邮电出版社 120大数据Hadoop3.X分布式处理实战表6.14Result类方法及说明序号方法及说明1byte[]getValue(byte[]fami
2021-04-25 约字页立即下载
5.3.2　HBase Shell综合示例.pdf-吴章勇杨强-人民邮电出版社 109第5章NoSQL数据库HBase5.3.2HBaseShell综合示例下面展示一个使用HBaseShell的综合示例。首先创建一个用于进
2021-04-24 约字页立即下载
8.2.3　Hive JDBC综合示例.pdf-吴章勇杨强-人民邮电出版社 169第8章Hive高级特性2．运行示例在Eclipse工程中的HiveHelloWorld.Java文件上单击右键→runas→JavaApplication，运行程序。运行结果如图8.7所
2021-04-25 约字页立即下载
6.2.2　HBase与MapReduce的整合示例.pdf-吴章勇杨强-人民邮电出版社 130大数据Hadoop3.X分布式处理实战6.2HBase与MapReduce的整合HBase与MapReduce整合时，有三种情形：HBase作为MapReduce的数据流向；HBase作为MapReduce的数据来源；HBase同时作
2021-04-27 约字页立即下载
4.6　MapReduce综合实例——WordCount高级示例.pdf-吴章勇杨强-人民邮电出版社 84大数据Hadoop3.X分布式处理实战4.6MapReduce综合实例——WordCount高级示例我们对WordCount入门示例进行改造，在原有的单词计
2021-04-24 约字页立即下载
3.3.3　HDFS Java API示例.pdf-吴章勇杨强-人民邮电出版社 49第3章Hadoop分布式文件系统——HDFS（3）选中某个文件夹，单击右键，即可单击“DownloadfromDFS...”菜单下载文件夹，单击“Createnewdirectory...”菜单创建新的文
2021-04-26 约字页立即下载
7.3.2　创建表.pdf-吴章勇杨强-人民邮电出版社 147第7章分布式数据仓库Hive可见，新建的数据库在HDFS上的存储路径位于hdfs://hadoop0:9000/user/hive/warehouse/
2021-04-24 约字页立即下载
9.4　深入理解Sqoop的导入与导出.pdf-吴章勇杨强-人民邮电出版社 196大数据Hadoop3.X分布式处理实战即可查看到导出的数据，如图9.12所示。图9.12查看导出数据9.4深入理解Sqoop的导入与导出Sqoop在导入导出数据时都会使用代码生成器创建对应表的实体类，用
2021-04-25 约字页立即下载
13.2.3　基于物品的协同过滤算法.pdf-吴章勇杨强-人民邮电出版社 292大数据Hadoop3.X分布式处理实战（4）根据每一件物品的推荐度高低给当前用户推荐物品。比如上面那个例子，首先，系统通过反查表忽略掉C用户，然后计算出A
2021-04-23 约字页立即下载
13.3.1　实现HDFS文件操作工具.pdf-吴章勇杨强-人民邮电出版社 299第13章电商商品推荐系统（1）HdfsDAO.java：HDFS操作工具类。（2）Step1.java：按用户分组，计算所有物品出现的组合列表，得到用户对
2021-04-26 约字页立即下载

10.1.5 Spark入门示例.pdf-吴章勇 杨强-人民邮电出版社

10.1.5　Spark入门示例.pdf-吴章勇杨强-人民邮电出版社