4.4.2无状态的转换算子.pdf-范东来-人民邮电出版社
文本预览下载声明
国4.4SparkStreaming125Supervisor会马上启动Receiver开始接收数据。Receiver接收到数据，用ReceiverdBlockHandler以块的方式写到Executor的磁盘或者内存，对应的实现是Bloc
显示全部
文档详情
相似文档
-
4.4.3有状态的转换算子.pdf-范东来-人民邮电出版社
国4.4SparkStreaming129nums.transformWith(words,transformFunc).printssc.start()ssc.awaitTerminatio
-
2.4.3转换算子.pdf-范东来-人民邮电出版社
38第2章Spark编程vala=sc.textFile(/user/me/wiki).map(x=(x,x))从流式数据生成RDD（DStream）的方式将在第4章介绍。2.4.3转换算子
-
4.4.7性能调优.pdf-范东来-人民邮电出版社
国4.4SparkStreaming141引入了预写日志（WAL），SparkStreamingWAL指的是接收到数据后，在数据处理之前，先对数据进行持久化，完
-
4.4.4输入与输出.pdf-范东来-人民邮电出版社
134第4章Spark流处理：SparkStreaming与StructuredStreamingvalnewUpdateFunc=(iterator:Iterator[(String,Seq[Int],Option[Int])])={i
-
内 容 提 要.pdf-范东来-人民邮电出版社
海量数据处理范东来／著技术详解与平台实战Sparkට!௷!ᆰ!ۉ!!Ӳ!มԛ!!海量数据处理范东来／著技术详解与平台实战Spark内容提要本书基于Spark
-
6.4.3人体状态监测器.pdf-范东来-人民邮电出版社
218第6章Spark机器学习：MLlib行投票，随机森林会综合所有分类结果并将票数最高的分类结果作为最后结果输出。那么可以想到，在随机森林中，生成每一棵决策树
-
3.4.3查询语句.pdf-范东来-人民邮电出版社
国3.4SparkSQL91通过enableHiveSupport方法开启对Hive的支持，但需要将Hive配置文件hive-site.xml复制到Spark的
-
消息送达保证.pdf-范东来-人民邮电出版社
110第4章Spark流处理：SparkStreaming与StructuredStreamingWindows:nclp9999Linux:nc-lk9999然后我们就可以在命令行界面下输入helloworld，这时SparkStream
-
Hydrogen项目和Spark 3.x.pdf-范东来-人民邮电出版社
22第2章Spark编程抽取、转换与加载（ETL）—开发者只需在批处理作业中列出需要的转换操作，而流处理系统能够据此完成相应的“恰好一次”的数据处理操作；创建一个当前批处理作业的实时视图—流处理系统会保证对于同一份数据，处理结果保持
-
3.2.2查询.pdf-范东来-人民邮电出版社
国3.2DataFrameAPI77//生成DataFramevaldf=spark.createDataFrame(rowRDD,schema)注意这种方式需
-
6.5.3实现.pdf-范东来-人民邮电出版社
国6.5聚类算法应用227从上面的伪代码可以看出，算法主要包括两个交替执行的步骤，即再分数据和重定均值，并且是通过随机选取k个点来启动算法。（1）再分数据：将每
-
PageRank的GraphX实现.pdf-范东来-人民邮电出版社
国5.4PregelAPI183经过了Pregel计算模型的抽象，用户很多图挖掘算法都能很轻易地实现分布式，且vprog、sendMsg、mergeMsg对于图
-
5.4.1图分区.pdf-范东来-人民邮电出版社
国5.4PregelAPI177这是一个简化的描述过程，但是可以看出aggregateMessages与MapReduce是非常相似的，事实上，aggrega
-
4.5.2操作.pdf-范东来-人民邮电出版社
国4.5StructuredStreaming147.trigger(Trigger.ProcessingTime(2000))（3）一次性微批触发器。查询只会触发一次针对所有可用数据的微批处理，然后自行停止
-
15.2接口开发.pdf-范东来-人民邮电出版社
372第15章服务层与查询层15.1.1NetworkXNetworkX是一个用Python语言开发的图论与复杂网络建模工具，内置了常用的图与复杂网络分析算法，可以很方便地进行复杂网络数据分析、仿真建模等工作。用NetworkX可以很轻易地