4.4.7性能调优.pdf-范东来-人民邮电出版社
文本预览下载声明
国4.4SparkStreaming141引入了预写日志（WAL），SparkStreamingWAL指的是接收到数据后，在数据处理之前，先对数据进行持久化，完
显示全部
文档详情
相似文档
-
4.4.4输入与输出.pdf-范东来-人民邮电出版社
134第4章Spark流处理：SparkStreaming与StructuredStreamingvalnewUpdateFunc=(iterator:Iterator[(String,Seq[Int],Option[Int])])={i
-
2.8.2参数调优与应用调优.pdf-范东来-人民邮电出版社
国2.8Spark性能调优572.8.1硬件配置与资源管理平台构建Spark集群的硬件只需普通的商用PCServer即可，由于Spark作业对内存需求巨大，建议配置高性能CPU、大内存的服务器，以下是建议配置
-
内 容 提 要.pdf-范东来-人民邮电出版社
海量数据处理范东来／著技术详解与平台实战Sparkට!௷!ᆰ!ۉ!!Ӳ!มԛ!!海量数据处理范东来／著技术详解与平台实战Spark内容提要本书基于Spark
-
4.4.3有状态的转换算子.pdf-范东来-人民邮电出版社
国4.4SparkStreaming129nums.transformWith(words,transformFunc).printssc.start()ssc.awaitTerminatio
-
4.4.2无状态的转换算子.pdf-范东来-人民邮电出版社
国4.4SparkStreaming125Supervisor会马上启动Receiver开始接收数据。Receiver接收到数据，用ReceiverdBlockHandler以块的方式写到Executor的磁盘或者内存，对应的实现是Bloc
-
3.4.3查询语句.pdf-范东来-人民邮电出版社
国3.4SparkSQL91通过enableHiveSupport方法开启对Hive的支持，但需要将Hive配置文件hive-site.xml复制到Spark的
-
消息送达保证.pdf-范东来-人民邮电出版社
110第4章Spark流处理：SparkStreaming与StructuredStreamingWindows:nclp9999Linux:nc-lk9999然后我们就可以在命令行界面下输入helloworld，这时SparkStream
-
Hydrogen项目和Spark 3.x.pdf-范东来-人民邮电出版社
22第2章Spark编程抽取、转换与加载（ETL）—开发者只需在批处理作业中列出需要的转换操作，而流处理系统能够据此完成相应的“恰好一次”的数据处理操作；创建一个当前批处理作业的实时视图—流处理系统会保证对于同一份数据，处理结果保持
-
3.2.2查询.pdf-范东来-人民邮电出版社
国3.2DataFrameAPI77//生成DataFramevaldf=spark.createDataFrame(rowRDD,schema)注意这种方式需
-
6.5.3实现.pdf-范东来-人民邮电出版社
国6.5聚类算法应用227从上面的伪代码可以看出，算法主要包括两个交替执行的步骤，即再分数据和重定均值，并且是通过随机选取k个点来启动算法。（1）再分数据：将每
-
PageRank的GraphX实现.pdf-范东来-人民邮电出版社
国5.4PregelAPI183经过了Pregel计算模型的抽象，用户很多图挖掘算法都能很轻易地实现分布式，且vprog、sendMsg、mergeMsg对于图
-
5.4.1图分区.pdf-范东来-人民邮电出版社
国5.4PregelAPI177这是一个简化的描述过程，但是可以看出aggregateMessages与MapReduce是非常相似的，事实上，aggrega
-
4.5.2操作.pdf-范东来-人民邮电出版社
国4.5StructuredStreaming147.trigger(Trigger.ProcessingTime(2000))（3）一次性微批触发器。查询只会触发一次针对所有可用数据的微批处理，然后自行停止
-
15.2接口开发.pdf-范东来-人民邮电出版社
372第15章服务层与查询层15.1.1NetworkXNetworkX是一个用Python语言开发的图论与复杂网络建模工具，内置了常用的图与复杂网络分析算法，可以很方便地进行复杂网络数据分析、仿真建模等工作。用NetworkX可以很轻易地
-
6.4.1决策树.pdf-范东来-人民邮电出版社
214第6章Spark机器学习：MLlib)valdf=spark.createDataset(data).toDF(id,features,click