《通信数据分析与实战》课件——第七章 Spark Streaming实时计算框架.pptx

;2;什么是实时计算;实时计算框架;实时计算框架;6;;8;SparkStreaming概述;SparkStreaming概述;11;SparkStreaming工作原理;SparkStreaming工作原理;14;;16;Spark的DStream流;Spark的Dstream编程模型;19;;21;Dstream的操作;Dstream的操作;Dstream的操作;Dstream的操作;Transform操作;Transform操作;Transform操作;Transform操作;Transform操作;UpdateStateByKey操作;UpdateStateByKey操作;UpdateStateByKey操作;UpdateStateByKey操作;UpdateStateByKey操作;Dstream的窗口操作;Dstream的窗口操作;Dstream的窗口操作;Dstream的窗口操作;Dstream的窗口操作;Window方法操作;Window()操作;Window()操作;//5.连接socket服务，需要socket服务地址、端口号及存储级别(默认的)

valdstream:ReceiverInputDStream[String]=ssc.socketTextStream(192.168.121.134,9999)

//6.按空格进行切分每一行

valwords:DStream[String]=dstream.flatMap(_.split())

//7.调用window操作，需要两个参数，窗口长度和滑动时间间隔

valwindowWords:DStream[String]=words.window(Seconds(3),Seconds(1))

//8.打印输出结果

windowWords.print()

//9.开启流式计算

ssc.start()

//10.让程序一直运行，除非人为干预停止

ssc.awaitTermination();

3;reduceByKeyAndWindow操作;通过一个具体的案例来演示如何使用reduceByKeyAndWindow()方法统计3个时间单位内不同字母出现的次数，具体步骤如下：;

2;

2;

3;SaveAsTextFiles操作;通过一个具体的案例来演示如何使用saveAsTextFiles()方法保存输出的结果，具体步骤如下：;

2;

2;

3;56;;58;KafkaUtils.createDstream方式;KafkaUtils.createDstream方式;createDstream方式实现;SparkStreaming整合Kafka实战;SparkStreaming整合Kafka实战;SparkStreaming整合Kafka实战;SparkStreaming整合Kafka实战;SparkStreaming整合Kafka实战;SparkStreaming整合Kafka实战;