内 容 提 要.pdf-范东来-人民邮电出版社
文本预览下载声明
海量数据处理范东来／著技术详解与平台实战Sparkට!௷!ᆰ!ۉ!!Ӳ!มԛ!!海量数据处理范东来／著技术详解与平台实战Spark内容提要本书基于Spark
显示全部
文档详情
相似文档
-
3.4.3查询语句.pdf-范东来-人民邮电出版社
国3.4SparkSQL91通过enableHiveSupport方法开启对Hive的支持，但需要将Hive配置文件hive-site.xml复制到Spark的
-
消息送达保证.pdf-范东来-人民邮电出版社
110第4章Spark流处理：SparkStreaming与StructuredStreamingWindows:nclp9999Linux:nc-lk9999然后我们就可以在命令行界面下输入helloworld，这时SparkStream
-
Hydrogen项目和Spark 3.x.pdf-范东来-人民邮电出版社
22第2章Spark编程抽取、转换与加载（ETL）—开发者只需在批处理作业中列出需要的转换操作，而流处理系统能够据此完成相应的“恰好一次”的数据处理操作；创建一个当前批处理作业的实时视图—流处理系统会保证对于同一份数据，处理结果保持
-
3.2.2查询.pdf-范东来-人民邮电出版社
国3.2DataFrameAPI77//生成DataFramevaldf=spark.createDataFrame(rowRDD,schema)注意这种方式需
-
6.5.3实现.pdf-范东来-人民邮电出版社
国6.5聚类算法应用227从上面的伪代码可以看出，算法主要包括两个交替执行的步骤，即再分数据和重定均值，并且是通过随机选取k个点来启动算法。（1）再分数据：将每
-
PageRank的GraphX实现.pdf-范东来-人民邮电出版社
国5.4PregelAPI183经过了Pregel计算模型的抽象，用户很多图挖掘算法都能很轻易地实现分布式，且vprog、sendMsg、mergeMsg对于图
-
5.4.1图分区.pdf-范东来-人民邮电出版社
国5.4PregelAPI177这是一个简化的描述过程，但是可以看出aggregateMessages与MapReduce是非常相似的，事实上，aggrega
-
4.5.2操作.pdf-范东来-人民邮电出版社
国4.5StructuredStreaming147.trigger(Trigger.ProcessingTime(2000))（3）一次性微批触发器。查询只会触发一次针对所有可用数据的微批处理，然后自行停止
-
15.2接口开发.pdf-范东来-人民邮电出版社
372第15章服务层与查询层15.1.1NetworkXNetworkX是一个用Python语言开发的图论与复杂网络建模工具，内置了常用的图与复杂网络分析算法，可以很方便地进行复杂网络数据分析、仿真建模等工作。用NetworkX可以很轻易地
-
6.4.1决策树.pdf-范东来-人民邮电出版社
214第6章Spark机器学习：MLlib)valdf=spark.createDataset(data).toDF(id,features,click
-
n度邻居顶点算法.pdf-范东来-人民邮电出版社
国5.6n度邻居顶点算法193//将起点用户的年龄发送给终点用户.sendToDst(msgToDst)//求和.agg(sum(AM.msg).as(sum
-
4.5.3输入和输出.pdf-范东来-人民邮电出版社
154第4章Spark流处理：SparkStreaming与StructuredStreaming))这个例子展示了一个计算广告的案例，impressions
-
Tungsten项目.pdf-范东来-人民邮电出版社
16第2章Spark编程接口）和流处理上，下面展开讲解。2.2.1Tungsten项目Tungsten项目最先产生的原因是由于固态硬盘和万兆交换机（10Gbit/s、40Gbit/s）的普及和应用，I/O性能的大幅提升使得CPU和内存成了大
-
3.4.4函数.pdf-范东来-人民邮电出版社
94第3章Spark统一编程接口：DataFrame、Dataset和SparkSQL窗口，如下：OVER(PARTITIONBY...ORDERBY...NU
-
6.3.3特征抽取.pdf-范东来-人民邮电出版社
208第6章Spark机器学习：MLlib来填充；如果特征值是标签型，通常用众数来补齐；某些情况下，还可以用一个显著区别于已有样本中该特征的值来补齐。Spark并没有提供预置的缺失值处理的Transformer，这通常需要自己实现，在后面的