2023年十道海量数据处理面试题.doc

海量数据解决面试题

TableofContents

TOC\o1-3\h\z\u海量数据处理面试题 1

第一部分：十道海量数据处理面试题 1

1、海量日志数据，提取出某日访问百度次数最多的那个IP。 1

2、搜索引擎会通过日志文件把用户每次检索使用的所有检索串都记录下来，每个查询串的长度为1-255字节。 2

3、有一个1G大小的一个文件，里面每一行是一个词，词的大小不超过16字节，内存限制大小是1M。返回频数最高的100个词。 2

4、有10个文件，每个文件1G，每个文件的每一行存放的都是用户的query，每个文件的query都可能重复。要求你按照query的频度排序。 3

5、给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url？ 3

6、在2.5亿个整数中找出不重复的整数，注，内存不足以容纳这2.5亿个整数。 4

7、腾讯面试题：给40亿个不重复的unsignedint的整数，没排过序的，然后再给一个数，如何快速判断这个数是否在那40亿个数当中？ 4

8、怎么在海量数据中找出重复次数最多的一个？ 5

9、上千万或上亿数据（有重复），统计其中出现次数最多的钱N个数据。 5

10、一个文本文件，大约有一万行，每行一个词，要求统计出其中最频繁出现的前10个词，请给出思想，给出时间复杂度分析。 5

附、100w个数中找出最大的100个数。 5

第二部分、十个海量数据处理方法大总结 6

一、Bloomfilter 6

二、Hashing 6

三、bit-map 7

四、堆 7

五、双层桶划分其实本质上就是【分而治之】的思想，重在“分”的技巧上！ 8

六、数据库索引 8

七、倒排索引(Invertedindex) 8

八、外排序 9

九、trie树 9

十、分布式处理mapreduce 10

经典问题分析 10

第一部分：十道海量数据解决面试题

1、海量日记数据，提取出某日访问百度次数最多的那个IP。

?????一方面是这一天，并且是访问百度的日记中的IP取出来，逐个写入到一个大文献中。注意到IP是32位的，最多有个2^32个IP。同样可以采用映射的方法，比如模1000，把整个大文献映射为1000个小文献，再找出每个小文中出现频率最大的IP（可以采用hash_map进行频率记录，然后再找出频率最大的几个）及相应的频率。然后再在这1000个最大的IP中，找出那个频率最大的IP，即为所求。

或者如下阐述（雪域之鹰）：

算法思想：分而治之+Hash

1.IP地址最多有2^32=4G种取值情况，所以不能完全加载到内存中解决；?

2.可以考虑采用“分而治之”的思想，按照IP地址的Hash(IP)%1024值，把海量IP日记分别存储到1024个小文献中。这样，每个小文献最多包含4MB个IP地址；?

3.对于每一个小文献，可以构建一个IP为key，出现次数为value的Hashmap，同时记录当前出现次数最多的那个IP地址；

4.可以得到1024个小文献中的出现次数最多的IP，再依据常规的排序算法得到总体上出现次数最多的IP；

2、搜索引擎会通过日记文献把用户每次检索使用的所有检索串都记录下来，每个查询串的长度为1-255字节。

???假设目前有一千万个记录（这些查询串的反复度比较高，虽然总数是1千万，但假如除去反复后，不超过3百万个。一个查询串的反复度越高，说明查询它的用户越多，也就是越热门。），请你记录最热门的10个查询串，规定使用的内存不能超过1G。

???典型的TopK算法，还是在这篇文章里头有所阐述，详情请参见：十一、从头到尾彻底解析Hash表算法。

????

???文中，给出的最终算法是：

???第一步、先对这批海量数据预解决，在O（N）的时间内用Hash表完毕记录（之前写成了排序，特此订正。July、2023.04.27）；

???第二步、借助堆这个数据结构，找出TopK，时间复杂度为N‘logK。

???????即，借助堆结构，我们可以在log量级的时间内查找和调整/移动。因此，维护一个K(该题目中是10)大小的小根堆，然后遍历300万的Query，分别和根元素进行对比所以，我们最终的时间复杂度是：O（N）+N*O（logK），（N为1000万，N’为300万）。ok，更多，详情，请参考原文。

???或者：采用trie树，关键字域存该查询串出现的次数，没有出现为0。最后用10个元素的最小推来对出现频率进行排序。

3、有一个1G大小的一个文献，里面每一行是一个词，