大数据面试题汇总与答案分享

Hadoop	Hive	Spark	Flink	HBase	Kafka	Zookeeper

一、Hadoop

1. HDFS架构

2. Yarn架构

3. MapReduce过程

4. Yarn 调度MapReduce

5. hdfs写流程

6. hdfs读流程

7. hdfs创建一个文件的流程

8. hadoop1.x 和hadoop 2.x 的区别

9. hadoop1.x的缺点

10. hadoop HA介绍

11. hadoop的常用配置文件有哪些,自己实际改过哪些?

12. 小文件过多会有什么危害,如何避免?

13. 启动hadoop集群会分别启动哪些进程,各自的作用

14. 讲一下环形缓冲区的概念

二、Hive

1. hive 内部表和外部表的区别

2. hive中 sort by / order by / cluster by / distribute by 的区别

3. hive的metastore的三种模式

4. hive 中 join都有哪些

5. Impala 和 hive 的查询有哪些区别

6. Hive中大表join小表的优化方法

7. Hive Sql 是怎样解析成MR job的?

8. Hive UDF简单介绍

9. SQL题: 按照学生科目分组, 取每个科目的TopN

10. SQL题: 获取每个用户的前1/4次的数据

三、Spark

1. 讲一下spark 的运行架构
2. 一个spark程序的执行流程
3. spark的shuffle介绍
4. Spark的 partitioner 都有哪些?
5. spark 有哪几种join
6. RDD有哪些特点
7. 讲一下宽依赖和窄依赖
8. Spark中的算子都有哪些
9. RDD的缓存级别都有哪些
10. RDD 懒加载是什么意思
11. 讲一下spark的几种部署方式
12. spark on yarn 模式下的 cluster模式和 client模式有什么区别
13. spark运行原理,从提交一个jar到最后返回结果,整个过程
14. spark的stage是如何划分的
15. spark的rpc: spark2.0为什么放弃了akka 而用netty?
16. spark的各种HA, master/worker/executor/driver/task的ha
17. spark的内存管理机制,spark 1.6前后分析对比, spark2.0 做出来哪些优化
18. 讲一下spark 中的广播变量
19. 什么是数据倾斜,怎样去处理数据倾斜
20. 分析一下一段spark代码中哪些部分在Driver端执行,哪些部分在Worker端执行

四、Flink

1. 讲一下flink的运行架构

2. 讲一下flink的作业执行流程

3. flink具体是如何实现exactly once 语义

4. flink 的 window 实现机制

5. flink的window分类

6. flink 的 state 是存储在哪里的

7. flink是如何实现反压的

8. flink的部署模式都有哪些

9. 讲一下flink on yarn的部署

10. flink中的时间概念 , eventTime 和 processTime的区别

11. flink中的session Window怎样使用

五、HBase

1. 讲一下 Hbase 架构
2. hbase 如何设计 rowkey
3. 讲一下hbase的存储结构,这样的存储结构有什么优缺点
4. hbase的HA实现,zookeeper在其中的作用
5. HMaster宕机的时候,哪些操作还能正常工作
6. 讲一下hbase的写数据的流程
7. 讲一下hbase读数据的流程

六、Kafka

1. 讲一下 kafka 的架构

2. kafka 与其他消息组件对比?

3. kafka 实现高吞吐的原理

4. kafka怎样保证不重复消费

5. kafka怎样保证不丢失消息

6. kafka 与 spark streaming 集成,如何保证 exactly once 语义

7. ack 有哪几种, 生产中怎样选择?

8. 如何通过 offset 寻找数据

9. 如何清理过期数据

10. 1条message中包含哪些信息

11. 讲一下zookeeper在kafka中的作用

12. kafka 可以脱离 zookeeper 单独使用吗

13. kafka有几种数据保留策略

14. kafka同时设置了7天和10G清除数据,到第5天的时候消息到达了10G,这个时候kafka如何处理?

七、Zookeeper

1. zookeeper是什么,都有哪些功能
2. zk 有几种部署模式
3. zk 是怎样保证主从节点的状态同步
4. 说一下 zk 的通知机制
5. zk 的分布式锁实现方式
6. zk 采用的哪种分布式一致性协议? 还有哪些分布式一致性协议
7. 讲一下leader 选举过程