大数据知识、面试题HDFS、Mapreduce、hive

kafka数据丢失问题,及如何保证1.数据丢失: a.acks=1的时候(只保证写入leader成功),如果刚好leader挂了.数据会丢失. b. Acks=0的时候,使用异步模式的时候，该模式下kafka无法保证消息,有可能会丢。2. brocker如何保证不丢失: a.acks=all :所有副本都写入成功并确认. b. retries =一个合理值c.min.insync.replicas=2消息至少要被写入到这么多副本才算成功. 36d. unclean.leader.election.enable=false关闭unclean leader选举，即不允许非ISR中的副本被选举为leader，以避免数据丢失. 3. Consumer如何保证不丢失a.如果在消息处理完成前就提交了offset，那么就有可能造成数据的丢失. b. enable.auto.commit=false关闭自动提交offset c.处理完数据之后手动提交.