1. 首页
  2. 数据库
  3. 其它
  4. SparkStreaming源码解读之数据清理内幕彻底解密

SparkStreaming源码解读之数据清理内幕彻底解密

上传者: 2021-04-20 04:56:43上传 PDF文件 107.02KB 热度 6次
1.理清楚SparkStreaming中数据清理的流程a)背景b)如何研究SparkStreaming数据清理?c)源码解析SparkStreaming数据清理的工作无论是在实际开发中,还是自己动手实践中都是会面临的,Spark Streaming中BatchDurations中会不断的产生RDD,这样会不断的有内存对象生成,其中包含元数据和数据本身。由此Spark Streaming本身会有一套产生元数据以及数据的清理机制。操作DStrea
下载地址
用户评论