spark redis:Spark的连接器允许从Redis集群读写 源码

Spark-Redis 一个使用在读写数据的库。 Spark-Redis可从Spark作为RDD访问Redis的所有数据结构-字符串,哈希,列表,集合和排序集合。 它还支持使用DataFrames和Spark SQL语法进行读写。 该库可以与Redis独立数据库以及集群数据库一起使用。 与Redis群集一起使用时,Spark-Redis会意识到其分区方案,并会根据重新分片和节点故障事件进行调整。 Spark-Redis还支持Spark流(DStream)和结构化流。 版本兼容性和分支 该库具有多个分支,每个分支对应于一个受支持的不同Spark版本。 例如,“ branch-2.3”可与