Spark操作实例

创建spark对象 spark = SparkSession.builder.config(conf = SparkConf()).getOrCreate() 读取文件 1.直接读取为dataframe格式 data=spark.read.orc(rgaowang.orc) 2.读取为rdd格式 data = spark.sparkContext.textFile(rgaowang.orc) 加表头构建dataframe # 生成表头\nschemaString='c0,c1,c2,c3,c4,c5,c6,c7,c8,c9,c10,c11' fields=[Str