sparkmagic:用于远程Spark集群的Jupyter魔术和内核 源码

火花魔术 Sparkmagic是一套工具,可通过笔记本中的Spark REST服务器与远程Spark集群进行交互工作。 Sparkmagic项目包括一组魔术,用于以多种语言交互式运行Spark代码,以及一些可用于将Jupyter转变为集成Spark环境的内核。 产品特点 通过Livy对任何远程Spark集群以多种语言运行Spark代码 自动创建SparkContext( sc )和HiveContext( sqlContext ) 使用%%sql魔术轻松执行SparkSQL查询 在PySpark,Spark和SparkR内核中自动可视化SQL查询; 使用简单的可视界面以交互方式构建可视化效果