spark aws rdkit:带有Apache Spark Hadoop3(与AWS服务如S3兼容)和Anaconda环境中安装的RDKit的Docker映像

Apache Spark与Amazon Data Science和化学信息学服务兼容 这是功能齐全的Spark Standalone群集,与S3等AWS服务兼容。 您可以使用docker-compose在本地启动它,也可以在Amazon Cloud AWS ECS启动它。 PySpark示例 单独的容器submit将等待Spark群集可用性,然后将运行PySpark示例。该示例显示了如何将Spark作业提交到集群。有关详细信息,请参见src/ 。 Docker组成 ./compose.sh up --build 这将启动Spark Master和两个Workers,并在submit中submit示例。 Spark Web UI将在上可用 spark:// localhost:7077上的Spark驱动程序(PySpark: setMaster('spark://localhost:7