TensorFlowOnSpark:TensorFlowOnSpark将TensorFlow程序引入Apache Spark集群 源码

TensorFlowOnSpark TensorFlowOnSpark为Apache Hadoop和Apache Spark集群带来了可扩展的深度学习。 通过将深度学习框架中的突出功能与和,TensorFlowOnSpark可以在GPU和CPU服务器集群上实现分布式深度学习。 它支持在Spark集群上进行分布式TensorFlow训练和推理,其目标是最大程度地减少在共享网格上运行现有TensorFlow程序所需的代码更改量。 其兼容Spark的API通过以下步骤帮助管理TensorFlow集群: 启动-在执行程序上启动Tensorflow主要功能,以及数据/控制消息的侦听器。 数据提取 InputMode.TENSORFLOW-利用TensorFlow的内置API直接从HDFS读取数据文件。 InputMode.SPARK-通过TFNode.DataFeed类将Spark RDD数据发送到TensorFlow节点。 请注意,我们利用来访问HDFS上的TFRecords。 Shutdown-关闭执行器上的Tensorflow worker和PS节点。 目录 背景 Tenso