frovedis:向量化和分布式数据分析框架 源码

Frovedis: 分布式数据分析框架 1.简介 Frovedis是用于数据分析的高性能中间件。 它用C ++编写,并利用MPI在服务器之间进行通信。 它提供 类似Spark的API用于分布式处理 使用上述API的矩阵库 机器学习算法库 用于预处理的数据框 Spark / Python界面,易于使用 我们的主要目标体系结构是NEC的矢量计算机SX-Aurora TSUBASA。 这些库经过精心编写以支持矢量化。 但是,它们只是标准的C ++程序,可以在x86等其他体系结构上高效运行。 机器学习算法库在稀疏数据集上表现非常好,尤其是在SX-Aurora TSUBASA上。 在逻辑回归的情况下