606_Data_Analysis 源码

606_Data_Analysis 此仓库包含有关Hadoop,Spark和Unix的代码。 本课程中检查的数据重点在于从提取的NYC出租车行程,以及从收集的股市数据。 入门 要了解有关Alpha Vantage的更多信息并获取API密钥(进行查询所必需),您可以访问其网站并查看其以访问数据。 可从AWS免费获得,仅要求您使用免费帐户进行。 用法 该代码仅供Unix命令以及Spark和Hadoop中的数据过滤和操作参考。 每个文件夹(纽约市出租车和股票市场数据)都包含与使用Unix命令和Spark / Hadoop代码访问和操纵数据有关的文件的集合。 例如,要获取除市股票列表,您可以参考“股市数据”文件夹,找到以下代码,该代码使用Alpha Vantage的API和一些Unix命令将数据收集和处理为一个可用的文件,称为delisted.csv。 股票市场数据>退市股票: wget