[详尽全面版]网络爬虫基础手册.pdf

网络爬虫基础知识详解：首先，网络爬虫，又称网页蜘蛛或网络机器人，在FOAF社区中更常被称为网页追逐者，是根据特定规则自动抓取互联网信息的程序或脚本。此技术的别名还有蚂蚁、自动索引、模拟程序或蠕虫。随着大数据的迅猛发展，网络爬虫技术逐渐进入人们的视野。它可以被视为大数据发展的产物之一。网络爬虫对于我而言是大数据概念的必然延伸。其次，适合网络爬虫的语言有多种。1. 首先是phantomjs，但值得注意的是在17年4月，该语言的主要开发者Vitaly宣布不再维护，称无法看到其未来，即便最新发布的2.5 Beta版本拥有全新的QtWebKit。Vitaly表示Chrome 59将支持headless模式，这使得用户更倾向于使用Chrome，因为相比PhantomJS，Chrome更快速、更稳定，也不会遇到PhantomJS那样的问题。