Python — requests(爬虫)教程一

Python —- requests(爬虫)教程一 什么是爬虫: 1.网络爬虫: –网络爬虫为一个自动提取网页的程序,它为搜索引擎从万维网上下载网页,是搜索引擎的重要组成。 2.传统爬虫: –传统爬虫从一个或若干初始网页的URL开始,获得初始网页上的URL,在抓取网页的过程中,不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。 爬虫合法吗? 1.遵守 Robots 协议,谨慎爬取 2.限制你的爬虫行为,禁止近乎 DDOS 的请求频率,一旦造成服务器瘫痪,约等于网络攻击 3.对于明显反爬,或者正常情况不能到达的页面不能强行突