前言 最近学完Python,写了几个爬虫练练手,网上的有很多,但是有的已经不能爬了,主要是经常改,可是爬虫还是有通用的思路的,即下载数据、解析数据、保存数据。下面一一来讲。 1.下载数据 首先打开要爬的,分析URL,每打开一个网页看URL有什么变化,有可能带上上个网页的某个数据,例如xxID之类,那么我们就在上一个页面分析HTML,找到对应的数据。如果网页源码找不到,可能是ajax异步加载,去xhr里去找。 有的做了反爬的处理,可以添加User-Agent :判断 self.user_agent = 'Mozilla/4.0 (compatible; MSI
