无聊学爬虫(一):爬虫案列之内涵段子

标题:内涵段子爬虫案例 21世纪是数据时代,而数据的采集,数据的清洗,数据的处理与分析已经成为时代发展的必然,因此爬虫成为了一门必不可少的技术。话不多逼逼,直奔主题: 1. 开发环境 [ 语言] python 3.7.0 [解释器] vscode [辅助工具] fiddler 4.0 [浏览器] firefox chrome 2. 开发步骤 [ url地址]内涵段子吧地址 1、网页分析 打开firefox,打开链接后,按shift+ctrl+e 打开开发者模式,查看网页源代码,同时打开fiddler对网页进行解析。 2、规律查找 (1)发现从第二页开始网页的域名以及参数规律 “https