Scrapy学习笔记 基本库的使用urllib

了解一下urllib库,它是Python内置的HTTP 请求库,也就是说不需要额外安装即可使用它,包含如下4 个模块。 发送请求 使用urllib的request模块,我们可以方便地实现请求的发送并得到响应。本节就来看下它的具体用法。 urlopen urllib.request模块提供了最基本的构造HTTP请求的方法, 利用它可以模拟浏览器的一个请求发起过程, 同时它还带有处理授权验证( authenticaton )、重定向( redirection) 、浏览器Cookies 以及其他内容。 利用最基本的urlopen方法,可以完成最基本的简单网页的GET请求抓取 import urll