1. 首页
  2. 编程语言
  3. Python
  4. Python-网络爬虫基本工作流程及常见请求方式

Python-网络爬虫基本工作流程及常见请求方式

上传者: 2023-10-31 01:09:18上传 DOCX文件 46.58KB 热度 58次

Python-试卷题目有答案-第13章--网络爬虫全文共1页,当前为第1页。13-1请简述网络爬虫的基本工作流程。网络爬虫的基本工作流程如下:(1)获取初始的URL,该URL地址是用户自己制定的初始爬取的网页。(2)爬取对应URL地址的网页时,获取新的URL地址。(3)将新的URL地址放入URL队列中。(4)从URL队列中读取新的URL,然后依据新的URL爬取网页,同时从新的网页中获取新的URL地址,重复上述的爬取过程。(5)设置停止条件,如果没有设置停止条件时,爬虫会一直爬取下去,直到无法获取新的URL地址为止。设置了停止条件后,爬虫将会在满足停止条件时停止爬取。13-2 Python中提供了哪几种常见的网络请求方式?答:Python中提供了以下3种常见的实现HTTP网络请求的方式。使用Python自带的urllib模块实现。使用

下载地址
用户评论