【node】node.js实现一个简单的爬虫

前言 我们写项目的时候会需要模拟数据,这里教大家使用node去实现一个简单的爬虫,获取目标网站的数据资源。(末尾附完整代码) 思路 首先找到目标网页,爬取整个网页的html内容,查看网页源代码,找到需要爬取内容的DOM结构,根据正则或者使用jquery操作(cheerio)提取相应的内容,然后将结果写入文件。 一、准备 所需要的模块: 1、http:网络通信 2、fs:文件操作 3、cheerio:操作DOM(jquery的node版) npm i cheerio 4、iconv-lite:解决网页编码问题 npm i iconv-lite 二、实现 首先引入前面的几个模块 const h