Scrapy中北大学校园新闻爬虫
中北大学校园新闻的爬虫代码，写得挺清爽的，用的是Scrapy，逻辑也不复杂。对于刚接触爬虫的朋友来说，蛮适合拿来练手。新闻列表在页面里是
页面结构相对稳定，response.xpath配合.extract()就能搞定标题和时间，起来也比较顺手。如果你还不太熟 Scrapy 的流程，像items、pipelines这些模块，可以借这个项目走一遍流程。
代码里没用太复杂的中间件，也没加反爬手段，对新手友好。不过要注意，有些 URL 是相对路径，需要用response.urljoin拼一下。不然爬到一半你会纳闷，怎么打开链接都是 404。
如果你想顺带练练数据保存，也可以加点东西，比如存成CSV、写入MongoDB，都蛮方便。嗯，是个比较完整的小项目，能学到 Scrapy 核心的东西。
如果你对中北大学相关资源感兴趣，像JavaEE 课程设计、微机原理 PPT、3D 地图源码这些内容，也可以顺带看看，资料蛮全的：
，如果你刚接触Scrapy，想找个不绕弯的项目上手，这份代码还是挺推荐的。
下载地址
用户评论
