python3爬取torrent种子链接实例

本文环境是python3,采用的是urllib,BeautifulSoup搭建。 说下思路,这个项目分为管理器,url管理器,下载器,解析器,html文件生产器。各司其职,在管理器进行调度。最后将解析到的种子连接生产html文件显示。当然也可以保存在文件。最后效果如图。 首先在管理器SpiderMain()这个类的构造方法里初始化下载器,解析器,html生产器。代码如下。 def__init__(self): self.urls = url_manager.UrlManager() self.downloader = html_downloader.HtmlDownloader()