由C#编写的多线程异步抓取网页的网络爬虫控制台程序

描述：由C#编写的多线程异步抓取网页的网络爬虫控制台程序功能：目前只能提取网络链接，所用的两个记录文件并不需要很大。网页文本、图片、视频和html代码暂时不能抓取，请见谅。但需要注意，网页的数目是非常庞大的，如下代码理论上大概可以把整个互联网网页链接都抓下来。但事实上，由于处理器功能和网络条件（主要是网速）限制，一般的家用电脑最多能胜任12个线程左右的抓取任务，抓取速度有限。可以抓取，但需要时间和耐心。当然，这个程序把所有链接抓下来是可能的，因为链接占系统空间并不多，而且有记录文件的帮助，已抓取网页的数量可以堆积下去，甚至可以把所有的互联网网络链接都存取下来，当然，最好是分批次。建议设置maxNum为500-1000左右，慢慢累积下去。另外因