按照Form类型

按照源码分类

搜索历史

    关键字:“Spider”
    检索结果:2 条记录(耗时 45 毫秒)
    • KKNETSpider网站数据采集源码

      一款功能十分强大的网站数据采集软件源码。

      免费
      立即下载
    • CSharpSpider源码

      CSharpSpider源码蜘蛛是一种半自动的程序,就象现实当中的蜘蛛在它的Web(蜘蛛网)上旅行一样,蜘蛛程序也按照类似的方式在Web链接织成的网上旅行。蜘蛛程序之所以是半自动的,是因为它总是需要一个初始链接(出发点),但此后的运行情况就要由它自己决定了,蜘蛛程序会扫描起始页面包含的链接,然后访问这些链接指向的页面,再分析和追踪那些页面包含的链接。从理论上看,最终蜘蛛程序会访问到Internet上的每一个页面,因为Internet上几乎每一个页面总是被其他或多或少的页面引用。C#特别适合于构造蜘蛛程序,这是因为它已经内置了HTTP访问和多线程的能力,而这两种能力对于蜘蛛程序来说都是非常关键的。下面是构造一个蜘蛛程序要解决的关键问题:HTML分析:需要某种HTML解析器来分析蜘蛛程序遇到的每一个页面。页面处理:需要处理每一个下载得到的页面。下载得到的内容可能要保存到磁盘,或者进一步分析处理。多线程:只有拥有多线程能力,蜘蛛程序才能真正做到高效。确定何时完成:不要小看这个问题,确定任务是否已经完成并不简单,尤其是在多线程环境下。

      免费
      立即下载