首页 [ 网络应用 ] CSharpSpider源码
一键分享

CSharpSpider源码

  • 免费

2009-10-21 09:56:03

  • 源码类型: C/S
  • 开发环境: VS2005 + 无数据库
  • 开发语言: C#
  • 标签: 多线程 HTML分析
  • 评分:
收藏 274 次|关注 5438 次|下载 637 次

免费


交付物: 源码包
    商家已实名认证
  • 分享者:wxc***
  • 访问次数:   10415 次
  • 源码数量:   66 套
  • 通过比率:   100%
  • 活跃于:   三个月前
  • 最新IP属地:杭州市
  • 微信扫码咨询
.net

源码介绍

源码参数

  • 源码类别:【网络应用】
  • 源码类型:C/S
  • 适合人群: 菜鸟进阶
  • 授权类型:免费版
  • 开发语言:C#
  • 数据库:无数据库
  • 源码大小:87K
  • 相关网址: 【免费浏览】
  • 源码指数:
  • 完整度:
  • Internet蜘蛛
  • Internet蜘蛛
  • Aspx.Query.CodeImageQueryModel

CSharpSpider源码

蜘蛛是一种半自动的程序,就象现实当中的蜘蛛在它的Web(蜘蛛网)上旅行一样,蜘蛛程序也按照类似的方式在Web链接织成的网上旅行。
蜘蛛程序之所以是半自动的,是因为它总是需要一个初始链接(出发点),但此后的运行情况就要由它自己决定了,蜘蛛程序会扫描起始
页面包含的链接,然后访问这些链接指向的页面,再分析和追踪那些页面包含的链接。从理论上看,最终蜘蛛程序会访问到Internet上的
每一个页面,因为Internet上几乎每一个页面总是被其他或多或少的页面引用。

C#特别适合于构造蜘蛛程序,这是因为它已经内置了HTTP访问和多线程的能力,而这两种能力对于蜘蛛程序来说都是非常关键的。
下面是构造一个蜘蛛程序要解决的关键问题:

HTML分析:需要某种HTML解析器来分析蜘蛛程序遇到的每一个页面。
页面处理:需要处理每一个下载得到的页面。下载得到的内容可能要保存到磁盘,或者进一步分析处理。
多线程:只有拥有多线程能力,蜘蛛程序才能真正做到高效。
确定何时完成:不要小看这个问题,确定任务是否已经完成并不简单,尤其是在多线程环境下。

责任编辑:wxc

下载记录(Only Recent 100)

用户名 推荐指数 下载时间

源码评论

单击更换

评论列表

全部评论
  • 暂无评论 …

最近更新

      下载排行