按照Form类型

搜索历史

    关键字:“爬虫”
    检索结果:5 条记录(耗时 30 毫秒)
    • 网络爬虫_旅游垂直搜索(爬虫+网站)源码

      基于VS2010+MSSQL2005开发的旅游垂直搜索引擎,带爬虫和网站。附件中的说明请参考:垂直搜索.xls。里面记载了数据库部署,打开,运行,架构图文信息本课题是本人今年带的毕业设计,有需要的请下载,观摩。在理解的基础上,爬虫端非常容易迁移后作为其他垂直搜索引擎。

      500.00金币
      立即下载
    • 火蜘蛛EMail搜索爬虫

      一款EMail搜索爬虫源码,工作线程、Email输出等,欢迎下载

      20.00金币
      立即下载
    • 火蜘蛛死链接检测爬虫源码

      本程序采用多线程网页爬虫,对网站进行死链接的检测,主要检测的类型包括 网页链接

      10.00金币
      立即下载
    • C#简易蜘蛛爬虫程序源码

      C#简易蜘蛛爬虫程序源码功能介绍:用WebRequest、HttpWebResponse来获取页面的HTML代码,并通过正规表达式得到链接和文本内容页面直接复制到项目中即可注意:开发环境为VisualStudio2008

      • 关键字: 蜘蛛 爬虫 C#
      • 上架时间: 2012-11-21
      • 浏览次数: 9097
      免费
      立即下载
    • 网络爬虫程序源码

      网络爬虫程序源码这是一款用C#编写的网络爬虫主要特性有:可配置:线程数、线程等待时间,连接超时时间,可爬取文件类型和优先级、下载目录等。状态栏显示统计信息:排入队列URL数,已下载文件数,已下载总字节数,CPU使用率和可用内存等。有偏好的爬虫:可针对爬取的资源类型设置不同的优先级。健壮性:十几项URL正规化策略以排除冗余下载、爬虫陷阱避免策略的使用等、多种策略以解析相对路径等。较好的性能:基于正则表达式的页面解析、适度加锁、维持HTTP连接等。今后有空可能加入的特性:新特性介绍爬取文件用BerkeleyDB存储提高性能:常用操作系统不善于处理大量小文件基于URLRanking的优先级队列主题爬虫:机器学习算法对链接与主题相关度进行评估,并按照得出的优先级顺序进行爬取爬虫礼仪遵循爬虫禁止协议、以及避免对服务器资源的过度使用等性能优化用UDP取代封装好的HttpWebRequest/ResponseDNS缓存异步的DNS地址解析硬盘缓存或内存数据库以避免频繁的磁盘寻道分布式爬虫以扩展单机能力(CPU、内存和硬盘访问)

      免费
      立即下载