网络爬虫程序源码这是一款用C#编写的网络爬虫主要特性有:可配置:线程数、线程等待时间,连接超时时间,可爬取文件类型和优先级、下载目录等。状态栏显示统计信息:排入队列URL数,已下载文件数,已下载总字节数,CPU使用率和可用内存等。有偏好的爬虫:可针对爬取的资源类型设置不同的优先级。健壮性:十几项URL正规化策略以排除冗余下载、爬虫陷阱避免策略的使用等、多种策略以解析相对路径等。较好的性能:基于正则表达式的页面解析、适度加锁、维持HTTP连接等。今后有空可能加入的特性:新特性介绍爬取文件用BerkeleyDB存储提高性能:常用操作系统不善于处理大量小文件基于URLRanking的优先级队列主题爬虫:机器学习算法对链接与主题相关度进行评估,并按照得出的优先级顺序进行爬取爬虫礼仪遵循爬虫禁止协议、以及避免对服务器资源的过度使用等性能优化用UDP取代封装好的HttpWebRequest/ResponseDNS缓存异步的DNS地址解析硬盘缓存或内存数据库以避免频繁的磁盘寻道分布式爬虫以扩展单机能力(CPU、内存和硬盘访问)
评分:
更新时间:2010-01-05
浏览次数:25667次
免费
设计模式示例源码关乎20种设计模式简单代码,主要是实现方式,讲解比较详细。每一种设计模式都有具体的描述以及详细的实现代码。学习设计模式的朋友可以参考。
评分:
更新时间:2011-05-17
浏览次数:4928次
免费
Lucandra.NET搜索引擎源码源码描述:Lucandra.NET是.NET版的Lucandra(Solandra)Solandra(原名为Lucandra)=Cassandra+LuceneSolandra=Solr+CassandraSolandra是一个实时的分布式搜索引擎,基于ApacheSolr和ApacheCassandra构建.
标签: Lucene 搜索引擎 LucandraNET
评分:
更新时间:2012-09-21
浏览次数:6860次
免费
ScrollableGridView源码功能介绍:实现了GridView的滑动条,直接设置ScrollableGridView控件的高度,超出范围就会实现滑动条注意:开发环境为VisualStudio2010
评分:
更新时间:2013-04-18
浏览次数:3272次
免费
Flat UI是一套精美的扁平风格 UI 工具包,基于 Twitter Bootstrap 实现。这套界面工具包含许多基本的和复杂的 UI 部件,例如按钮,输入框,组合按钮,复选框,单选按钮,标签,菜单,进度条和滑块,导航元素等等。
评分:
更新时间:2016-10-12
浏览次数:1209次
免费
CodeModel三层代码生成器源码可以连接Sql数据库,生成简单三层结构,可以避免重复代码的编写生成DAL/BLL/Model层,及常用的Add()、Update()、GetList()等方法
评分:
更新时间:2009-05-22
浏览次数:21754次
免费
NetronLight工作流软件源码一直想学习的工作流的程序分享给大家--有关画工作流流程的入门程序不知道大家是否接触过Netron,我这个附件中的代码是其中的一些核心基础技术,对想做不同于管理类开发的人员,应该是个很好的入门。很小很精的代码,代码没多少行,想提高编程能力的人应该是很有帮助。程序运行的效果图如下:可以随意拖动,连接线也可以自由设定等等,代码是很早就下载了,没再去网上看看有没有更新的,代码不在于多,在于精,功能不在于复杂在于方便地入门学习和提高。
评分:
更新时间:2009-06-03
浏览次数:17263次
免费
C#代码生成器源码可方便生成实体类,数据访问类,数据库文档代码要想有注释需要在数据库里写上说明(表,和字段都可以在属性里写说明,)
评分:
更新时间:2009-12-29
浏览次数:10899次
免费
VS2008转换VS2005工具源码将VS2008的代码转换成VS2005,只是将其中的*.sln,*.csproj,*.cs三种文件转换成VS2005可以识别的..详细的转换方法请BaiDu...只可以转换窗体
评分:
更新时间:2010-01-14
浏览次数:5705次
免费
达奇后台代码生成器源码此代码是我08年为了给我自己减轻重复工作而做的工具,当时我还不知道有动软代码生成器,不过我也用了模板此工具主要目的就是为了让我们把精力放到逻辑上只关注界面编程可以根据SQL20002005进行生成不过需要每个表都有ID这个应该不是问题我想大家的表也都包含ID动软都开源了我也就开源了
评分:
更新时间:2010-01-18
浏览次数:5918次
免费
博客下载备份器源码新浪博客上好多牛人的博客,有时候想下载下来离线观看,便有了这个软件。此软件本想做一个支持众博客的下载器,不过后来精力有限,只完成了新浪博客的部分博客的下载。下载时,目前想从博客地址上,得到博客类型,然后加载不同的博客配置文件,从而获得文章列表分页信息,文章总数等信息,再依配置文件,匹配出博客文章地址。目前支持在线查看博客,和导出博客到本地功能。
评分:
更新时间:2010-01-19
浏览次数:4102次
免费
评分:
更新时间:2010-01-27
浏览次数:25685次
免费