网络爬虫程序源码

网络爬虫程序源码这是一款用C#编写的网络爬虫主要特性有:可配置:线程数、线程等待时间,连接超时时间,可爬取文件类型和优先级、下载目录等。状态栏显示统计信息:排入队列URL数,已下载文件数,已下载总字节数,CPU使用率和可用内存等。有偏好的爬虫:可针对爬取的资源类型设置不同的优先级。健壮性:十几项URL正规化策略以排除冗余下载、爬虫陷阱避免策略的使用等、多种策略以解析相对路径等。较好的性能:基于正则表达式的页面解析、适度加锁、维持HTTP连接等。今后有空可能加入的特性:新特性介绍爬取文件用BerkeleyDB存储提高性能:常用操作系统不善于处理大量小文件基于URLRanking的优先级队列主题爬虫:机器学习算法对链接与主题相关度进行评估,并按照得出的优先级顺序进行爬取爬虫礼仪遵循爬虫禁止协议、以及避免对服务器资源的过度使用等性能优化用UDP取代封装好的HttpWebRequest/ResponseDNS缓存异步的DNS地址解析硬盘缓存或内存数据库以避免频繁的磁盘寻道分布式爬虫以扩展单机能力(CPU、内存和硬盘访问)

标签: 正则 线程 多线程 表达式

评分:

更新时间:2010-01-05

浏览次数:25667次

免费

设计模式示例源码

设计模式示例源码关乎20种设计模式简单代码,主要是实现方式,讲解比较详细。每一种设计模式都有具体的描述以及详细的实现代码。学习设计模式的朋友可以参考。

标签: 经典教程 设计模式

评分:

更新时间:2011-05-17

浏览次数:4928次

免费

Lucandra.NET搜索引擎源码

Lucandra.NET搜索引擎源码源码描述:Lucandra.NET是.NET版的Lucandra(Solandra)Solandra(原名为Lucandra)=Cassandra+LuceneSolandra=Solr+CassandraSolandra是一个实时的分布式搜索引擎,基于ApacheSolr和ApacheCassandra构建.

标签: Lucene 搜索引擎 LucandraNET

评分:

更新时间:2012-09-21

浏览次数:6860次

免费

Scrollable GridView源码

ScrollableGridView源码功能介绍:实现了GridView的滑动条,直接设置ScrollableGridView控件的高度,超出范围就会实现滑动条注意:开发环境为VisualStudio2010

标签: GridView scroll 滑动条

评分:

更新时间:2013-04-18

浏览次数:3272次

免费

扁平风格UI工具包FlatUI源码

Flat UI是一套精美的扁平风格 UI 工具包,基于 Twitter Bootstrap 实现。这套界面工具包含许多基本的和复杂的 UI 部件,例如按钮,输入框,组合按钮,复选框,单选按钮,标签,菜单,进度条和滑块,导航元素等等。

标签: 扁平风格 UI

评分:

更新时间:2016-10-12

浏览次数:1209次

免费

CodeModel三层代码生成器源码

CodeModel三层代码生成器源码可以连接Sql数据库,生成简单三层结构,可以避免重复代码的编写生成DAL/BLL/Model层,及常用的Add()、Update()、GetList()等方法

标签: 代码生成器 三层

评分:

更新时间:2009-05-22

浏览次数:21754次

免费

NetronLight工作流软件源码

NetronLight工作流软件源码一直想学习的工作流的程序分享给大家--有关画工作流流程的入门程序不知道大家是否接触过Netron,我这个附件中的代码是其中的一些核心基础技术,对想做不同于管理类开发的人员,应该是个很好的入门。很小很精的代码,代码没多少行,想提高编程能力的人应该是很有帮助。程序运行的效果图如下:可以随意拖动,连接线也可以自由设定等等,代码是很早就下载了,没再去网上看看有没有更新的,代码不在于多,在于精,功能不在于复杂在于方便地入门学习和提高。

标签: 多语言 工作流

评分:

更新时间:2009-06-03

浏览次数:17263次

免费

C#代码生成器源码

C#代码生成器源码可方便生成实体类,数据访问类,数据库文档代码要想有注释需要在数据库里写上说明(表,和字段都可以在属性里写说明,)

标签: 代码生成 .NET 业务类 数据类 实体

评分:

更新时间:2009-12-29

浏览次数:10899次

免费

VS2008转换VS2005工具源码

VS2008转换VS2005工具源码将VS2008的代码转换成VS2005,只是将其中的*.sln,*.csproj,*.cs三种文件转换成VS2005可以识别的..详细的转换方法请BaiDu...只可以转换窗体

标签: 转换 版本 入门源码 vs工具

评分:

更新时间:2010-01-14

浏览次数:5705次

免费

达奇后台代码生成器源码

达奇后台代码生成器源码此代码是我08年为了给我自己减轻重复工作而做的工具,当时我还不知道有动软代码生成器,不过我也用了模板此工具主要目的就是为了让我们把精力放到逻辑上只关注界面编程可以根据SQL20002005进行生成不过需要每个表都有ID这个应该不是问题我想大家的表也都包含ID动软都开源了我也就开源了

标签: 代码生成器 学习源码 生成XML

评分:

更新时间:2010-01-18

浏览次数:5918次

免费

博客下载备份器源码

博客下载备份器源码新浪博客上好多牛人的博客,有时候想下载下来离线观看,便有了这个软件。此软件本想做一个支持众博客的下载器,不过后来精力有限,只完成了新浪博客的部分博客的下载。下载时,目前想从博客地址上,得到博客类型,然后加载不同的博客配置文件,从而获得文章列表分页信息,文章总数等信息,再依配置文件,匹配出博客文章地址。目前支持在线查看博客,和导出博客到本地功能。

标签: 博客 下载 备份 抓取 学习源码 Blog

评分:

更新时间:2010-01-19

浏览次数:4102次

免费

winForm自动更新程序源码

winForm自动更新程序源码c#winform自动更新程序.web程序更新很简单,不用说了,而在C/S模式下怎么更新程序呢

标签: 学习源码 自动更新 QQ更新

评分:

更新时间:2010-01-27

浏览次数:25685次

免费