网络爬虫程序源码

网络爬虫程序源码这是一款用C#编写的网络爬虫主要特性有:可配置:线程数、线程等待时间,连接超时时间,可爬取文件类型和优先级、下载目录等。状态栏显示统计信息:排入队列URL数,已下载文件数,已下载总字节数,CPU使用率和可用内存等。有偏好的爬虫:可针对爬取的资源类型设置不同的优先级。健壮性:十几项URL正规化策略以排除冗余下载、爬虫陷阱避免策略的使用等、多种策略以解析相对路径等。较好的性能:基于正则表达式的页面解析、适度加锁、维持HTTP连接等。今后有空可能加入的特性:新特性介绍爬取文件用BerkeleyDB存储提高性能:常用操作系统不善于处理大量小文件基于URLRanking的优先级队列主题爬虫:机器学习算法对链接与主题相关度进行评估,并按照得出的优先级顺序进行爬取爬虫礼仪遵循爬虫禁止协议、以及避免对服务器资源的过度使用等性能优化用UDP取代封装好的HttpWebRequest/ResponseDNS缓存异步的DNS地址解析硬盘缓存或内存数据库以避免频繁的磁盘寻道分布式爬虫以扩展单机能力(CPU、内存和硬盘访问)

标签: 正则 线程 多线程 表达式

评分:

更新时间:2010-01-05

浏览次数:25666次

免费

狼奔权限管理系统源码

狼奔权限管理系统源码由于每次开发新项目都需要一个权限管理系统,为了解决重复开发让成本增加的问题,我们特此开发一套狼奔权限管理系统,方便大家在此基础上开发出更多更优秀的软件产品。该系统的基础代码是使用狼奔代码生成器自动生成的。功能介绍:基础设置--日志管理,异常捕获,数字字典;部门管理--部门的详细名称,地址,排序,创建时间,创建人;人员管理--创建人员的个人基本信息及角色;菜单管理--所有管理的状态;操作管理--对所有管理的增删改查操作;角色管理--对于管理员的权限分配,包括增删改查操作;开发环境:VisualStudio2010;数据库:SQL2008R2

标签: 权限 狼奔 代码生成 角色管理

评分:

更新时间:2014-02-24

浏览次数:11926次

免费

设计模式示例源码

设计模式示例源码关乎20种设计模式简单代码,主要是实现方式,讲解比较详细。每一种设计模式都有具体的描述以及详细的实现代码。学习设计模式的朋友可以参考。

标签: 经典教程 设计模式

评分:

更新时间:2011-05-17

浏览次数:4928次

免费

XH代码生成工具源码

XH代码生成工具源码源码介绍:自己制作的一款代码生成工具,主要用来生成数据库操作类的。可以自动生成model,bll,Helper类有不足的地方请大家见谅,源码有手动工具开源仅供有兴趣的爱好者参考学习。

标签: 代码生成工具

评分:

更新时间:2023-01-18

浏览次数:2428次

免费

狼奔权限管理系统 v4.3源码

狼奔权限管理系统v4.3源码技术特点:采用面向服务架构(SOA)自动生成ASP.NET页面及后台代码自主知识产权研发完美融合了Jquery,MVC3.0,WCF,EntityFramework等技术支持SQLServer、Oracle和MySQL等多种类型的数据库功能描述:这是一款为程序员设计的代码生成器,更是一款软件项目智能开发平台,它可以自动生成ASP.NET页面及后台代码,采用了面向服务的架构(SOA)。

标签: 代码生成器 WCF 权限管理 MVC

评分:

更新时间:2012-05-03

浏览次数:13127次

免费

Lucandra.NET搜索引擎源码

Lucandra.NET搜索引擎源码源码描述:Lucandra.NET是.NET版的Lucandra(Solandra)Solandra(原名为Lucandra)=Cassandra+LuceneSolandra=Solr+CassandraSolandra是一个实时的分布式搜索引擎,基于ApacheSolr和ApacheCassandra构建.

标签: Lucene 搜索引擎 LucandraNET

评分:

更新时间:2012-09-21

浏览次数:6860次

免费

Scrollable GridView源码

ScrollableGridView源码功能介绍:实现了GridView的滑动条,直接设置ScrollableGridView控件的高度,超出范围就会实现滑动条注意:开发环境为VisualStudio2010

标签: GridView scroll 滑动条

评分:

更新时间:2013-04-18

浏览次数:3272次

免费

VH权限管理系统源码

一款采用了采用了FineUI和ExtJS技术的权限管理系统源码

标签: FineUI ExtJS 权限管理

评分:

更新时间:2014-09-09

浏览次数:3790次

免费

扁平风格UI工具包FlatUI源码

Flat UI是一套精美的扁平风格 UI 工具包,基于 Twitter Bootstrap 实现。这套界面工具包含许多基本的和复杂的 UI 部件,例如按钮,输入框,组合按钮,复选框,单选按钮,标签,菜单,进度条和滑块,导航元素等等。

标签: 扁平风格 UI

评分:

更新时间:2016-10-12

浏览次数:1209次

免费

WINFORM通用权限管理系统

好看的 winform 菜单权限框架

标签: winform

评分:

更新时间:2023-03-10

浏览次数:328次

免费

CodeModel三层代码生成器源码

CodeModel三层代码生成器源码可以连接Sql数据库,生成简单三层结构,可以避免重复代码的编写生成DAL/BLL/Model层,及常用的Add()、Update()、GetList()等方法

标签: 代码生成器 三层

评分:

更新时间:2009-05-22

浏览次数:21753次

免费

狼人开发辅助工具集合

狼人开发辅助工具集合有代码生成器(可生成多层数据库和自定义模板,支持Access/Sql)、附加数据库、拾色器、截图工具、字符串批量查找、字符串加密及长度测试等工具打开后自动隐藏到顶部狼人代码生成器的生成原理很简单,也就是利用预先配置好的模板文件,字符串关键字替换。并且我所配置的生成代码是基于工厂模型五层架构设计。主要DLL是LR.Database连接数据库的配置在CodeBuilber.exe.config【同目录下】

标签: 代码生成器 截图 拾色器 截屏

评分:

更新时间:2009-05-25

浏览次数:13568次

免费