网络爬虫程序源码

网络爬虫程序源码这是一款用C#编写的网络爬虫主要特性有:可配置:线程数、线程等待时间,连接超时时间,可爬取文件类型和优先级、下载目录等。状态栏显示统计信息:排入队列URL数,已下载文件数,已下载总字节数,CPU使用率和可用内存等。有偏好的爬虫:可针对爬取的资源类型设置不同的优先级。健壮性:十几项URL正规化策略以排除冗余下载、爬虫陷阱避免策略的使用等、多种策略以解析相对路径等。较好的性能:基于正则表达式的页面解析、适度加锁、维持HTTP连接等。今后有空可能加入的特性:新特性介绍爬取文件用BerkeleyDB存储提高性能:常用操作系统不善于处理大量小文件基于URLRanking的优先级队列主题爬虫:机器学习算法对链接与主题相关度进行评估,并按照得出的优先级顺序进行爬取爬虫礼仪遵循爬虫禁止协议、以及避免对服务器资源的过度使用等性能优化用UDP取代封装好的HttpWebRequest/ResponseDNS缓存异步的DNS地址解析硬盘缓存或内存数据库以避免频繁的磁盘寻道分布式爬虫以扩展单机能力(CPU、内存和硬盘访问)

标签: 正则 线程 多线程 表达式

评分:

更新时间:2010-01-05

浏览次数:25678次

免费

设计模式示例源码

设计模式示例源码关乎20种设计模式简单代码,主要是实现方式,讲解比较详细。每一种设计模式都有具体的描述以及详细的实现代码。学习设计模式的朋友可以参考。

标签: 经典教程 设计模式

评分:

更新时间:2011-05-17

浏览次数:4928次

免费

XH代码生成工具源码

XH代码生成工具源码源码介绍:自己制作的一款代码生成工具,主要用来生成数据库操作类的。可以自动生成model,bll,Helper类有不足的地方请大家见谅,源码有手动工具开源仅供有兴趣的爱好者参考学习。

标签: 代码生成工具

评分:

更新时间:2023-01-18

浏览次数:2428次

免费

C#超级通信调试工具源码

C#超级通信调试工具源码源码描述:软件名称:C#超级通信调试工具功能概要:1.串口,TCP服务端/客户端,UDP服务端/客户端通讯调试2.支持Hex,ASCII,UTF8,GB2312编码调试3.接收数据可通过右键菜单一键计算Hex对应的数值4.字节计算器/检验值计算器(CRC16,自定义多项式CRC16,XOR)5.串口超级终端6.Socket通信监视器7:Ping调试历史更新记录:版本:1.0发布时间:2013年9月16日计划更新:1.支持SQLITE数据库,能保存调试命令及最后使用的通信参数信息等2.调试命令的导入和导出3.可将接收的数据按指定编码格式直接写入指定的文件4.YModem协议的文件传输5.Zmodem协议的文件传输6.数据接收过滤器,转换器7.通信协议编辑器

标签: 串口 TCP UDP Socket CRC16 XOR

评分:

更新时间:2013-09-18

浏览次数:11655次

免费

EXIFLIB读取照片EXIF工具源码

ExifLib读取照片Exif工具源码源码描述:ExifLib简单的读取JPEG文件的的Exif标记(GPS数据,即,相机型号,拍摄日期,快门速度等),不使用GDI+类位于System.Drawing.Imaging的开销,和较少的代码行对于开发人员。欢迎感兴趣的用户下载研究

标签: ExifLib exif读取 exif标记

评分:

更新时间:2023-04-18

浏览次数:3477次

免费

Prism框架演示源码

本项目展示了在WPF项目中使用使用MVVM模式的Prism框架。

标签: Prism MVVM

评分:

更新时间:2016-08-30

浏览次数:3480次

免费

C#实现百家号自动登录自动发布视频

本程序使用C#语言Selenium技术实现百家号自动登录、自动发布视频;可以基本上扩展二次开发;

标签: Selenium 自动化

评分:

更新时间:2023-04-27

浏览次数:157次

100.00 积分

SNMP仿真客户端

一、源码描述环境:VS2019,数据库:无二、功能介绍SNMP仿真客户端能够模拟一个简单的网络环境,包括网络设备和应用程序。用户可以通过自定义(如:OID:1.2.3.2.2.3,Type :Integer,Value:1)来模拟特定的网络设备和应用程序。

标签: SNMP仿真工具

评分:

更新时间:2024-06-17

浏览次数:52次

*** 元

CodeModel三层代码生成器源码

CodeModel三层代码生成器源码可以连接Sql数据库,生成简单三层结构,可以避免重复代码的编写生成DAL/BLL/Model层,及常用的Add()、Update()、GetList()等方法

标签: 代码生成器 三层

评分:

更新时间:2009-05-22

浏览次数:21758次

免费

狼人开发辅助工具集合

狼人开发辅助工具集合有代码生成器(可生成多层数据库和自定义模板,支持Access/Sql)、附加数据库、拾色器、截图工具、字符串批量查找、字符串加密及长度测试等工具打开后自动隐藏到顶部狼人代码生成器的生成原理很简单,也就是利用预先配置好的模板文件,字符串关键字替换。并且我所配置的生成代码是基于工厂模型五层架构设计。主要DLL是LR.Database连接数据库的配置在CodeBuilber.exe.config【同目录下】

标签: 代码生成器 截图 拾色器 截屏

评分:

更新时间:2009-05-25

浏览次数:13568次

免费

NetronLight工作流软件源码

NetronLight工作流软件源码一直想学习的工作流的程序分享给大家--有关画工作流流程的入门程序不知道大家是否接触过Netron,我这个附件中的代码是其中的一些核心基础技术,对想做不同于管理类开发的人员,应该是个很好的入门。很小很精的代码,代码没多少行,想提高编程能力的人应该是很有帮助。程序运行的效果图如下:可以随意拖动,连接线也可以自由设定等等,代码是很早就下载了,没再去网上看看有没有更新的,代码不在于多,在于精,功能不在于复杂在于方便地入门学习和提高。

标签: 多语言 工作流

评分:

更新时间:2009-06-03

浏览次数:17264次

免费

ChineseSplitter(中文分词) V1.0源码

ChineseSplitter(中文分词)V1.0源码简介ChineseSplitter中文分词系统集成了单字(一元切分)、双字(二元切分)、词义切分等分词方法。提供很好的权重计算办法。类结构BaseSplitter(分词基类)│├─SingleSplitter(一元切分)│├─DoubleSplitter(二元切分)│└─DefaultSplitter(词义切分)────NICTCLAS(中科院分词系统)KeywordsSort(关键字排序类)不错的中文分词组件,带了语料库

标签: 分词 中文分词 NICTCLAS 切分

评分:

更新时间:2009-06-05

浏览次数:8792次

免费