这是一款用 C# 编写网页采集器。能够有效地从互联网上抓取、处理、分析,挖掘用户感兴趣的数据。小说、新闻、文章、图片等都能有效采集。本程序采用SQLite存储数据,实现多线程断点采集。
注意:只能采集淘宝的网站,不能采集天猫的页面开发环境为VisualStudio2005,数据库为SQLServer2000,数据库文件在DB_51aspx文件夹中附加就行。
修改记录:*加了内容分页采集*内容不要的字符过滤*数据库结构没变*Caiji.cs做了修改*News.cs做了修改*addArtRule.aspx做了修改*数据库里面只存储了一个采集来源,如果要继续采集需要删除原来采集的数据
NewsDig新闻自动采集系统源码NewsDig是一款可以为网站自动采集其他站点的新闻的新闻采集软件,拥有良好的数据接口,个性化的配置,以及强大的新闻采集功能,采用多线程技术,占用资源小。
自动定时运行示例源码自动定时运行示例(WebForm下timer的使用)这是一个简单的自动定时运行,通过它,可以做很多需要定时执行的事,比如定时每天自动采集,这样就无需站长天天到网站上点一下采集了。
阿发采集器界面精美,运行稳定,采集效率高,在采集过程中还能动态显示采集进度(进度条),可以防止重复采集,可以自动下载远程图片到本地(添加采集目标时可选),采集的新闻自动入库。