这是一款用 C# 编写网页采集器。能够有效地从互联网上抓取、处理、分析,挖掘用户感兴趣的数据。小说、新闻、文章、图片等都能有效采集。本程序采用SQLite存储数据,实现多线程断点采集。
修改记录:*加了内容分页采集*内容不要的字符过滤*数据库结构没变*Caiji.cs做了修改*News.cs做了修改*addArtRule.aspx做了修改*数据库里面只存储了一个采集来源,如果要继续采集需要删除原来采集的数据
NewsDig新闻自动采集系统源码NewsDig是一款可以为网站自动采集其他站点的新闻的新闻采集软件,拥有良好的数据接口,个性化的配置,以及强大的新闻采集功能,采用多线程技术,占用资源小。
阿发采集器界面精美,运行稳定,采集效率高,在采集过程中还能动态显示采集进度(进度条),可以防止重复采集,可以自动下载远程图片到本地(添加采集目标时可选),采集的新闻自动入库。
新闻采集器源码完成了对http://info.laser.hc360.com/list/z_news_yw.shtml网页上新闻的采集数据库文件(Sql2005)存放在DB_51aspx文件夹中对网站配置见
5.后台地址:htt://xxx/admin/login.aspx,后台用户名:51aspx密码:51aspx6.支持上亿级数据的全文查询,时间在毫秒级,通常在30毫秒以下;7.新闻系统与搜索引擎测试地址系统采用
Asp.net房产采集系统Ajax版源码一个集房产信息、新闻信息采集和天气预报读取为一体的Demo网站,该源码充分利用了Ajax技术来体现页面无刷新可以通过在后台设置网站配置信息、房产信息和新闻采集规则等该源码利用了
8)新闻采集功能,方便采集含分页的新闻,可以自动保存图片到服务器并自动替换内容中图片的地址9)后台登陆入口为manager/default.aspx,默认管理员及密码为51aspx10)每个模板的权限都需要在管理员列表中点击编辑权限进行设置