通过C#语言.net winform框架实现的网络爬虫软件,网页大数据抓取工具。
三层架构代码生成器,方便的生成实体类MODEL类、简单的增删改查方法DAL类、简单的调用方法BLL类,可以使用任何版本的SQL SERVER 数据库,方便操作。
小说、新闻、文章、图片等都能有效采集。本程序采用SQLite存储数据,实现多线程断点采集。
通用网页下载器,悬浮在浏览器上方,主要用于手工摘选、下载网页信息,可以按规则或者自动提取算法获取文章主要信息;正文部分,运用正则表达式进行了处理,过滤了大部分标签,留下的是最干净的网页。
网站授权,授权文件生成,版权控制