通过C#语言.net winform框架实现的网络爬虫软件,网页大数据抓取工具。
本网站开发基于VS2010集成开发环境,基于ASP.NET技术实现前台界面设计,采用B/S搭建的服务平台,用C#作为后台的编程语言,后台数据库则采用了Sql Server。整体功能分为网站前台和后台管理。
1、商品24小时自动采集,采集淘客基地、大淘客的优惠券商品,3万多个产品系统自动处理2、值得买文章导购, 独立发布值得买导购文章,像今日头条,淘宝微淘都有这类值得买导购推荐3、优惠券自动聚合,自动根据商品采集对应分类信息
这是一款用 C# 编写网页采集器。能够有效地从互联网上抓取、处理、分析,挖掘用户感兴趣的数据。小说、新闻、文章、图片等都能有效采集。本程序采用SQLite存储数据,实现多线程断点采集。
等技术特点:支持在线生成静态,在线智能采集,在线sql备份,自主开发的模板引擎。
Sina博文采集工具源码源码介绍:Sina博客采集器可以采集新浪博客指定目录页面的博客文章,软件也支持直接通过博客的地址来采集。自动抓取sina博客的博文输出到txt文件工具可能有一点小问题。
多线程并发生成html,多线程并发采集,编译级模板,模板可编程性,可定制模型,可扩展模型,可自定义字段,可自定义标签,支持任务调度,还有更多功能等待您的发掘。
8)新闻采集功能,方便采集含分页的新闻,可以自动保存图片到服务器并自动替换内容中图片的地址9)后台登陆入口为manager/default.aspx,默认管理员及密码为51aspx10)每个模板的权限都需要在管理员列表中点击编辑权限进行设置