通过C#语言.net winform框架实现的网络爬虫软件,网页大数据抓取工具。
多任务多线程带进度条采集,支持Cookie采集 支持人工登陆采集
在百度贴吧做SEO推广时,输入百度网盘的分享短链,总会被系统删除,那么就可以使用此工具来对短链进行批量转换为长链,转换后,链接更易于推广及收录。
这是一款用 C# 编写网页采集器。能够有效地从互联网上抓取、处理、分析,挖掘用户感兴趣的数据。小说、新闻、文章、图片等都能有效采集。本程序采用SQLite存储数据,实现多线程断点采集。
首先,对采集到的新闻(存储于Sql Server2005数据库MsDzw中)进行处理,比如删除丢失了图片的条目,提取图片新闻地址等;然后,将处理好的新闻数据导出到Access文件中;最后,将导出的数据与其图片等信息一并拷贝到内网进行上传发布
这是一款用 C# 编写网页采集器。能够有效地从互联网上抓取、处理、分析,挖掘用户感兴趣的数据。
,不足之处大家还得见谅,多提意见,单页采集只是对一个页面进行采集,多页采集可以添加多个页面地址进行采集(一个模板,有多个页面时,需把对应的地址输入进去)注意:开发环境为VisualStudio2010