通过C#语言.net winform框架实现的网络爬虫软件,网页大数据抓取工具。
关键词 挖掘工具,挖掘关键词,显示日志,保存excel.加载关键字收录,指数,排名,写入excel
多任务多线程带进度条采集,支持Cookie采集 支持人工登陆采集
这是一款用 C# 编写网页采集器。能够有效地从互联网上抓取、处理、分析,挖掘用户感兴趣的数据。小说、新闻、文章、图片等都能有效采集。本程序采用SQLite存储数据,实现多线程断点采集。
首先,对采集到的新闻(存储于Sql Server2005数据库MsDzw中)进行处理,比如删除丢失了图片的条目,提取图片新闻地址等;然后,将处理好的新闻数据导出到Access文件中;最后,将导出的数据与其图片等信息一并拷贝到内网进行上传发布
这是一款用 C# 编写网页采集器。能够有效地从互联网上抓取、处理、分析,挖掘用户感兴趣的数据。
所运用技术:C#的网络编程、采集(正则表达式实现)、多线程功能。使用方法:首先在顶点小说网站上找到你要下载的小说,点击全文阅读,然后复制网址粘贴到窗体运行的文本框中,然后输入小说名,点击采集。