通过C#语言.net winform框架实现的网络爬虫软件,网页大数据抓取工具。
关键词 挖掘工具,挖掘关键词,显示日志,保存excel.加载关键字收录,指数,排名,写入excel
多任务多线程带进度条采集,支持Cookie采集 支持人工登陆采集
首先,对采集到的新闻(存储于Sql Server2005数据库MsDzw中)进行处理,比如删除丢失了图片的条目,提取图片新闻地址等;然后,将处理好的新闻数据导出到Access文件中;最后,将导出的数据与其图片等信息一并拷贝到内网进行上传发布
该软件是一款对“失信人口网”的数据采集软件,主要采集里面所有失信人口的信息到数据库,可以用于2次开发
所运用技术:C#的网络编程、采集(正则表达式实现)、多线程功能。使用方法:首先在顶点小说网站上找到你要下载的小说,点击全文阅读,然后复制网址粘贴到窗体运行的文本框中,然后输入小说名,点击采集。
页面搜索功能设置:搜索网站选择框,采集信息的显示条数及关键字输入框;显示列表:编号,信息来源,标题,抓取内容,点击率,抓取时间等功能
