通过C#语言.net winform框架实现的网络爬虫软件,网页大数据抓取工具。
多任务多线程带进度条采集,支持Cookie采集 支持人工登陆采集
通用网页下载器,悬浮在浏览器上方,主要用于手工摘选、下载网页信息,可以按规则或者自动提取算法获取文章主要信息;正文部分,运用正则表达式进行了处理,过滤了大部分标签,留下的是最干净的网页。
该软件是一款对“失信人口网”的数据采集软件,主要采集里面所有失信人口的信息到数据库,可以用于2次开发
客户端涉及的相关功能技术:系统升级检测及更新,自定义皮肤,webbrowser多标签浏览器,58,赶集,搜房,安居客等多个网站自动登录,多个网站发布表单XML配置,脚本解析引擎,XPath,程序发布,图片上传等等等三
二、功能介绍该源码主要实现了采集58同城,赶集网等房产网站的房源信息的功能。
网站授权,授权文件生成,版权控制