通过C#语言.net winform框架实现的网络爬虫软件,网页大数据抓取工具。
多任务多线程带进度条采集,支持Cookie采集 支持人工登陆采集
离线地图 该系统框架可适用于基于百度地图的中小型GIS应用系统、学生毕业设计、技术研究等。
小说、新闻、文章、图片等都能有效采集。本程序采用SQLite存储数据,实现多线程断点采集。
用winform通过正则表达式抓取百度新闻、搜狗新闻、360搜索新闻,用于竞争对手监控和本公司舆情监控;本程序可以在服务器设置任务计划,每天服务器自动运行
客户端涉及的相关功能技术:系统升级检测及更新,自定义皮肤,webbrowser多标签浏览器,58,赶集,搜房,安居客等多个网站自动登录,多个网站发布表单XML配置,脚本解析引擎,XPath,程序发布,图片上传等等等三