通过C#语言.net winform框架实现的网络爬虫软件,网页大数据抓取工具。
通用网页下载器,悬浮在浏览器上方,主要用于手工摘选、下载网页信息,可以按规则或者自动提取算法获取文章主要信息;正文部分,运用正则表达式进行了处理,过滤了大部分标签,留下的是最干净的网页。
客户端涉及的相关功能技术:系统升级检测及更新,自定义皮肤,webbrowser多标签浏览器,58,赶集,搜房,安居客等多个网站自动登录,多个网站发布表单XML配置,脚本解析引擎,XPath,程序发布,图片上传等等等三
网络抓包、分析处理返回数据、界面UI控制(线程和委托)、分析腾讯空间接口协议,Cookie获取处理,身份验证等等
2.支持下载css中的图片。3.支持下载js。4.支持过滤外部域名。5.支持过滤指定文件后缀。三、注意事项1、开发环境为VisualStudio2012,数据库XML,使用.net4.0开发。
该源码比较适合用作二次开发使用,有需要的朋友可以下载研究一下啊。二、功能介绍该源码主要实现了采集58同城,赶集网等房产网站的房源信息的功能。
使用方法:首先在顶点小说网站上找到你要下载的小说,点击全文阅读,然后复制网址粘贴到窗体运行的文本框中,然后输入小说名,点击采集。就可以成功啦。对小说感兴趣的朋友们可以下载使用哦。
QQ好友相册下载辅助源码功能介绍:可以批量下载qq好友空间相册的辅助,前提是好友相册对自己开放。图片文件保存在bin/debug/users文件夹中。可以获取指定QQ好友相册图片。
