通过C#语言.net winform框架实现的网络爬虫软件,网页大数据抓取工具。
该软件可以自动从网上爬取小说到软件中,软件分为 我的书架,书城,搜索和阅读界面。
利用FiddlerCore4控件截取浏览器数据,并识别匹配题库给出相应的答案。程序中包含注册码的模块,题库编辑修改模块,答案在答题页面自动出现。没有使用post数据方式,保证浏览器的数据是干净数据。不会被检测出作弊。
3、在邮箱采集时,首先在地址栏中输入网页地址并访问,然后需设置网页中“下一页”的关键词,例如天涯贴吧的“下一页”关键词是“下页”,等待网页加载完毕,才能开始采集。