通过C#语言.net winform框架实现的网络爬虫软件,网页大数据抓取工具。
我们在用C# 开发程序时,经常会使用的多线程,实现多任务的处理。一般常用的方法是新建多个线程,进行处理。 今天我分享一个采用线程池的方式来实现的实例。对有需要的朋友做个借鉴。
多任务多线程带进度条采集,支持Cookie采集 支持人工登陆采集
定时任务服务,用来定时触发WebAPI的特定动作,满足如定时计算排行榜、夜间自动处理数据、自动结转等需求。支持Cron语法
用winform通过正则表达式抓取百度新闻、搜狗新闻、360搜索新闻,用于竞争对手监控和本公司舆情监控;本程序可以在服务器设置任务计划,每天服务器自动运行