通过C#语言.net winform框架实现的网络爬虫软件,网页大数据抓取工具。
该软件可以自动从网上爬取小说到软件中,软件分为 我的书架,书城,搜索和阅读界面。
新闻发布系统由后台管理和前后新闻浏览两部分组成,其中,后台管理对新闻作了详细的分类,前台以分类形式显示新闻的详细信息,满足了人们浏览新闻时分类查看新闻信息的要求,同时前台还提供查询新闻信息功能,方便浏览者查找相关的新闻信息
用winform通过正则表达式抓取百度新闻、搜狗新闻、360搜索新闻,用于竞争对手监控和本公司舆情监控;本程序可以在服务器设置任务计划,每天服务器自动运行
本程序采用多线程网页爬虫,对网站进行死链接的检测,主要检测的类型包括 网页链接
