通过C#语言.net winform框架实现的网络爬虫软件,网页大数据抓取工具。
抓取基金公司详细信息,采集基金持股详细数据,然后进行汇总分析统计
根据关键词、创意图来源等信息,抓取PC端和无线端相对应的创意图信息,包括车图、位置、标题、店铺旺旺号、30天销量、价格等等。方便直通车用户对比、借鉴创意图。
用webform查看我上一个winform抓取的对手或者本公司自己的舆情资讯,并且可以通过分类、标题、正文筛选
用winform通过正则表达式抓取百度新闻、搜狗新闻、360搜索新闻,用于竞争对手监控和本公司舆情监控;本程序可以在服务器设置任务计划,每天服务器自动运行
网络抓包、分析处理返回数据、界面UI控制(线程和委托)、分析腾讯空间接口协议,Cookie获取处理,身份验证等等
://www.catalogueoflife.org/col/browse/classification/抓取的数据自动保存到txt文件里。
页面搜索功能设置:搜索网站选择框,采集信息的显示条数及关键字输入框;显示列表:编号,信息来源,标题,抓取内容,点击率,抓取时间等功能
,需要重新抓取)注意:开发环境为VisualStudio2010