通过C#语言.net winform框架实现的网络爬虫软件,网页大数据抓取工具。
随着工业4.0概念的普及,中小型制造企业也想导入MES系统来提高企业生产效率, 本系统提供流程化行业生产制造信息化、自动化、智能化的软硬件解决方案,针对制造企业生产现场管理中的问题和需求,通过对整个生产过程进行实时数据采集与监控、质量跟踪与追溯,实现生产现场的信息化、智能化、透明化的智能制造管理。
能够有效地从互联网上抓取、处理、分析,挖掘用户感兴趣的数据。小说、新闻、文章、图片等都能有效采集。本程序采用SQLite存储数据,实现多线程断点采集。
本软件是一个新闻采集辅助软件。首先,对采集到的新闻(存储于Sql Server2005数据库MsDzw中)进行处理,比如删除丢失了图片的条目,提取图片新闻地址等;然后,将处理好的新闻数据导出到Access文件中;最后,将导出的数据与其图片等信息一并拷贝到内网进行上传发布。注:如果在互联网上使用,可直接运行新闻处理,不用再执行导出再上传发布
该软件是一款对“失信人口网”的数据采集软件,主要采集里面所有失信人口的信息到数据库,可以用于2次开发
客户端涉及的相关功能技术:系统升级检测及更新,自定义皮肤,webbrowser多标签浏览器,58,赶集,搜房,安居客等多个网站自动登录,多个网站发布表单XML配置,脚本解析引擎,XPath,程序发布,图片上传等等等三
网络抓包、分析处理返回数据、界面UI控制(线程和委托)、分析腾讯空间接口协议,Cookie获取处理,身份验证等等
网站授权,授权文件生成,版权控制