通过C#语言.net winform框架实现的网络爬虫软件,网页大数据抓取工具。
McBlog采用伪静态技术,可以自定义为.html等等类型的网页后缀。本博客系统结合魔方采集器,可以实现自动采集文章,无需人工干预。
在百度贴吧做SEO推广时,输入百度网盘的分享短链,总会被系统删除,那么就可以使用此工具来对短链进行批量转换为长链,转换后,链接更易于推广及收录。
这是一款用 C# 编写网页采集器。能够有效地从互联网上抓取、处理、分析,挖掘用户感兴趣的数据。小说、新闻、文章、图片等都能有效采集。本程序采用SQLite存储数据,实现多线程断点采集。
首先,对采集到的新闻(存储于Sql Server2005数据库MsDzw中)进行处理,比如删除丢失了图片的条目,提取图片新闻地址等;然后,将处理好的新闻数据导出到Access文件中;最后,将导出的数据与其图片等信息一并拷贝到内网进行上传发布
这是一款用 C# 编写网页采集器。能够有效地从互联网上抓取、处理、分析,挖掘用户感兴趣的数据。