2014-04-10
FZL抓取网页数据示例源码
FZL抓取网页数据示例源码源码描述：网页信息的获取分为两个阶段：1知道目标网页和相关参数，并获取网页的源码2将获取到的源码抽取出我们需要的信息，并转换成c#对象在Demo中的HttpHelper.cs文件下的类的职责就是设定目标网页地址和相关参数，该类是在网上找到的，据说可以无视cookie、证书等验证，很牛，推荐小伙伴们使用，所以，第一个目标是比较容易能够完成的难点在于第二个目标，我们如何抓取html源码（json数据）中的有效信息并转换成我们需要的c#对象呢？Demo中获取的是json数据，然后用正则抓出了其中的一部分，再转换成一个实体类的列表。Demo中的AsyncRegexHelper是异步的正则匹配帮助类，在使用正则匹配的过程中，经常遇到无限回溯的问题，使用这个帮助类可以异步地执行匹配并且有一个超时时间。现在碰到的问题是正则匹配比较不靠谱，难度较大且不易扩展，目前打算想用HtmlAgilityPack来进行数据的匹配，希望伙伴们能指点下，谢谢大家。
