昨天想用WebScraper爬取某网站的数据,卡在了翻页那里,研究了好久才终于明白。因为每个网站的翻页方式是不一样的,所以要用不同的方式。
以防将来忘记,遂把各种翻页方式的爬取方法做整理。今天先介绍通过点击下一页进行翻页,且每次翻页都会跳转新的链接的网页爬取方式。
在这之前,先介绍一下webscraper的安装和简易使用教程。
第一步:安装WebScraper
WebScraper是谷歌的插件(所以只能在谷歌浏览器使用,好像火狐也可以),安装很简单,进入WebScraper