博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
python爬虫日志(3)-爬取异步加载网页
阅读量:7077 次
发布时间:2019-06-28

本文共 314 字,大约阅读时间需要 1 分钟。

hot3.png

在浏览器检查元素页面中,选取Network中的XHR选项即可观察每次加载页面,网页发出的请求,观察url的规律即可利用封装的函数对每一页进行爬取。

如232页网页的地址为http://jandan.net/pic/page-232#comments,其中page参数就代表了第几页,用格式化的方法,把页数替换掉,就可以得到每页的地址了。

urls=['http://jandan.net/pic/page-{}#comments'.format(i) for i in range(1,100)]#这个列表包含了1-99页的地址

转载于:https://my.oschina.net/u/3914536/blog/1860497

你可能感兴趣的文章