分享一个Python爬虫的小技巧

最近在写爬虫的时候发现一个好用的方法分享给大家。场景需要爬取一个动态加载的网页数据是通过AJAX请求获取的。传统做法是用Selenium模拟浏览器但速度慢且不稳定。其实可以直接分析网络请求找到API接口然后用requests直接调用。具体步骤1. 打开浏览器开发者工具F122. 切到Network标签3. 操作页面触发数据加载4. 找到返回数据的API请求5. 复制请求头和参数这样爬取速度快10倍以上而且更稳定。