通过scrapy爬一个api,有很多页数据，其中response中有一个lastId参数，用于翻页，并且是发起request的必须参数。lastId不是简单的数字，而是该页最后一个用户的id，完全没有规律，lastId实时变化(数据不断更新)，所以只能一页一页的爬取，因为爬了第一页并获取lastId，才能爬第二页。
那么问题来了，scrapy是异步的，但是如上所述，整个过程似乎是只能同步，并且是阻塞的。那么这跟scrapy异步高性能的特点截然相反，是不是用不了scrapy？
求大神指点！！！
问答
请教scrapy的需求矛盾问题！！！很纠结！！
作者：admin 2021-04-21 我要评论
通过scrapy爬一个api,有很多页数据，其中response中有一个 lastId 参数，用于翻页，并且是发起request的必须参数。 lastId 不是简单的数字， 而是该页最后一个用...
（在说正事之前，我要推荐一个福利：你还在原价购买阿里云、腾讯云、华为云服务器吗？那太亏啦！来这里，新购、升级、续费都打折，能够为您省60%的钱呢！2核4G企业级云服务器低至69元/年，点击进去看看吧>>>)
版权声明：本文转载自网络，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。本站转载出于传播更多优秀技术知识之目的，如有侵权请联系QQ/微信：153890879删除
相关文章-
请教scrapy的需求矛盾问题！！！很纠结
-
EventHttp::setDefaultCallback 不能自
-
SSH 中的 ProxyCommand 中的常用参数都
-
QEMU运行CentOS arm64虚拟机无法联网？
精彩导读
热门资讯