问答

我想用puppeteer爬取搜索引擎某些关键词的搜索结果数量,一共有

作者:admin 2021-04-17 我要评论

第一次玩puppeteer,写个for循环就把page扔进去了,发现一下子就开了4000个promise??? 这种情况该怎么处理...

在说正事之前,我要推荐一个福利:你还在原价购买阿里云、腾讯云、华为云服务器吗?那太亏啦!来这里,新购、升级、续费都打折,能够为您省60%的钱呢!2核4G企业级云服务器低至69元/年,点击进去看看吧>>>)

第一次玩puppeteer,写个for循环就把page扔进去了,发现一下子就开了4000个promise???
这种情况该怎么处理啊。。。。求助

###

搞个数组,每次做完一个在做另一个。或者说你可以让他最多同时执行5个,类似于连接池这种概念。

先申请连接,然后再去处理。处理完了取一个新的执行。有新任务就放入队列中,然后判断一下有空闲连接吗,有就执行,没有就在队列中等待。

然后这个数据是本地的嘛,重启就没了。你可以放在服务端,然后用接口操作咯。

###

不要把 browser.newPage()放进循环里,page应该是创建后复用,如果你每次创建一个page,那就需要用完page就应该关闭page.close(),否则内存肯定要炸

###

p-limit 之类的 npm 包可以很方便的实现控制异步并发,自己实现也不复杂。

版权声明:本文转载自网络,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。本站转载出于传播更多优秀技术知识之目的,如有侵权请联系QQ/微信:153890879删除

相关文章
  • nginx响应速度很慢

    nginx响应速度很慢

  • 点击选中的多选框,会在已选那一栏显示

    点击选中的多选框,会在已选那一栏显示

  • PHP 多态的理解

    PHP 多态的理解

  • 关于C语言中static的问题

    关于C语言中static的问题

腾讯云代理商
海外云服务器