问答

curl 和 nodejs http.get 结果不一致

作者:admin 2021-04-20 我要评论

如图,同一个 http get 请求,nodejs 中 504,而直接 curl 是 OK 的 应该怎么修改 js 代码? const httpx = { get: (url, opt) = new Promise((resolve, reject)...

在说正事之前,我要推荐一个福利:你还在原价购买阿里云、腾讯云、华为云服务器吗?那太亏啦!来这里,新购、升级、续费都打折,能够为您省60%的钱呢!2核4G企业级云服务器低至69元/年,点击进去看看吧>>>)

Konsole

如图,同一个 http get 请求,nodejs 中 504,而直接 curl 是 OK 的
应该怎么修改 js 代码?

const httpx = {
    get: (url, opt) => new Promise((resolve, reject) => {
        ski(url.match(/^(https?):\/{2}/)?.[1], { http, https }, ski.f(() => {
            reject(`Unknown protocol.\nURL: ${url}"`)
        })).get(url, opt ?? {}, res => {
            if (res.statusCode !== 200) {
                res.resume()
                reject(res.statusCode)
            }

            const headers = Object.fromEntries(res.rawHeaders.map((v, k, a) =>
                k & 1 ? undefined : [ v, a[k + 1] ]).filter(i => i))
            const charset = headers["Content-Type"].match(/charset=(.+)$/)?.[1] ?? "utf-8"
            const gzipped = headers["Content-Encoding"] === "gzip"

            const bh = new BufferH()                                                            

            res.on("data", chunk => bh.concat(chunk))
            res.on("end", async() => {
                let bf = bh.toBuffer()
                if (gzipped) bf = zlib.gunzipSync(bf)
                resolve(iconv.decode(bf, charset))
            })
        }).on("error", reject)
    })
}

测试地址:

  • http://www.ibiqu.net/,这个网站用了 gbk 和 gzip,上面的代码已经解决了这两项问题。主页是可以正常获取到内容的。测试代码:httpx.get("http://www.ibiqu.net/")
  • http://www.ibiqu.net/book/49086/20588967.htm 但是这个路径就会 504,无论是我包装的方法还是直接用 https 都不行。curl 表现正常。
###

nodejs设置userAgent没有,加上userAgent再试试

版权声明:本文转载自网络,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。本站转载出于传播更多优秀技术知识之目的,如有侵权请联系QQ/微信:153890879删除

相关文章
  • nginx响应速度很慢

    nginx响应速度很慢

  • 点击选中的多选框,会在已选那一栏显示

    点击选中的多选框,会在已选那一栏显示

  • PHP 多态的理解

    PHP 多态的理解

  • 关于C语言中static的问题

    关于C语言中static的问题

腾讯云代理商
海外云服务器