Question

我正在使用Axios从网站上抓取JSON产品数据。下面的脚本首先从服务器请求类别数据，并遍历类别，子类别和（我猜）子子类别的三个层次。在第三个循环中，子类别查询参数用作函数调用中的参数，该函数调用异步函数，该异步函数使用此查询参数连接到URL上以创建新URL，对产品数据进行GET请求与查询参数相关，并循环运行，直到pageCounter迭代变量（用作分页查询参数以获取每个新URL的N个页面）等于包含子子查询的当前新url中的分页值参数。

    for (let i=0; i<obj.length; i++) {
        let subcats = obj[i].subcategories.length;

        for(let n=0; n<subcats; n++) {
            if(obj[i].subcategories[n].facetValueData) {
                let subsubcats = obj[i].subcategories[n].facetValueData.length

                for(let p=0; p<subsubcats; p++) {
                    let productData = []
                    obj[i].subcategories[n].facetValueData[p].productData = productData
                    const scrapedData = await scrapeData(obj[i].subcategories[n].facetValueData.code)
                    obj[i].subcategories[n].facetValueData[p].productData.push(scrapedData)
                }
            } else {
                console.log(`No facet values present - ${obj[i].subcategories[n]}`)
            }
        }
    }

这是第三个循环调用的异步函数

async function scrapeData(queryParam) {

    var product = []
    var pagination;

      try {
          do {
            var nextPageLink = `currentPage=${pageCounter}&query=::cagCollectionPoint:Departure+from+Singapore:cagCategory:${queryParam}`
            var nextUrl = url.concat(nextPageLink)

            const response = await axios({
                method: "GET",
                url: nextUrl, 
                withCredentials: true,
                headers: headers
            })
            product = response.data["products"]
            pagination = response.data["pagination"]["totalPages"]
            pageCounter++;

            //this logs all of the correct current queries
            console.log(response.data.currentQuery.query.value)

        } while (pageCounter<=pagination)

        return product

      } catch (error) {
          console.error(error)
      }
  }

乍一看，它看起来像是在工作，因为它用一系列废弃的产品填充了前几个子类别对象，但是其中一些没有填充，即productData = []

scrapeData函数中的控制台日志函数每次迭代都返回所有正确的当前查询，但是，当它们返回时，它仅返回前几个响应。

我猜测产品阵列需要等待吗？但是axios请求已经在等待中，所以我不明白为什么会这样。

Answer 1

如果我正确理解了您对这段代码的意图：

var product = [];
do {
    // ...
    const response = await axios(/* ... */);
    product = response.data["products"]
    // ...
} while (pageCounter<=1)
return product

似乎有多个页面，您想将所有页面都放入产品数组中吗？

但是实际上，您正在替换产品页面的每个页面。我认为在空的情况下，最后一次获取没有任何结果，而您将丢失所有其他结果。

您可能想要做的就是将product = response.data["products"]更改为：

product.push(...response.data["products"])

嵌套循环中的Axios API调用未返回预期结果

1 个答案: