使用scrapy进行抓取时，有没有办法设置JSESSIONID

Question

我正在Scrapy中为此网站编写蜘蛛代码

[https://www.garageclothing.com/ca/]

此网站使用jsessionid。 我想在我的代码中得到（蜘蛛） 任何人都可以指导我 我的代码中的jsessionid。 目前，我只是在浏览器上访问该网站后从浏览器的检查工具中复制粘贴jsessionid。

Answer 1

此站点使用JavaScript设置JSESSIONID。但是，如果您将禁用JavaScript并尝试加载页面，则会看到它请求以下URL：

https://www.dynamiteclothing.com/?postSessionRedirect=https%3A//www.garageclothing.com/ca&noRedirectJavaScript=true (1)

将您重定向到此URL：

https://www.garageclothing.com/ca;jsessionid=YOUR_SESSION_ID (2)

因此您可以执行以下操作：

• 使用URL (1)
发起请求
• 在回调中，从URL (2) 中提取会话ID（将存储在response.url中）
• 使用Cookie中提取的会话ID进行所需的请求