Question

我正在使用scrapy搜索单词的链接。但是，我研究的方法不适合我要实现的目标。

通常在给定网站的情况下，该方法会通过所有链接进行爬网并找到我需要的东西。这不合适。

我试图通过更改URL的结尾来切换网站上的页面。因此，我想提供所有这些可能的URL或URL结尾，它们已经生成了。然后，我希望它浏览这些内容并搜索特定的文本，例如“ apple”。

更具体地说，用“页面”来表示，例如，如果您在网站上搜索某些内容，它将带您到页面，现在搜索的内容已成为URL的一部分。例如。在google上搜索“ stackexchange”，现在在URL中，“ stackexchange”在“ search？q＆...”部分。

回到这一点，然后我希望它给我结果作为URL结尾的列表，该URL结尾的页面包含我要求输入的单词。

已指示我使用解析功能。这是代码：

def parse(self, response):
    if 'biscuit' in response.text:
        print('Found!')
    else:
        print('Not found!')

不太清楚这是什么意思，如何在我的代码中使用它，或者甚至不适用于我所需要的。将代码记为0x01h。

我不确定如何使它输出所需的内容，或者不确定如何以这种方式搜索链接，因为我对scrapy不太熟悉。我真的不知道从哪里开始。我不熟悉和学习scrapy的功能。