如何快速获取大型抓取数据?

时间:2020-04-23 14:23:23

标签: python django python-3.x beautifulsoup

我从一个网站中选择新闻,并将其显示在我的页面上。但是,当我转到新闻选项卡或刷新页面时,页面会加载一段时间(10秒)的数据。如何立即上传数据?我试图加载数据,但是问题是,如果文章的文本太大,页面加载仍不会立即进行。

也许我可以以某种方式上传大量文本?

我的代码:

def get_summary(url):
    new_d = BeautifulSoup(requests.get(url).text, 'html.parser')
    return '\n'.join(i.text for i in new_d.find('div', {'class':'flexible_content_wrap'}).find_all('p')) 

def scrape(request):
    website_url = requests.get("https://loudwire.com/news/").text

    soup = BeautifulSoup(website_url, "html.parser")

    more = []

    teaser = soup.find_all('div', {'class':'teaser_feed_common'})

    for i in teaser:
        mine = get_summary(i.a['href'])
        print(mine)
        more.append(mine)


    context = {'more_info': more}
    return render(request, 'music/news.html', context)

HTML:

{% for m in more %}
<div class="imgclass">
<p class="aligncenter pclass">{{m}}</p>
</div>

{% endfor %}

预先,谢谢您的帮助。

0 个答案:

没有答案
相关问题