从Python Webscrape创建SQL数据库

时间:2018-11-01 22:36:00

标签: python sql

我正在尝试将使用Python脚本(如下所示)从天气预报中抓取的一些基本数据传输到SQL数据库。我将数据存储在数组中,并在熊猫数据框中格式化。

import requests
import pandas
from bs4 import BeautifulSoup
page = requests.get('https://weather.com/weather/tenday/l/USOR0190:1:US')
soup = BeautifulSoup(page.content, 'html.parser')
feed = soup.select('main.region.region-main')
days = [i.get_text() for i in soup.select('span.day-detail.clearfix')]
descs = [i['title'] for i in soup.select('td.description')]
descs2 = [i.get_text() for i in soup.select('td.description span')]
temp = [i.get_text() for i in soup.select('td.temp div')]
temps = ["High: " + i[:3] + " / Low: " + i[3:] for i in temp]
frame = pandas.DataFrame({
    "Date": days,
    "Desc": descs2,
    "Temp": temps,
    "More": descs
})

下一步将是什么?我应该使用SQLite,SQLalchemy还是其他引擎?我不了解SQL,并且正在即时学习它。我相信我已经设置了允许这些引擎使用的环境,所以这应该不是问题。

1 个答案:

答案 0 :(得分:1)

获取像sqlalchemy这样的ORM似乎是明智的选择。

https://pypi.org/project/SQLAlchemy/

不需要SQL。很多文档和示例。完全在python中工作。