Question

我们正在使用SQLAlchemy制作游戏服务器。

因为游戏服务器必须非常快，所以我们决定根据用户ID（整数）来分隔数据库。

所以例如我成功完成了以下内容。

from threading import Thread
from sqlalchemy import Column, Integer, String, DateTime, create_engine
from sqlalchemy.ext.declarative import declarative_base, DeferredReflection
from sqlalchemy.orm import sessionmaker

DeferredBase = declarative_base(cls=DeferredReflection)
class BuddyModel(DeferredBase):
    __tablename__ = 'test_x'

    id = Column(Integer(), primary_key=True, autoincrement=True)
    value = Column(String(50), nullable=False)

，下一个代码将创建多个数据库。

将会有test1~test10数据库。

for i in range(10):
    url = 'mysql://user@localhost/'
    engine = create_engine(url, encoding='UTF-8', pool_recycle=300)
    con = engine.connect()
    con.execute('create database test%d' % i)

以下代码将创建10个独立的引擎。

get_engine（）函数将根据用户ID为您提供引擎。

（用户ID为整数）

engines = []
for i in range(10):
    url = 'mysql://user@localhost/test%d'% i

    engine = create_engine(url, encoding='UTF-8', pool_recycle=300)

    DeferredBase.metadata.bind = engine
    DeferredBase.metadata.create_all()
    engines.append(engine)

def get_engine(user_id):
    index = user_id%10
    return engines[index]

通过运行prepare函数，BuddyModel类将被准备好并映射到引擎。

def prepare(user_id):
    engine = get_engine(user_id)
    DeferredBase.prepare(engine)

**下一个代码将完成我想做的事情**

for user_id in range(100):
    prepare(user_id)

    engine = get_engine(user_id)
    session = sessionmaker(engine)()
    buddy = BuddyModel()
    buddy.value = 'user_id: %d' % user_id
    session.add(buddy)
    session.commit()

但问题是，当我在多个线程中执行此操作时，它只会引发错误

class MetalMultidatabaseThread(Thread):

    def run(self):
        for user_id in range(100):
            prepare(user_id)

            engine = get_engine(user_id)
            session = sessionmaker(engine)()
            buddy = BuddyModel()
            buddy.value = 'user_id: %d' % user_id
            session.add(buddy)
            session.commit()
threads = []
for i in range(100):
    t = MetalMultidatabaseThread()
    t.setDaemon(True)
    t.start()
    threads.append(t)

for t in threads:
    t.join()

错误信息是......

ArgumentError: Class '<class '__main__.BuddyModel'>' already has a primary mapper defined. Use non_primary=True to create a non primary Mapper.  clear_mappers() will remove *all* current mappers from all classes.

所以..我的问题是我如何使用SQLAlchemy像上面的架构那样使用多个数据库？

Answer 1

这称为水平分片，是一个棘手的用例。您拥有的版本，基于首先获取引擎进行会话，将正常工作。你可能会喜欢这两种变体。

一个是使用horizontal sharding extension。此扩展允许您创建会话以自动选择正确的节点。

另一个或多或少是你所拥有的，但不那么冗长。构建一个具有routing function的Session类，这样您至少可以共享一个会话并为查询说session.using_bind('engine1')而不是进行全新的会话。

Answer 2

我找到了一个问题的答案。

根据USER ID（整数）构建多个数据库，只需使用session。

在解释之前，我想更多地阐述数据库架构。

例如，如果用户ID 114连接到服务器，则服务器将使用类似的内容确定在何处检索用户的信息。

user_id%10 # <-- 4th database

架构

DATABASES 
  - DB0 <-- save all user data whose ID ends with 0 
  - DB1 <-- save all user data whose ID ends with 1
  .
  .
  .
  - DB8 <-- save all user data whose ID ends with 9

以下是答案

首先不要使用bind参数..只需将其设为空。

Base = declarative_base()

宣告模型..

class BuddyModel(Base):
    __tablename__ = 'test_x'

    id = Column(Integer(), primary_key=True, autoincrement=True)
    value = Column(String(50), nullable=False)

如果您想进行CRUD，请进行会话

engine = get_engine_by_user_id(user_id)
session = sessionmaker(bind=engine)()

buddy = BuddyModel()
buddy.value = 'This is Sparta!! %d' % user_id
session.add(buddy)
session.commit()

引擎应该是与用户ID匹配的引擎。

SQLAlchemy - 多个数据库问题

2 个答案: