分库分表最全详解：从概念到实战

分库分表最全详解：从概念到实战

引用

CSDN

1.

https://blog.csdn.net/zznn0306/article/details/139258113

分库分表

分库分表是数据库设计和管理中的一种策略，主要解决随着数据量和并发访问量的增加而带来的性能和扩展性问题。

分库分表，主要就是两种常用手段：“分库”和“分表”。

• 分库（Database Sharding）： 将数据按照某种规则，分散到多个独立的数据库中，每个数据库称为一个“分库”。
• 分表（Table Sharding）： 将一个大表的数据按照某种规则，分散到多个小表中，每个小表称为一个“分片”或“分表”。

为什么要分库分表

在系统不断发展、数据量急剧增加的情况下，传统的数据库架构往往难以应对性能和扩展性的问题。特别是当单表的数据量达到千万、甚至亿级别时，即使使用了索引，查询性能也会受到影响。

为了解决这一问题，分库分表是一种有效的策略。分库分表通过将数据，按照某种策略分配到多个数据库节点或表中，提高了查询和写入性能，从而增强系统的可扩展性和容错能力。

分库分表实现

通过使用数据库分库分表中间件，比如：ShardingSphere、MyCat等，开发者可以方便地实现分库分表。分库分表旨在通过将大表或大数据库的数据，切分为多个较小的部分，从而提升性能。

核心步骤如下：

1. 分析数据

• 确定分库分表的必要性，比如分析当前数据库的性能瓶颈，确定是否需要进行分库分表。
• 评估数据量的增长趋势和未来的扩展需求。

2. 确定拆分类型

• 根据业务特点，选择合适的分片策略（如哈希分片、范围分片、列表分片等）。

• 哈希分片（Hash Sharding）

  根据某个字段（如用户ID），进行哈希运算，将数据均匀分布到不同的分片中。
  适用于：需要均匀分布数据，且无法预知数据分布特点的场景。
  

• 范围分片（Range Sharding）

  根据某个字段的值范围进行分片，例如按时间范围（比如：年、月、日）或按数值范围进行分片。
  适用于：数据有明显的范围划分的场景。
  

• 列表分片（List Sharding）

  根据字段的具体值进行分片，例如：按地区、类别等。
  适用于：数据有明确分类的场景。
  

• 组合分片（Composite Sharding）

  结合多种分片策略，例如：先按地域分片，再按用户ID哈希分片。
  

3. 实现数据拆分

• 采用数据库分库分表中间件，如ShardingSphere等，简化分库分表的实现。

ShardingSphere 是一个分布式数据库中间件解决方案，支持分库分表、读写分离和数据治理等方案。

假设有一个电子商务系统，包括用户信息表（users）和订单信息表（orders），我们希望将用户信息表和订单信息表分别存储在两个不同的数据库中。

可以通过ShardingSphere的配置文件定义数据源和实际数据节点，实现表的垂直拆分：

schemaName: ecommerce
dataSources:
  user_db:
    url: jdbc:mysql://localhost:3306/user_db
    username: root
    password: password
  order_db:
    url: jdbc:mysql://localhost:3306/order_db
    username: root
    password: password
shardingRule:
  tables:
    users:
      actualDataNodes: user_db.users
    orders:
      actualDataNodes: order_db.orders

然后，在应用层通过 ShardingSphere 提供的 DataSource 连接不同的数据库，进行数据操作：

// 加载垂直拆分配置文件
DataSource dataSource = YamlShardingSphereDataSourceFactory.createDataSource(new File("vertical-sharding.yml"));
// 查询用户信息
String userSql = "SELECT * FROM users WHERE user_id = ?";
try (Connection conn = dataSource.getConnection();
     PreparedStatement pstmt = conn.prepareStatement(userSql)) {
    pstmt.setLong(1, 1L);
    try (ResultSet rs = pstmt.executeQuery()) {
        while (rs.next()) {
            System.out.println("User ID: " + rs.getLong("user_id") + ", Username: " + rs.getString("username"));
        }
    }
}

注意事项

• 数据均匀分布：确保分片策略能够均匀分布数据，避免出现单个分片过热的情况。
• 事务处理：处理跨分片事务的一致性问题，可以采用分布式事务管理器（如：Seata）。
• 分布式ID生成：确保全局唯一ID，可以采用Snowflake算法等分布式ID生成方案。

总之，通过合理的分片策略和中间件配置，可以显著提升系统的性能和扩展性。