Mysql Cluster

MySQL 集群（MySQL Cluster）是一个分布式数据库解决方案，旨在提供高可用性、高性能、自动分片和无共享架构。它主要使用 MySQL 的 NDB 存储引擎，适用于需要高可用性和高扩展性的场景，通常用于需要处理大量事务和实时响应的系统。

MySQL Cluster 采用了一种 无共享（shared-nothing）架构，这意味着各个节点彼此独立，不共享任何内存或磁盘资源。集群中的数据会自动进行分片和复制，分布在多个数据节点上，以确保高可用性和容错性。它包括以下节点：

管理节点（Management Node, ndb_mgmd）
- 作用：管理节点负责协调和管理集群的配置、数据节点和 SQL 节点的启动与停止。它也存储集群的配置信息。
- 数量：集群中通常至少有 1 个管理节点。为提高容错性，建议使用 2 个管理节点。
数据节点（Data Node, ndbd 或 ndbmtd）
- 作用：存储集群中的数据。数据会自动分片并复制到多个数据节点上，确保数据的高可用性和容错性。MySQL Cluster 使用 NDB 存储引擎来实现数据节点的分布式存储。
- 数量：至少需要 2 个数据节点，以提供数据的高可用性。
SQL 节点（SQL Node, mysqld）
- 作用：SQL 节点负责处理客户端的 SQL 查询并与数据节点通信。每个 SQL 节点与普通 MySQL 服务器类似，但它通过 NDB 存储引擎与集群中的数据节点通信。
- 数量：可以有多个 SQL 节点，以支持负载均衡和高并发查询。

主要特性

高可用性：MySQL Cluster 的设计目标之一是提供高可用性。集群中的数据节点使用自动数据复制机制，即使某个数据节点宕机，其他节点也能接管，保证服务不中断。
自动分片：MySQL Cluster 会自动将表的数据拆分成若干分片（Shards），并分布到不同的数据节点上。这种分片机制可以大幅提升数据库的存储和处理能力。
高扩展性：通过增加数据节点和 SQL 节点，MySQL Cluster 可以横向扩展，以应对不断增长的数据库规模和并发查询量。
无共享架构：MySQL Cluster 中各个节点是独立的，它们不共享磁盘或内存资源。这种架构有助于提高集群的容错性和可扩展性。
实时响应：由于数据存储在内存中，MySQL Cluster 能够提供非常快速的读写性能，非常适合需要实时响应的应用场景。

MySQL Cluster 的数据节点通过 NDB 存储引擎 提供数据存储，SQL 节点通过 NDB 存储引擎访问数据。具体流程如下：

SQL 节点接收查询：SQL 节点通过 mysqld 处理客户端请求，并将数据查询或修改请求发送到数据节点。
管理节点协调：管理节点负责协调集群的配置、节点启动与停止，但不参与具体的数据操作。
数据节点执行操作：数据节点根据请求对存储在本地的数据进行操作。若某个数据节点宕机，其他数据节点可以继续提供数据访问服务。
数据复制：数据在多个数据节点之间进行同步复制，确保数据冗余和容错。

使用场景

高并发读写：如电子商务平台、社交网络、在线教育系统等，数据的读写请求量巨大。
大数据量的存储和处理：MySQL Cluster 可以轻松横向扩展，支持处理海量数据。
高可用性和高容错：MySQL 集群架构通过将数据分布到多个节点上，提供了内置的高可用性和容错机制，适用于电信、金融等高可用性要求极高的场景。
水平扩展：通过添加节点，MySQL 集群能够提供读写操作的扩展能力，适合高并发写操作的场景，如社交平台、实时交易系统等。
分布式存储：MySQL 集群支持在不同服务器之间分布存储数据，提供更好的数据冗余和分片。
低延迟：需要在毫秒级或更短时间内处理数据的系统。

优点：

读写性能扩展：集群架构支持水平扩展，能够通过增加节点提升读写性能，突破了单一主库写性能的瓶颈。
自动故障转移：集群架构具备自动容错能力，某个节点故障时，系统会自动进行故障转移，确保数据的高可用性。
数据冗余：数据可以在不同节点之间自动复制，确保数据的高可用性和冗余性。

缺点：

复杂性高：MySQL 集群的部署和维护相对复杂，对硬件和运维的要求较高。
适用场景有限：MySQL 集群不适合所有场景，尤其是那些复杂查询和写操作较少的场景，集群的复杂性可能超出其带来的性能提升。
延迟和一致性问题：由于数据在多个节点间同步，延迟和一致性问题可能较主从架构更复杂。
内存需求较高：NDB 存储引擎要求将数据保存在内存中，虽然可以存储到磁盘上，但性能会显著降低。

在 MySQL 集群（MySQL Cluster）中，并不是所有节点的数据都存储在内存中，但有一部分数据确实可以放在内存中以提高性能。具体数据的存储位置取决于 MySQL Cluster 的存储引擎和配置。

MySQL Cluster 使用的是 NDB（Network Database）存储引擎，它是一个分布式、内存优先的存储引擎。

内存优先设计：NDB 存储引擎的设计初衷是将数据存储在内存中，以便实现快速的读写操作。这意味着数据可以直接从内存中读取，从而提供非常高的性能和低延迟，特别适用于高并发写入和读取的场景。
数据分布在多个节点上：在 MySQL Cluster 中，数据以分片的方式分布在多个数据节点上。每个节点负责存储整个数据的一部分，这使得集群具有水平扩展的能力。
数据持久化：尽管 NDB 引擎优先使用内存存储数据，但它也提供了持久化机制。数据并不会只存储在内存中，而是会定期写入磁盘以确保数据的持久性。数据和索引在内存中的存储是为了加快访问速度，而数据在磁盘上的存储是为了防止数据丢失。
NoOfReplicas 参数控制数据节点间的冗余副本，以确保高可用性和数据冗余。
Disk Data Tables：MySQL Cluster 支持将整个表的数据存储在磁盘上，同时将表的索引保存在内存中。这种配置适合大规模数据集，其中一部分数据不需要频繁访问。
DataMemory：用于定义可以用于存储表数据的内存大小。这个内存区域用于存储表的行数据。
IndexMemory：用于定义可以用于存储索引的内存大小。索引存储在内存中，以加快查询速度。

如果系统内存有限，可以根据需求配置一部分数据放在内存中，而大规模、较少访问的数据存储在磁盘中。

节点崩溃时的数据持久性：尽管数据优先存储在内存中，但为了保障数据的持久性，MySQL Cluster 会定期将内存中的数据写入磁盘（通过检查点机制）。此外，NDB 存储引擎也通过事务日志（Redolog）和本地检查点（Local Checkpoint, LCP）确保即使节点发生崩溃或断电，数据仍然可以恢复。

在 MySQL 集群（MySQL Cluster）中，不同节点上的数据不是完全一样的。这是因为 MySQL Cluster 采用了数据分片（Sharding）和数据复制的方式，来实现水平扩展和高可用性。

MySQL Cluster 使用的 NDB 存储引擎通过将数据分布在多个数据节点上来管理大规模的数据集。具体来说，不同的节点存储的数据可以分为两种情况：数据分片和数据冗余复制。

MySQL Cluster 使用分片（Sharding）技术将数据分布在多个节点上。分片的主要目的是将数据水平切分，使每个节点只存储整个数据集的一部分，从而实现更好的扩展性和负载分担。

水平分片：集群中的每个节点只存储一部分数据行，不同的数据分片存储在不同的节点上。数据分片的过程通常是通过某种哈希算法或分区规则来决定的。例如，表中的某些行会被分配到节点 1，另一些行则会分配到节点 2。
数据分布：假设你有一个大表，包含了数百万行数据，MySQL Cluster 会将这些数据切分为多个部分，并将它们分配到不同的节点。这样，每个节点只存储整个表的一部分数据，从而减少了单个节点的负载。

因此，不同节点上存储的主要数据并不一样，因为每个节点只存储一个分片的数据。

尽管每个节点只存储不同分片的数据，为了确保数据的高可用性和容灾能力，MySQL Cluster 还会将数据复制到其他节点上，形成冗余副本。

副本数量（NoOfReplicas）：MySQL Cluster 支持通过配置副本数量来指定每个分片在多少个节点上存储冗余副本。默认情况下，每个数据分片会有至少一个副本存储在另一个节点上。如果一个节点发生故障，系统可以从其他节点上的副本中恢复数据。
副本存储：虽然不同节点上存储的分片数据不同，但每个分片通常会有多个冗余副本分布在其他节点上。这样，如果一个节点故障或丢失数据，另一个节点的副本可以继续提供服务。

假设你有 4 个数据节点，并且配置了 NoOfReplicas=2，这意味着每个分片会存储在 2 个节点上。如果节点 1 上的某个分片数据发生故障，节点 2 上的副本可以用来恢复该分片的数据。

MySQL Cluster 通过数据冗余机制确保数据的高可用性和一致性。在正常操作中，所有节点上的副本都是一致的。当一个节点写入数据时，系统会自动将这个写操作同步到其他节点上的副本，以确保所有副本都得到更新。

如果某个节点故障，MySQL Cluster 会自动从其他副本节点中恢复数据，以确保整个集群的数据一致性和可用性。恢复完成后，集群会重新分配数据分片，确保每个数据分片都有至少一个冗余副本。

MySQL Cluster 通过分片和冗余副本的结合，既能实现数据的水平扩展，又能确保数据的高可用性和一致性。在设计和部署集群时，可以根据业务需求灵活配置分片和副本数量，以实现最佳的性能和可靠性。

MySQL 集群中的 NDB 引擎（NDB Storage Engine，Network Database Storage Engine）是 MySQL Cluster 的核心组件，它为 MySQL Cluster 提供了分布式存储和高可用性功能。NDB 引擎与传统的 MySQL InnoDB 引擎不同，专为分布式系统、高可用性和高性能设计，尤其适合需要处理高并发读写和快速数据访问的场景。

NDB 是一个分布式的存储引擎，数据存储在集群中的多个数据节点上，而不是集中在单一数据库实例上。NDB 引擎通过分片（sharding）技术将数据分割成多个分片，并分布到不同的数据节点上。每个数据节点只存储整个数据的一部分，系统通过网络协调这些节点的操作。
NDB 引擎是内存优先设计的存储引擎，数据和索引可以存储在内存中以提高数据读写速度。尽管如此，NDB 也提供了磁盘持久化机制，以确保数据即使在节点故障时也不会丢失。NDB 将常用的数据保存在内存中，而大块数据（如 BLOB 和 TEXT）可以选择存储在磁盘上。
NDB 引擎通过数据复制和冗余机制实现高可用性。当某个数据节点出现故障时，系统可以自动从其他数据节点恢复数据，而无需人工干预，NDB 的自动故障检测和恢复机制能够保证集群在节点故障时继续正常运行。通过配置副本数量（NoOfReplicas），可以决定每个数据分片在多少个节点上保存冗余副本。常见的配置是 2 个副本，意味着数据的每个分片会有两个存储副本在不同的节点上。
NDB 引擎支持事务性操作，包括完整的 ACID（原子性、一致性、隔离性和持久性）特性。这意味着它可以安全地处理并发事务，确保数据一致性。NDB 支持分布式事务，能够跨多个节点处理事务操作。NDB 使用两阶段提交协议（2PC）来确保分布式事务的一致性。
NDB 引擎支持水平扩展，即可以通过添加更多的数据节点来增加系统的处理能力。无论是读操作还是写操作，NDB 都可以通过增加节点来提高系统的吞吐量。其设计保证了当新的节点加入集群时，系统性能可以线性增加。
NDB 引擎非常适合实时应用场景，如电信、金融交易、广告系统等需要在毫秒级响应的应用。NDB 的高并发性能使得它能够在高压力下处理大量的读写请求。

NDB 引擎将数据分布到多个节点上，这些节点分为三类：

管理节点（Management Node，MGM）：负责集群的管理与控制，包含配置信息并监控数据节点的运行情况。管理节点不存储数据，也不参与查询处理，只负责协调集群的工作。
数据节点（Data Node）：负责存储数据的节点。每个数据节点存储部分数据，并和其他数据节点进行数据的冗余复制。数据节点的数量可以根据业务需求进行扩展。
SQL 节点（SQL Node）：也称为 MySQL 服务器节点，这些节点是执行 SQL 查询的 MySQL 实例，它们通过 NDB 存储引擎与数据节点进行通信。SQL 节点不直接存储数据，只是充当数据的访问接口。

优点