Repository navigation
UNT162-20: tools/migrate-data — copiar event store e read models para o Cloud SQL (s6.1) - #18
Merged
Conversation
… to Cloud SQL mysqldump path (preflight.sh, copy.sh, verify.sh), DMS notes and the s6.1 runbook section, and rehearse.sh: MySQL 5.7 source seeded through the buy/sell API copied into the Flyway-baselined MySQL 8.0 target, all checks matching, apps validated and trading on the copy. CI job migrate-data runs the rehearsal. Co-Authored-By: Matthew Guerra <matthew.guerra@cognition.ai>
Author
|
I'll fix CI failures and address comments from users with write access. I'll skip comments containing "(aside)".
|
…XOR), so duplicate rows such as hibernate_sequence count Co-Authored-By: Matthew Guerra <matthew.guerra@cognition.ai>
…only when asked for (local Auth Proxy) Co-Authored-By: Matthew Guerra <matthew.guerra@cognition.ai>
…p them Co-Authored-By: Matthew Guerra <matthew.guerra@cognition.ai>
Author
|
Resposta ao flag do Devin Review que não foi postado como thread ("Drain trades before stopping their consumer", |
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
Resumo
Ticket UNT162-20 (passo s6.1 do plano): ferramenta e runbook para copiar os dois bancos MySQL do TAS (
enginedb: event store Axon, sagas, tokens;appdb: event store e read models dotrader-app) para o Cloud SQL na janela de congelamento do cutover, com ensaio local ponta a ponta. Nada foi executado contra o TAS nem contra um projeto GCP.tools/migrate-data/preflight.sh: inventário somente leitura das duas pontas (versão, charset,sql_mode, binlog para DMS, linhas/tamanho/collation por tabela, diff de colunas origem x destino, histórico Flyway e sessões conectadas no destino). Sai com 1 se as colunas divergirem.tools/migrate-data/copy.sh [all|dump|load]:mysqldump --single-transactionsó das linhas (--no-create-info, sem locks, somente leitura no TAS); o schema no destino é o baseline Flyway V1 (s3.2), então oddl-auto=validatedo perfilkubernetesvalida a cópia. Oloadrecusa se o V1 não estiver aplicado, se houver sessão conectada ou se o destino já tiver dados (semTARGET_WIPE=yes). Gravatimings.tsv(segundos, linhas, bytes) para dimensionar o freeze.tools/migrate-data/verify.sh: origem x destino — conjunto de tabelas, nomes/tipos de coluna por tabela, contagem de linhas e checksum independente de ordem (que conta linhas duplicadas) de todas as colunas de todas as tabelas (inclui cada read model),max(global_index), número de agregados emax(sequence_number)por agregado nas tabelas de eventos.tools/migrate-data/rehearse.sh+rehearsal/compose.yml: ensaio completo com MySQL 5.7 (stand-in do TAS, apps no perfillocalcomddl-auto=update, como o perfilclouddo TAS) populado pelo fluxo de compra/venda da API, e MySQL 8.0 (stand-in do Cloud SQL, TLS obrigatório, um usuário por banco) com o V1 aplicado pelo perfilkubernetes. Depois da cópia sobe os apps na cópia, compara a API de consulta com a origem e executa um trade novo.docs/migration/cutover-runbook.md, seção s6.1: procedimento antes/durante o freeze, rollback, notas de DMS (rede, binlogROW/FULL, usuário de replicação, schema do DMS x baseline Flyway) e dimensionamento do freeze para o s6.2.migrate-dataem.github/workflows/java.yml(shellcheck +rehearse.shcomSEED_ROUNDS=100).Achado durante o ensaio: as collations do 5.7 (
latin1/utf8_general_ci) e do 8.0 ordenamorderentry_*eorder_viewde forma diferente, por isso as listas de tabelas/colunas são ordenadas por byte no shell; e o checksum usa somas DECIMAL exatas das metades do md5 de cada linha (sem float; XOR foi descartado após o Devin Review porque linhas duplicadas se cancelam).<SIDE>_SSL_MODEtem padrãoREQUIRED.Ainda pendente (sem acesso): cópia de dados reais do TAS, execução em staging no Cloud SQL e DMS (s6.2). Não houve acesso ao TAS nem projeto GCP.
Como testar
JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 ./mvnw -B -DskipTests package JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 SEED_ROUNDS=300 tools/migrate-data/rehearse.sh shellcheck -x tools/migrate-data/*.shRequer Docker, Java 8, clientes
mysql/mysqldump8.0,jq,curle as portas 3316, 3317, 5672, 8080, 8081 e 8761 livres.Evidência (execução local no commit inicial 8005d0b,
SEED_ROUNDS=2000; checksum por XOR, 60 checks)Origem após o seed:
enginedb.domain_event_entry42.042 linhas (31,6 MB),appdb.order_view/transaction_view5.603 linhas cada.preflight.sh:same tables and columns (35 columns)emenginedb,(86 columns)emappdb; Flyway1 1 baseline schema SQL successnos dois.tools/migrate-data/verify.sh:Subida na cópia, comparação da API, trade novo e tempos:
Com
SEED_ROUNDS=300: 6.350 + 2.607 linhas,copy.sh4 s,verify.sh4 s, 60 checks / 0 mismatches, mesmos PASS. Testes Java:mvn -B testcom Java 8 — 171 testes, 0 falhas, 0 erros.Evidência após as correções do Devin Review (head atual,
SEED_ROUNDS=300)verify.sh(agora com o checkcolumns):Testes negativos na mesma stack (
KEEP_STACK=1), após recarregar a cópia (84 checks, 0 mismatches):Devin-Org: engineering
Link to Devin session: https://devin-gtm.devinenterprise.com/sessions/bd4f4473f2c84548bb64c93aaced0978
Open in Devin Desktop: https://devin-gtm.devinenterprise.com/desktop/session/bd4f4473f2c84548bb64c93aaced0978?variant=devin
Requested by: @matthewguerra-cog
Devin Review