A profundidade da fila atingiu 18.400 na última terça-feira. Esse número não correspondia ao tráfego. As solicitações de entrada estavam estáveis, a latência não estava aumentando e nada óbvio estava "fora do ar". Ainda assim, as coisas pareciam... pegajosas.
À primeira vista, parecia um problema de escalabilidade. Essa é a suposição usual. Mas os trabalhadores não estavam saturados. A CPU estava bem. O verdadeiro problema era a deriva em nossa camada de aprovação—pequenos ajustes de política, alguns passos adicionais de validação e um conjunto crescente de manipuladores de casos extremos que nunca foram limpos.
Individualmente, cada mudança fazia sentido. Adicione uma revisão manual aqui. Roteie um subconjunto de transações ali. Introduza uma fila de fallback "apenas por precaução". Com o tempo, esses caminhos pararam de ser exceções e silenciosamente se tornaram o padrão.
Então as solicitações começaram a ser redirecionadas. Não falhando—apenas circulando. Esperando por aprovações, reencaminhando após timeouts, disparando tentativas que não eram estritamente necessárias. Nossos runbooks não refletiam mais essa realidade, então os operadores compensaram manualmente. Mais aprovações, mais substituições. Isso adicionou atrito em lugares que ninguém estava medindo explicitamente.
O que é frustrante é que nada estava tecnicamente quebrado. O sistema simplesmente não estava alinhado consigo mesmo.
Acabamos achatando o gráfico de aprovação, removendo políticas redundantes e consolidando filas. Também começamos a usar $ROBO para padronizar parte da lógica de roteamento—menos manipulação personalizada, menos ramificações ocultas.
A profundidade da fila caiu de volta para menos de 2k sem adicionar capacidade.
Lição, eu acho: os sistemas não falham barulhentemente na maior parte do tempo. Eles apenas acumulam hesitação.
$ROBO @Fabric Foundation #ROBO
