Benchmark da Coinbase mostra modelos de IA mais novos captando menos fraude em pagamentos

A Coinbase informou em 7 de outubro que versões mais recentes de três grandes famílias de modelos de IA capturaram menos pagamentos fraudulentos e uma parcela menor do valor total da fraude em um teste histórico de triagem do serviço Onramp, com a política de decisão mantida igual.

A avaliação reproduziu 16.140 transações de 7.293 usuários, incluindo 813 transações fraudulentas confirmadas. A amostra cobriu nove semanas anteriores à entrada em operação do agente de risco da empresa, mantendo todos os casos de fraude já maturados e amostrando o tráfego legítimo.

A companhia comparou Opus 4.5 com Opus 5, Sonnet 4.6 com Sonnet 5 e GPT-5.4 com GPT-5.6 (sol). Todas as versões mais novas tiveram recall menor, pontuação F1 menor e recall ponderado pelo valor em dólar menor.

O Sonnet 4.6 foi o caso mais forte: recall caiu 22,2 pontos percentuais e o recall ponderado pelo valor caiu 22,9 pontos. O Opus perdeu 0,8 ponto de recall. O caso do GPT mostra por que uma métrica melhor pode enganar: a precisão subiu 11,5 pontos percentuais, enquanto o recall caiu 20,7 pontos e o recall ponderado pelo valor caiu 21,8 pontos. As sinalizações ficaram mais precisas, mas mais casos e mais valor escaparam da detecção.

O teste não estabelece perdas de clientes causadas pelas versões em produção. A Coinbase disse também que conseguiu identificar as regressões sem estabelecer a causa delas. O conjunto de dados usado é proprietário e não pode ser liberado, o que impede a replicação independente.

Em divulgação separada, em 8 de outubro, a empresa disse que um modelo Qwen3.5-9B pós-treinado superou o Opus 4.5 em quatro métricas de detecção de fraude: o F1 subiu 9,6 pontos percentuais e o recall ponderado pelo valor subiu 35,4 pontos. A latência mediana medida em produção foi de 0,683 segundo, contra 1,515 segundo do Opus 4.5, queda relativa de 55%. O ganho de velocidade e o ganho de detecção vieram de avaliações diferentes.