Sorte, Azar e Estatísticas Erradas (Blog Fernando Barrichelo)

Uma vez Richard Feynman escreveu: Sabem, a coisa mais incrível aconteceu comigo esta noite. Eu estava vindo para cá, a caminho da palestra, e passei pelo estacionamento. E vocês não vão acreditar no que aconteceu. Eu vi um carro com a placa ARW 357. Dá para imaginar? De todos os milhões de placas no estado, qual era a chance de que eu visse essa placa esta noite? Surpreendente ...

É possível ter muito azar, sem dúvida. Uma enfermeira chamada Lucia de Berk está na prisão há seis anos, na Holanda, com seis acusações de homicídio e três tentativas de homicídio. Um número incomumente grande de pessoas morreu sob seu plantão, o que, essencialmente, junto com algumas evidências circunstanciais muito fracas, é a essência do caso contra ela. Ela nunca confessou e continua a afirmar sua inocência, mas o julgamento gerou uma pequena coleção de artigos teóricos na literatura de estatística.

O julgamento foi amplamente baseado nos números "um em 342 milhões". Mesmo que encontremos erros aí -e, acreditem, iremos encontrar -, como na história anterior, o número, em si, é praticamente irrelevante. Como vimos repetidamente, o mais interessante na estatística não é a matemática complicada, mas o que os números significam. Existe também uma lição importante aqui, que beneficia a todos: coisas improváveis acontecem.

Alguém ganha na loteria todas as semanas; crianças são atingidas por raios. Só é estranho e surpreendente que aconteça algo muito específico e improvável que você tenha previsto. Aqui está uma analogia.

Imagine que eu esteja perto de um grande celeiro de madeira, com uma metralhadora enorme. Cubro os olhos com uma venda e, rindo de modo maníaco, disparo milhares de balas na lateral do celeiro. Então, solto a arma, ando até a parede, examino-a por algum tempo, em toda a sua extensão, andando de um lado para o outro. Encontro um ponto em que existem três buracos de bala próximos e, então, desenho um alvo ao redor deles, anunciando orgulhosamente que sou um excelente atirador. Creio que você discordaria de meus métodos e de minhas conclusões aqui, mas foi exatamente o que aconteceu no caso de Lucia: os promotores encontraram sete mortes durante os plantões de uma enfermeira, em um hospital, em uma cidade, em um país e, então, desenharam um alvo ao redor dos eventos.

Isso quebra uma regra crucial de qualquer pesquisa que envolva estatísticas: você não pode encontrar sua hipótese em seus resultados. Antes de submeter seus dados a uma ferramenta estatística, você precisa ter uma hipótese específica a ser testada. Se sua hipótese origina-se de uma análise dos dados, não faz sentido analisar os mesmos dados para confirmá-la. Essa é uma forma filosófica e bastante complexa de circularidade matemática, mas também houve formas muito concretas de raciocínio circular no caso. Para coletar mais dados, os investigadores voltaram às alas do hospital para tentar achar mais mortes suspeitas. Porém, todas as pessoas a quem pediram que lembrassem "incidentes suspeitos" sabiam que essa pergunta estava sendo feita porque Lucia podia ser uma assassina em série. Havia um alto risco de "um incidente suspeito" se transformar em sinônimo de "Lucia estava presente".

Algumas mortes súbitas, ocorridas quando a acusada não estava presente, não foram incluídas nos cálculos porque, por definição, elas não eram suspeitas porque Lucia não estava presente. Fica pior. "Pediram que listássemos os incidentes que ocorreram durante os plantões de Lucia ou pouco depois", disse um funcionário do hospital. Desse modo, mais padrões foram revelados e, assim, era ainda mais provável que os investigadores encontrassem mais mortes suspeitas nos plantões de Lucia. Enquanto isso, Lucia aguardava, na prisão, o dia do julgamento.

Assim são feitos os pesadelos.

Ao mesmo tempo, uma grande quantidade de informações estatísticas foi quase completamente ignorada. Nos três anos antes de Lucia trabalhar na ala em questão, aconteceram sete mortes. Nos três anos em que ela trabalhou na ala, houve seis mortes. Aqui está o que penso: parece estranho que a taxa de mortalidade em uma ala diminua no momento em que uma assassina em série entra em ação. Se Lucia matara todos, não poderia ter havido mortes naturais naquela ala nos três anos em que ela trabalhou ali. Ah, por outro lado, como a promotoria revelou no julgamento, Lucia gostava de tarô. E o que escreveu em seu diário pareceu um tanto estranho quando foram lidos trechos durante o julgamento. Então, ela pode mesmo ter matado essas pessoas.

No entanto, o mais estranho vem agora. Ao gerar seu número obrigatório, espúrio e tortuoso -"um em 342 milhões" -, o estatístico da promotoria cometeu um erro simples e rudimentar. Ele combinou testes estatísticos separados, multiplicando os valores "p", a descrição matemática do acaso ou a significância estatística. Esta parte é para os nerds maníacos por ciência e será cortada pelo editor, mas pretendo escrevê-la de qualquer modo: não se pode simplesmente multiplicar os valores "p"; é preciso integrá-los por meio de um instrumento inteligente, talvez pelo "método de Fisher para combinação de valores "p" independentes".

Se você multiplicar os valores "p", incidentes prováveis e inocentes parecerão totalmente improváveis. Digamos que você trabalhou em 20 hospitais, cada um com um padrão inocente de incidentes de, digamos, 0,5. Se você multiplicar esses valores "p" inocentes, de eventos ocorridos inteiramente ao acaso, terá um valor "p" final de p < 0,000001, extremamente significante em termos estatísticos. Com esse raciocínio matemático errado, você automaticamente será convertido em um suspeito se trabalhar em muitos hospitais. Você já trabalhou em 20 hospitais? Pelo amor de Deus, se trabalhou, não conte para a polícia holandesa.