O p-valor é provavelmente o número mais usado — e mais mal interpretado — de toda a estatística. Ele aparece em artigos científicos, testes A/B, relatórios de qualidade e na saída de qualquer regressão. Este artigo explica, em linguagem simples, o que ele mede, para que serve na prática, o que ele não diz e como se compara a outras ferramentas: intervalos de confiança, tamanho de efeito, métodos bayesianos e critérios de informação.
§1A ideia com uma moeda
Você desconfia que uma moeda está viciada. Joga 100 vezes e saem 60 caras. É prova de vício, ou uma moeda honesta poderia fazer isso por acaso?
O raciocínio do teste tem três passos:
- Suponha o contrário do que você quer mostrar. É a hipótese nula \(H_0\): a moeda é honesta, \(p = 0{,}5\).
- Escolha uma medida de “quão longe” os dados estão do esperado. Com 100 jogadas, esperamos 50 caras; observamos 60, uma distância de 10.
- Calcule a probabilidade de uma distância igual ou maior, supondo \(H_0\) verdadeira. Esse é o p-valor.
Para uma moeda honesta, a chance de sair 60 ou mais caras ou 40 ou menos (o desvio de 10 para qualquer lado) é
Ou seja: uma moeda perfeitamente honesta produziria um resultado tão desequilibrado quanto esse em cerca de 6 de cada 100 sequências de 100 jogadas. É raro, mas não muito. Pela convenção mais comum (corte em 0,05), não “rejeitaríamos” a honestidade da moeda — por pouco.
§2A definição, sem rodeios
De forma geral, escolhemos uma estatística de teste \(T\) (um número que cresce quando os dados se afastam de \(H_0\)), calculamos seu valor observado \(t_{\text{obs}}\) e definimos
Três detalhes importam:
- É uma probabilidade sobre os dados, não sobre a hipótese. A condição “\(H_0\) verdadeira” está do lado direito da barra. O p-valor não diz qual é a chance de \(H_0\) ser verdadeira.
- Inclui “ou mais extremo”. Não é a chance de observar exatamente 60 caras (que é pequena para qualquer número), e sim de algo pelo menos tão extremo quanto.
- Sob \(H_0\), o p-valor é uniforme entre 0 e 1. Se não há efeito nenhum, \(p < 0{,}05\) acontece em 5% das vezes, \(p < 0{,}01\) em 1%, e assim por diante. É daí que vem o controle de “falsos positivos”.
O nível de significância \(\alpha\) (tipicamente 0,05) é um corte combinado antes de olhar os dados: se \(p \le \alpha\), declaramos o resultado “estatisticamente significativo”. Com isso, a taxa de falsos positivos fica limitada a \(\alpha\) no longo prazo.
§3Onde o p-valor é usado
A mesma lógica aparece em quase toda a estatística aplicada. Os usos mais comuns:
| Situação | Hipótese nula típica | Teste comum |
|---|---|---|
| Comparar a média de dois grupos (tratamento × controle) | As médias são iguais | Teste t |
| Comparar proporções (teste A/B de conversão) | As taxas de conversão são iguais | Teste z de proporções, qui-quadrado |
| Comparar três ou mais grupos | Todos os grupos têm a mesma média | ANOVA, Kruskal–Wallis |
| Coeficiente de uma regressão | A variável não tem efeito (\(\beta = 0\)) | Teste t / Wald |
| Associação entre duas variáveis categóricas | As variáveis são independentes | Qui-quadrado, Fisher |
| Correlação | A correlação é zero | Teste de Pearson / Spearman |
| Ajuste de um modelo ou distribuição | Os dados seguem a distribuição suposta | Shapiro–Wilk, Kolmogorov–Smirnov, teste da deviance |
| Comparar modelos encaixados | O modelo menor basta | Razão de verossimilhanças, teste F |
| Ensaios clínicos | O remédio não é melhor que o placebo | Depende do desfecho; o protocolo fixa tudo antes |
| Controle de qualidade | O processo está sob controle | Gráficos de controle (cada ponto é um teste implícito) |
Em todos os casos, o p-valor faz o mesmo papel: é um alarme contra o acaso. Ele indica se o padrão observado é grande demais para ser atribuído só à variação natural dos dados.
§4O que o p-valor não diz
Quase todos os erros com p-valor vêm de pedir a ele uma resposta que ele não dá.
- Não é a probabilidade de \(H_0\) ser verdadeira. \(p = 0{,}03\) não significa “3% de chance de não haver efeito”. Essa probabilidade só pode ser calculada com uma abordagem bayesiana (§7), e depende de quão plausível o efeito era antes do estudo.
- Não mede o tamanho do efeito. Um efeito minúsculo dá p-valor pequeníssimo se a amostra for enorme; um efeito grande pode dar p-valor alto se a amostra for pequena. (Exemplos em §5.)
- \(p > 0{,}05\) não prova que não há efeito. “Ausência de evidência não é evidência de ausência.” Pode ser só falta de dados.
- Não diz se o resultado é importante. Significância estatística não é significância prática. Um remédio que baixa a pressão em 0,5 mmHg pode ser “significativo” e clinicamente irrelevante.
- 0,05 não é uma fronteira mágica. \(p = 0{,}049\) e \(p = 0{,}051\) trazem praticamente a mesma evidência. Tratar um como “descoberta” e outro como “nada” é arbitrário.
- Só vale se as suposições valem. O cálculo supõe um modelo (independência, distribuição, ausência de viés na coleta). Dados mal coletados produzem p-valores precisos e sem sentido.
§5Dois testes A/B que mostram o problema
Considere dois experimentos de conversão num site.
Teste A — amostra gigante, efeito minúsculo. Um milhão de visitantes em cada versão. A versão antiga converte 10,0%; a nova, 10,1%. O p-valor é 0,019: “significativo”. Mas a diferença é de um décimo de ponto percentual, e o intervalo de 95% para ela vai de 0,02 a 0,18 ponto. Talvez não pague nem o custo de mudar o site.
Teste B — amostra pequena, efeito grande. Duzentos visitantes em cada versão. A antiga converte 10%; a nova, 13%. O p-valor é 0,35: “não significativo”. Mas a diferença observada é 30 vezes maior que no teste A, e o intervalo de 95% vai de −3,2 a +9,2 pontos. O teste simplesmente não tinha dados suficientes para concluir nada — nem que funciona, nem que não funciona.
Olhar só o p-valor levaria à decisão errada nos dois casos. É por isso que ele precisa sempre andar acompanhado de uma estimativa do efeito.
§6Comparação 1: intervalos de confiança e tamanho de efeito
O intervalo de confiança responde a uma pergunta mais útil: “quais valores do efeito são compatíveis com os dados?”. Na moeda de §1, o intervalo de 95% para a probabilidade de cara vai de 0,497 a 0,697.
Esse intervalo contém o p-valor e mais um pouco:
- Ele inclui 0,5, então o teste a 5% não rejeita a honestidade — a mesma conclusão do p-valor. (Intervalo e teste são duas faces da mesma conta: \(H_0\) é rejeitada a 5% exatamente quando o valor de \(H_0\) fica fora do intervalo de 95%.)
- Mas ele também mostra que a moeda pode ter um vício considerável, de até 70% de caras. A conclusão honesta não é “a moeda é justa”, e sim “ainda não sabemos”.
Junto com o intervalo, reporta-se o tamanho de efeito: a diferença de médias, a razão de chances, o \(d\) de Cohen, o risco relativo. É ele que diz se o resultado importa. Uma boa regra é: efeito + intervalo primeiro, p-valor depois (ou nem isso). Para estatísticas sem fórmula pronta de intervalo, o bootstrap resolve.
§7Comparação 2: a abordagem bayesiana
O p-valor vem da estatística frequentista, que trata o parâmetro como fixo e os dados como aleatórios. A estatística bayesiana inverte: os dados são fixos (já foram observados) e a incerteza sobre o parâmetro é descrita por uma distribuição de probabilidade. Isso permite responder diretamente às perguntas que as pessoas costumam (erradamente) fazer ao p-valor.
Na mesma moeda, partindo de uma crença inicial (priori) neutra — qualquer probabilidade de cara entre 0 e 1 igualmente plausível —, os dados levam a:
- Probabilidade de a moeda favorecer cara, \(\Pr(p > 0{,}5 \mid \text{dados}) \approx 0{,}98\).
- Intervalo de credibilidade de 95% de 0,50 a 0,69 — quase igual ao intervalo de confiança, mas agora com a leitura direta “há 95% de probabilidade de \(p\) estar aqui”.
- Fator de Bayes \(\approx 0{,}9\) comparando “moeda viciada (qualquer vício)” com “moeda exatamente honesta”. Um fator perto de 1 significa que os dados quase não distinguem as duas hipóteses.
Repare na tensão: o p-valor de 0,057 parece “quase significativo”, a probabilidade de 98% parece forte, e o fator de Bayes diz que a evidência contra a honestidade é praticamente nula. Não há contradição — cada número responde a uma pergunta diferente. O fator de Bayes compara a hipótese “exatamente 0,5” com uma alternativa difusa que espalha a aposta por todos os valores, inclusive 0,1 ou 0,9, que os dados descartam. Isso ilustra um ponto conhecido: p-valores perto de 0,05 costumam representar evidência mais fraca do que parecem.
Vantagens do bayesiano: respostas na linguagem que as pessoas querem (“qual a chance de funcionar?”), incorpora conhecimento prévio, não depende de quantas vezes você “espiou” os dados. Desvantagens: exige escolher a priori (e o resultado pode depender dela, como no fator de Bayes), e as contas costumam ser mais pesadas.
§8Comparação 3: critérios de informação e validação
Quando o objetivo é escolher entre modelos — e não testar uma hipótese específica —, há alternativas melhores que uma sequência de p-valores:
- AIC e BIC pontuam cada modelo pelo ajuste, com uma penalidade pelo número de parâmetros. Escolhe-se o de menor valor. Funcionam para modelos não encaixados (que o teste de razão de verossimilhanças não compara) e não exigem escolher um modelo como “nulo”.
- Validação cruzada mede diretamente o que importa em previsão: o erro em dados que o modelo não viu. É a ferramenta padrão em aprendizado de máquina, onde quase ninguém olha p-valores.
A seleção de variáveis “tira a que tiver maior p-valor e reajusta” (stepwise) é um uso clássico e problemático: depois de muitas escolhas guiadas pelos dados, os p-valores finais ficam otimistas demais e perdem o significado original.
§9Muitos testes ao mesmo tempo
Se cada teste tem 5% de chance de um falso positivo, fazer 20 testes independentes sobre coisas sem efeito nenhum dá 64% de chance de pelo menos um “significativo”:
É assim que surgem descobertas que não se replicam: testa-se muita coisa (subgrupos, desfechos, períodos, variáveis) e publica-se o que passou de 0,05 — o chamado p-hacking. As correções mais usadas:
- Bonferroni: com \(m\) testes, use o corte \(\alpha/m\). Simples e conservador; controla a chance de qualquer falso positivo.
- Holm: uma versão em etapas de Bonferroni, sempre pelo menos tão poderosa.
- Benjamini–Hochberg (FDR): controla a proporção de falsos positivos entre as descobertas. Padrão em genômica e em qualquer área com centenas ou milhares de testes.
A melhor defesa, porém, não é uma fórmula: é definir as hipóteses e a análise antes de ver os dados (pré-registro), como fazem os ensaios clínicos.
§10Resumo: qual ferramenta para qual pergunta
| Pergunta | Ferramenta |
|---|---|
| Esse padrão pode ser só acaso? | p-valor |
| Qual o tamanho do efeito e quão incerto ele é? | Estimativa + intervalo de confiança |
| Qual a probabilidade de o efeito ser positivo (ou maior que X)? | Posteriori bayesiana |
| Quanto os dados favorecem uma hipótese sobre outra? | Fator de Bayes, razão de verossimilhanças |
| Qual modelo descreve ou prevê melhor? | AIC/BIC, validação cruzada |
| Quantos dados preciso para detectar um efeito de tamanho X? | Cálculo de poder (feito antes do estudo) |
O p-valor não é vilão nem herói. É uma ferramenta estreita, que responde bem a uma única pergunta: “isso é compatível com puro acaso?”. Usado nesse papel — combinado com o tamanho do efeito, um intervalo, um desenho de estudo bem feito e cuidado com testes múltiplos — continua útil. O problema começa quando ele vira o único número que se olha, e o corte de 0,05 passa a decidir sozinho o que é verdade.