Mostrando postagens com marcador previsões. Mostrar todas as postagens
Mostrando postagens com marcador previsões. Mostrar todas as postagens

sábado, 25 de fevereiro de 2012

Analisando resultados: comparando listas 2

Na postagem anterior vimos como podemos comparar duas listas entre si, uma com a previsão e outra com o resultado final.

E quando temos três ou mais listas? Podemos utilizar o mesmo procedimento da comparação de duas listas? Sim, mas é preciso fazer uma alteração. Se usamos simplesmente o mesmo limite de 5%, para cada comparação as chances de erro se acumulam de modo exponencial: na primeira comparação temos os 5% de chances de aceitar uma hipótese como verdadeira sendo que ela é falsa (mais especificamente, de aceitar que o resultado tem significância estatística, quando, na verdade, é fruto do acaso - situação que os estatísticos chamam de erro do tipo I), na segunda comparação temos os mesmos 5%; ou seja, com duas comparações temos 1-(0,95)^2 = 9,75% de chance de errar; com três são 14,26%; com quatro, 18,55%; com dez, 40,13% e assim por diante.

Um método para corrigir isso é a correção de Bonferroni: simplesmente divide o nível de significância desejado pelo número de comparações realizadas.

Peguemos as previsões das classificações dos clubes brasileiros no Campeonato Brasileiro de Futebol da Série A de 20102011 feitas por nove jornalistas esportivos. E comparemos com o resultado final. Serão, no total, nove comparações. Se quisermos um nível de 5%, basta dividir 5%/9 e usar esse valor como o nível de aceitação ou rejeição para cada teste. Nas 9 comparações, a probabilidade acumulada de erro será de 4,9%.

A tabela abaixo mostra o resultado.

Todos os testes rejeitaram a hipótese nula de que a classificação prevista é igual à classificação final. Isto é, os palpites dos jornalistas esportivos foram todos furados. Como o palpite da Goldman Sachs para a Copa 2006.


quinta-feira, 24 de junho de 2010

Analisando resultados: comparando listas

A Goldman Sachs desde 1998 elabora relatórios com previsões sobre as probabilidades de seleções dos países serem a campeã da Copa do Mundo de Futebol. Como é um respeitado banco de investimentos e de análise de riscos, a imprensa costuma dar grande destaque a esses relatórios.

Mas como eles se saem nas previsões? Um método simples é comparar a listagem - que é ordenada da maior probabilidade para a menor probabilidade - dos países no relatório da GS e o resultado final da Copa. Podemos assumir que o ranqueamento pelas probabilidades reflita o ranqueamento final na Copa - com critérios de desempate entre os que são desclassificados equivalentes aos critérios de desempate na fase de grupos.

Analisemos então a previsão e o resultado para a Copa de 2006, na Alemanha. A tabela abaixo mostra à esquerda a previsão e à direita o resultado final.


E então, como se compara? No olhômetro já não parece bater direito, mas vemos que, por exemplo, para a Argentina acertou em cheio, o mesmo para algumas outras seleções, como Togo. Em outros, a diferença não é tão grande, como para a Arábia Saudita. Uma ideia intuitiva seria tirar a diferença entre todos e somar. Bem, isso não ajudaria muita coisa - a soma sempre será zero. Podemos tentar, então, usar o módulo - o valor absoluto das diferenças. Mas a simples soma não serve - é meio complicado analisar isso estatisticamente.

Um procedimento que os estatísticos desenvolveram foi um método chamado teste não-paramétrico de sinais ranqueados de Wilcoxon. O nome é pomposo, mas o mecanismo é simples - ainda que possa ser trabalhoso fazer à mão (ainda bem que desenvolveram planilhas eletrônicas e programas estatísticos).

Uma vez calculadas as diferenças de cada par e obtidos os valores absolutos, descartam-se os valores nulos, ordenam-se as diferenças restantes do menor para o maior. A menor diferença recebe o valor 1, a seguinte o valor 2 e assim por diante. Se dois ou mais valores seguidos são iguais, receberão o mesmo valor, por exemplo, se tivermos: 2; 4; 4; 6 - assinalaremos os valores (os ranques) 1; 2,5; 2,5; 4. A seguir, transferimos o sinal das diferenças para esses novos números: se a diferença absoluta 2 se refere a um par "3 - 5", então teremos -1. Se for "5 - 3", então será 1. Agora é só somar os ranques com sinais - o total vamos chamar de W (de Wilcoxon). Antes é preciso observar-se se o total de pares que dão valores diferentes de zero é igual ou maior do que 10 - para que o teste tenha validade.

O valor obtido de W pode ser comparado com tabelas estatísticas disponíveis.

No nosso caso, temos 30 pares cujas diferenças são diferentes de 0. O W é igual a -12. Isso nos dá uma probabilidade de P = 0,45. Há 45% de chances das diferenças entre as listas serem geradas por uma lista com a ordem das seleções produzida ao acaso. Normalmente aceitamos como limite uma probabilidade de 5% (mas podemos ser mais restritivos ou menos), de todo modo, 45% é uma chance muito alta, então rejeitamos a hipótese de que as duas listas sejam equivalentes. Ou seja, os especialistas da Goldman Sachs erraram feio e estão com chutômetro descalibrado.

Vamos ver como se sairão para as previsões desta Copa 2010.