Mas como eles se saem nas previsões? Um método simples é comparar a listagem - que é ordenada da maior probabilidade para a menor probabilidade - dos países no relatório da GS e o resultado final da Copa. Podemos assumir que o ranqueamento pelas probabilidades reflita o ranqueamento final na Copa - com critérios de desempate entre os que são desclassificados equivalentes aos critérios de desempate na fase de grupos.
Analisemos então a previsão e o resultado para a Copa de 2006, na Alemanha. A tabela abaixo mostra à esquerda a previsão e à direita o resultado final.
E então, como se compara? No olhômetro já não parece bater direito, mas vemos que, por exemplo, para a Argentina acertou em cheio, o mesmo para algumas outras seleções, como Togo. Em outros, a diferença não é tão grande, como para a Arábia Saudita. Uma ideia intuitiva seria tirar a diferença entre todos e somar. Bem, isso não ajudaria muita coisa - a soma sempre será zero. Podemos tentar, então, usar o módulo - o valor absoluto das diferenças. Mas a simples soma não serve - é meio complicado analisar isso estatisticamente.
Um procedimento que os estatísticos desenvolveram foi um método chamado teste não-paramétrico de sinais ranqueados de Wilcoxon. O nome é pomposo, mas o mecanismo é simples - ainda que possa ser trabalhoso fazer à mão (ainda bem que desenvolveram planilhas eletrônicas e programas estatísticos).
Uma vez calculadas as diferenças de cada par e obtidos os valores absolutos, descartam-se os valores nulos, ordenam-se as diferenças restantes do menor para o maior. A menor diferença recebe o valor 1, a seguinte o valor 2 e assim por diante. Se dois ou mais valores seguidos são iguais, receberão o mesmo valor, por exemplo, se tivermos: 2; 4; 4; 6 - assinalaremos os valores (os ranques) 1; 2,5; 2,5; 4. A seguir, transferimos o sinal das diferenças para esses novos números: se a diferença absoluta 2 se refere a um par "3 - 5", então teremos -1. Se for "5 - 3", então será 1. Agora é só somar os ranques com sinais - o total vamos chamar de W (de Wilcoxon). Antes é preciso observar-se se o total de pares que dão valores diferentes de zero é igual ou maior do que 10 - para que o teste tenha validade.
O valor obtido de W pode ser comparado com tabelas estatísticas disponíveis.
No nosso caso, temos 30 pares cujas diferenças são diferentes de 0. O W é igual a -12. Isso nos dá uma probabilidade de P = 0,45. Há 45% de chances das diferenças entre as listas serem geradas por uma lista com a ordem das seleções produzida ao acaso. Normalmente aceitamos como limite uma probabilidade de 5% (mas podemos ser mais restritivos ou menos), de todo modo, 45% é uma chance muito alta, então rejeitamos a hipótese de que as duas listas sejam equivalentes. Ou seja, os especialistas da Goldman Sachs erraram feio e estão com chutômetro descalibrado.
Vamos ver como se sairão para as previsões desta Copa 2010.
