Nos meus treinamentos de Estatística Aplicada à Melhoria de Processos não dou ênfase aos testes não paramétricos, pois como a grande maioria dos meus treinamentos são voltados à área industrial, no qual os testes paramétricos são mais comuns, procuro focar no que é mais utilizado. Mas, os não paramétricos também podem ser utilizados na área industrial! Vou preparar o material didático e vou incluir nos próximos programas de treinamento. Promessa é dívida!
PS: Você pode conferir o artigo aqui pelo blog ou se preferir fazer o download do artigo.
Teste não paramétrico de Mann-Whitney
Autor: Edson R. Montoro
Técnicas não-paramétricas são métodos estatísticos que podem ser usados quando a suposição de normalidade não é atendida. Essas técnicas são livres de distribuição, isto é, não fazem suposições sobre a distribuição da qual se coletam amostras, ao contrário de muitos outros testes estatísticos (como por exemplo, o teste t-Student).
Por exemplo, é possível testar dois materiais de fornecedores diferentes em um processo. Coletam-se as amostras dos materiais de ambos os fornecedores e compara-se os resultados usando um teste t-Student para comparar as médias dos dois fornecedores. Este tipo de teste assume que se tem uma distribuição normal.
Muitas das vezes, não nos preocupamos ou até esquecemos da suposição de normalidade. Há momentos em que não se deve ignorar essa suposição, pois há muitas variáveis que não seguem um modelo de distribuição normal, por exemplo, dados de tempo de vida, tempos de espera em call center, crescimento bacteriano ou o número de incidentes em uma fábrica. Não se deve usar testes t-Student com esses tipos de dados.
A principal diferença entre as técnicas não paramétricas e aquelas que requerem uma distribuição normal (chamadas de técnicas paramétricas) é o uso da mediana ao invés da média. A mediana fornece uma estimativa melhor do centro de uma distribuição não normal.
O teste de Mann-Whitney que será apresentado hoje, compara duas amostras independentes. Existe também o teste de Kruskal-Wallis que pode ser usado com mais de duas amostras independentes, que seria o teste não paramétrico equivalente à realização de uma ANOVA, ainda existem muitos outros testes não paramétricos que aos poucos serão abordados aqui em nosso site.
O teste de Mann-Whitney é usado para determinar se as observações de uma população tendem a ser maiores ou menores que outra população. Isso é feito tomando-se observações amostrais (ordinais ou numéricas) de cada população, supondo que as duas populações têm a mesma forma, apenas medidas de posição diferentes (por exemplo, medianas diferentes). Na maioria dos casos, se testará as seguintes hipóteses:
Onde θ1 e θ2 são os parâmetros de posição para as duas distribuições. Pode-se testar também se uma mediana é maior ou menor que a outra.
A metodologia envolve a comparação de cada observação de uma distribuição com cada observação da outra distribuição. É mais fácil entender isso olhando para um exemplo.
Exemplo:
Uma empresa está interessada no tempo de falha de um capacitor. Testam-se 8 capacitores em condições normais e 10 capacitores sob condições de estresse térmico. Querem descobrir se as condições de estresse térmico reduzem o tempo para falhar. Os dados e o roteiro do teste de hipótese são detalhados a seguir:
Passo 1: Entender o problema;
Passo 2: Formular as Hipótese (Nula e Alternativa):
Passo 3: Definir o valor de alfa (normalmente 5%);
Passo 4: Definir o tamanho das amostras (algumas vezes já definido previamente) n1 = 8 e n2 = 9;
Passo 5: Definir o teste estatístico a ser utilizado. Neste caso, como a variável tempo de vida não segue uma Normal, optou-se por usar um teste não paramétrico, o de Mann-Whitney;
Passo 6: Definir a região crítica (definido por H1 e Alfa), neste caso é um teste unilateral à esquerda;
Passo 7: Definir o Critério de Rejeição de H0;
Passo 8: Obter os dados experimentais:
Passo 9: Calcular a estatística Observada. Para realizar os cálculos, seguiu-se as seguintes etapas:
9.1: Ordenar todos os dados (independente de qual amostra) em ordem crescente e atribuir postos a cada valor:
Para valores repetidos, atribui-se o posto médio; como no caso de 18,9 que ocupa o posto 5,5; e do 24,5 que ocupa o posto 10,5.
Quando houver mais valores iguais, o posto ocupado por esse valor será sempre o posto médio, como por exemplo, se tivesse 3 valores extras, 41, 41 e 41, o posto seria 19.
Organizando os dados novamente, cada qual com sua condição experimental, e somando os valores dos postos, ficaria:
9.2: Efetuar os seguintes cálculos:
Passo 10: Comparar com o valor crítico:
O valor crítico, 15, é dado pela Tabela 1 definido pelos n1 = 8 e n2 = 9 (Existem tabelas com outros valores de alfa, aqui só mostraremos a de 5%, que é a que nos interessa).
Passo 11: Decisão e Recomendações de melhoria
Como o valor observado u2 = 5,5 (como definido na tabela das Hipóteses) é menor que o valor crítico (15), rejeita-se a hipótese nula e concluímos que a mediana do tempo de vida do capacitor em condições normais (mediana 1) é maior que a mediana do tempo de vida do capacitor sob estresse térmico (mediana 2), com um nível de significância de 5%.
Nos casos em que o tamanho da amostra for grande o suficiente (normalmente maior que 30), é possível aproximar para uma distribuição Normal. Neste caso, calcula-se z usando a seguinte equação:
E a decisão é simplesmente comparar o valor obtido com um valor de z crítico, que depende do seu nível de significância definido e da sua hipótese alternativa.
Quando o alfa for 5% e se quer testar se é diferente, o valor de z crítico da tabela da Normal padronizado é 1,96, e se for um teste unilateral, 1,645.
Como vantagem, os testes não paramétricos não dependem do modelo de distribuição de probabilidade, ainda mais quando se tem poucas amostras. Por outro lado, são menos poderosos do que os testes paramétricos correspondentes, projetados para uso em dados provenientes de uma distribuição específica.
Vale a pena reforçar que muitos testes não paramétricos, referentes ao centro da distribuição da população, são testes sobre a mediana ao invés da média. O teste não responde a mesma pergunta como o procedimento paramétrico correspondente. Quando existe uma escolha entre usar um procedimento paramétrico ou um não paramétrico, e se acredita que as suposições para o procedimento paramétrico foram satisfeitas, é aconselhável usar o procedimento paramétrico.
Como sou adepto das técnicas mais visuais, não poderia deixar de usar o Box Plot (clique aqui para acessar o post anterior no nosso site) para visualizar os dados do nosso exemplo (tempo de falha de um capacitor, Figura 1), lembrando que a técnica do Box Plot também é não paramétrica.
Como se pode verificar, os chanfros que representam o intervalo de confiança de 95% para as respectivas medianas não coincidem, nos levando à mesma conclusão do teste de Mann-Whitney, os tempos medianos são diferentes; sendo que nas condições normais esse valor é significativamente maior.
As técnicas não paramétricas são uma boa alternativa quando os dados não seguem uma Normal ou também para os casos em que não se tem certeza. Outra vantagem é a simplicidade dos cálculos. Com certeza existem muitas oportunidades de aplicações desses testes, é só abrir os olhos e a mente e desenvolver o hábito de sempre usar técnicas cientificamente válidas para trabalhar com os dados.
Bibliografia
[1] Tucker, H., A short graduate course in nonparametric statistical inference, (1984), University of California.
[2] Wadsworth, M. W., Handbook of Statistical Methods for Engineers and Scientists, (1990), McGraw-Hill Publishing Company.
Sobre o autor:
Edson R. Montoro é Diretor Técnico da ERMontoro Consultoria e Treinamento Ltda, empresa focada no desenvolvimento de pessoas e consultoria nas áreas de melhoria de processo usando Estatística Aplicada e Lean Manufacturing.
O autor é Químico pela UNESP (Universidade Estadual Paulista “Júlio de Mesquita Filho”) – Araraquara, MBA em Gestão Empresarial pela FGV (Fundação Getúlio Vargas), Master Black Belt pela Air Academy Associates, Engenheiro de qualidade pela ASQ (America Society for Quality) e Pós-graduação em Gerência de Produção pela UFSC (Universidade Federal de Santa Catarina).