Olha nós novamente por aqui com mais um artigo!
Aproveitando essa onda de eleições, com tanta fake news rolando por ai, questionamentos sobre a idoneidade da urna eletrônica, resolvei compartilhar com vocês uma técnica fácil, é só um teste de Qui-Quadrado, que gostaria de ter publicado antes das eleições do segundo turno, mas não consegui. Mas ainda dá para pegar um pouco do restinho do calor gerado por essa "guerra" que se instalou no Brasil e inflamou os mais apaixonados pela política.
Logicamente, a técnica se aplica a muitas outras coisas, não só para checkar resultados de eleições; na realidade ela saiu da área contábil e se aplica à várias situações onde se quer questionar a integridade de resultados.
Aproveitem e se alguém quiser a planilha, bem simples por sinal, é só enviar um email.
Abraços a todos, independente de partido político!
PS: Você pode conferir o artigo aqui pelo blog ou se preferir fazer o download do artigo clicando aqui.
A Estatística ajudando a combater fraudes
Autor: Edson R. Montoro
Cada vez mais os cidadãos de bem exigem a lisura nos processos eleitorais e no uso do dinheiro público, nosso dinheiro, por sinal. A Estatística tem ajudado muito nisso e cada vez mais ela é usada, contribuindo assim para a valorização da ética e da moralidade em todos os meios.
Simon Newcomb (1835 – 1909), um astrônomo e matemático americano, na sua curiosidade natural de cientista, descobriu na biblioteca de Harvard que a tábua de logaritmo usada pelos alunos era mais suja e desgastada nas primeiras páginas, enquanto que as últimas páginas davam sinais de pouco uso, mostrando que os números menores eram mais comuns que os maiores. Isso mostrava que provavelmente o modelo de distribuição de probabilidades dos números não era uniforme como se acreditava até então. Só que ele não reuniu mais dados para evidenciar sua descoberta, talvez por falta de tempo. Esse fato ficou esquecido por muitos anos e só na década de 30, Frank Benford (1883 –1948) um engenheiro elétrico que trabalhou muito tempo na GE, voltou com essa ideia e trabalhou mais nela, gerando uma lei conhecida como Lei do Primeiro Dígito ou Lei de Benford, mas o mais correto seria Lei de Newcomb-Benford.
Frank Benford demonstrou que esse resultado se aplica a uma ampla variedade de conjuntos de dados, incluindo contas de eletricidade, endereços, preços de ações, preços de casas, números de população, taxas de mortalidade, comprimentos de rios, constantes físicas e matemáticas, entre outras. Seu trabalho analisou os primeiros dígitos de várias coleções de dados coletados e todas mostraram que cerca de 30% dos números possuíam o 1 como primeiro dígito, e que, em contraste, menos de 5% apresentavam o 9 como primeiro dígito.
Obviamente essa lei não se aplica a todo e qualquer conjunto de dados, pois é uma lei empírica; por exemplo se tomarmos uma lista telefônica com prefixo (98), não vamos encontrar nenhum dígito primeiro 1. Mas é uma lei muito interessante quando se trata de dados aleatórios e em boa quantidade. A fórmula da Lei Benford para calcular a probabilidade de cada primeiro dígito é o logaritmo de (1+1/d) na base 10, ou
onde P(d) é a probabilidade de ocorrer o dígito d.
Fazendo isso para os dígitos de 1 a 9, teremos a seguinte tabela (Tabela 1):
que graficamente é representada pela curva da Figura 1.
Para se ter uma ideia da força dessa lei, depois da década de 80 ela começou a ser usada para verificar a veracidade de dados que se diziam aleatórios. Ou seja, começou a ser usada para verificar crimes em mesas de jogos, em jogos eletrônicos de apostas, pois é barata e apenas uma pequena coleta de dados é suficiente para atestar a verdadeira aleatoriedade de dados ou não. Então, a receita feder al dos EUA, em 1998 implementou essa lei em seu sistema de rastreamento de fraudes! Sim, porque se por exemplo, valores de despesas estão aparecendo com muitos dígitos iniciais 3 acima dos 12% é sinal que algo de errado existe na declaração de imposto de renda. E o mais impressionante é que fraudes históricas nos EUA compreendendo dados de grandes empresas foram descobertos e estavam corretos, sendo aplicada somente a lei de Newcomb-Benford.
Diversos estudos foram realizados adotando a hipótese de que dados fabricados são identificados mediante o desvio dos dígitos em relação à distribuição de Benford. Nigrini (1992; 1997; 1999; 2011; 2012), assumindo que dados contábeis fidedignos seguiam de maneira bem ajustada a distribuição de Benford, demonstrou que desvios substanciais em relação a essa Lei sugeririam possíveis fraudes ou dados manipulados. O autor desenvolveu vários testes para mensurar o atendimento à Lei de Benford, e foram detectadas fraudes em sete companhias de Nova York pelo escritório da Procuradoria do Brooklyn usando esses testes. Como evidência, descobriu-se, nesse caso, que dados fraudulentos e aleatórios possuíam poucos valores começando com 1 e muitos números começando com 6. Com base nesses sucessos anteriores, Nigrini foi chamado a dar consultoria a órgãos de arrecadação tributária de diversos países e a instalar os testes da Lei de Benford na maioria dos programas computacionais de detecção de fraude.
Rauch, et al. (2011) publicaram artigo na German Economic Review, no qual sugeriram que a Lei de Benford poderia ser utilizada para testar dados macroeconômicos, revelando quais deles necessitavam de uma inspeção mais rigorosa. Eles analisaram a conformidade com a Lei de Benford dos primeiros dígitos de dados macroeconômicos reportados ao Gabinete de Estatísticas da União Europeia (Eurostat) pelos países membros da União Europeia (UE). Construíram um ranking dos 27 países membros de acordo com a extensão do desvio encontrado. O país que teve o maior desvio foi a Grécia, cuja manipulação dos dados havia sido oficialmente confirmada pela Comissão Europeia (2010) em momento anterior.
Walter Mebane, um estatístico da Universidade de Michigan, estudou dados eleitorais de vários países, incluindo os Estados Unidos, Rússia e México. Em 2006, ele descobriu que a contagem dos votos tendia a seguir a Lei de Benford no segundo dígito. O pesquisador analisou os dados das eleições do Irã em 2009 e encontrou anormalidades que indicavam fortemente a ocorrência de fraude na vitória do político Ahmadinejad. Mebane verificou que, nas cidades com poucos votos inválidos, os números de Ahmadinejad passavam longe da distribuição de Benford e que o candidato, nessas situações, possuía uma grande vantagem nos votos, levantando a suspeita de fraude eleitoral.
No Brasil, estamos ainda iniciando a aplicação desta lei, mas já temos algumas ótimas iniciativas. No TCU (Tribunal de Contas da União), foi apresentada uma dissertação de mestrado pela servidora Flávia Ceccato, orientada pelo Professor Maurício Bugarin, abordando a aplicação dessa metodologia às auditorias de obras públicas. Foram testadas obras relevantes no contexto da Copa do Mundo de 2014, tais como a reforma do Estádio Maracanã, a construção da Arena da Amazônia e a reforma do Aeroporto Internacional de Minas Gerais. Essas três obras foram auditadas, em momento anterior, pelo Tribunal, e as análises efetuadas com base na Lei Newcomb-Benford foram confrontadas com o sobre preço detectado pelo TCU. Os serviços apontados por essa Lei como tendo sofrido possível manipulação em seus preços corresponderam, em média, a 80% do sobre preço identificado pelo Tribunal.
Existem várias publicações no Brasil mostrando a aplicação dessa ferramenta para identificar fraudes e contribuindo para que os corruptos vão para o lugar merecido. A dupla Ceccato & Bugarin desenvolveram artigos para: a Revista do TCU (Lei de Benford e Auditoria de Obras Públicas: uma análise de sobre preço na reforma do Maracanã); a Revista Economics Bulletin (Benford's law for audit of public works: an analysis of overpricing in Maracanã soccer arena's renovation); a Revista NDJ (Lei de Benford para a auditoria de obras públicas: análise de sobre preço na construção da arena da Amazônia); entre outros.
A Lei Newcomb-Benford já é objeto de interesse do CADE (Conselho Administrativo de Defesa Econômica) como filtro de cartel e também da Polícia Federal nas perícias criminais de engenharia. Me desculpem, mas eu me empolgo quando vejo a aplicação de técnicas científicas na prática, ainda mais no nosso país, onde a corrupção é a tônica já há algum tempo. Há esperanças!
Mas voltando à lei Newcomb-Benford, reforçamos algumas regras para sua aplicação, a saber:
Os números devem ser gerados naturalmente. A lei não aplica, por exemplo, para analisar CPFs, mas serve perfeitamente para aplicação em contas a pagar, notas fiscais, tabela de preços etc.
Os valores não podem ter um valor limite máximos definido.
Devem ter ao mínimo 4 dígitos.
Devem ter pelo menos mil registros.
Será apresentado um exemplo (1) com os dados parciais (600 valores) da série de Fibonacci usando uma planilha em Excel (se alguém quiser a planilha, por favor entre em contato). A tabela (Tabela 2) será apresentada parcialmente por economia de espaço.
Os cálculos seguem um simples teste de aderência de Qui-Quadrado para ver se os dados experimentais se ajustam à distribuição teórica definido pela lei de Newcomb-Benford (NB), apresentados na Tabela 2.
Com um nível de significância de 5%, as hipóteses do teste de aderência são as seguintes:
H0: Os dados seguem a lei NB;
H1: Os dados não seguem a lei NB;
O critério de rejeição de H0 é se o valor observado for maior que o crítico.
O resultado final com os resultados é apresentado na Tabela 3.
É possível visualizar a curva dos dados da série com as barras da lei Newcomb-Benford na Figura 2.
Como é possível verificar, no gráfico da Figura 2 o ajuste da série de Fibonacci à lei é muito boa, confirmado pelo teste do Qui-Quadrado, no qual o valor observado (0,038) foi menor que o crítico (15,51).
Podemos ver agora um segundo exemplo (2) com uma série de 900 dados de números aleatórios gerados pelo Excel usando a função “=ALEATÓRIOENTRE(0;9000)” (Tabela 4). Na vida real, quando se é esperado que os dados sigam a lei e isso não acontece, temos uma grande chance de os dados serem manipulados, certamente num caso real, seria escolhido para uma auditoria.
Novamente, o teste de aderência com 5% de significância tem-se as seguintes hipóteses:
H0: Os dados seguem a lei NB;
H1: Os dados não seguem a lei NB;
Os cálculos são apresentados na Tabela 5 e o gráfico na Figura 3.
Como é possível observar, os dados não se ajustam à Lei e Newcomb-Benford, pois os testes de Qui-Quadrado tiveram a hipótese nula rejeitada, sendo o valor observado (40,64) maior que o crítico (15,51) e também pelo gráfico da Figura 3 é possível observar que os dados não se ajustam à curva esperada da lei.
Como visto, os números aleatórios gerados pelo Excel, assim como outros softwares, na realidade são pseudoaleatórios.
Esta técnica, apesar de simples pode ser muito útil em diversas áreas, como dito anteriormente, na área contábil, em resultados de eleições, na economia e inclusive pode ser utilizado em relatórios de controle de processos e dados de laboratório, podendo indicar a existência de falsificações.
Referências:
(1) The Law of Anomalous Numbers; Frank Benford; Proceedings of the American Philosophical Society; Vol. 78, No. 4 (Mar. 31, 1938), pp. 551-572.
(2) Nigrini, M. (1992). The Detection of Income Tax Evasion Through an Analysis of Digital Frequencies. Cincinnati, OH: Ph.D. thesis. University of Cincinnati.
(3) Nigrini, M., & Mittermaier, L. (1997). The Use of Benford’s Law as an Aid in Analytical Procedures. Auditing: A Journal of Practice & Theory, 16, 52-67.
(4) Nigrini, M. (1999). Adding Value with Digital Analysis. The Internal Auditor, 56, 21-23.
(5) Nigrini, M. J. 2011. Forensic Analytics – Methods and Techniques for Forensic Accounting Investigations. Hoboken, NJ: John Wiley & Sons.
(6) Nigrini, M. J. 2012. Benford’s Law – Applications for Forensic Accounting, Auditing, and Fraud Detection. Hoboken, NJ: John Wiley & Sons.
(7) Fact and Fiction in EU‐Governmental Economic Data; Bernhard Rauch, Max Göttsche, Gernot Brähler and Stefan Engel; German Economic Review, 2011, vol. 12, issue 3, 243-255.
(8) Comment on “Benford’s Law and the Detection of Election Fraud”; Walter R. Mebane Jr.; Political Analysis (2011) 19:269−272.
(9) Aplicações da lei Newcomb-Benford à auditoria de obras Públicas; CUNHA,Flávia Ceccato Rodrigues da; http://repositorio.unb.br/handle/10482/16379.
(10)Lei de Benford aplicada à auditoria da reforma do Aeroporto Internacional de Minas Gerais; Maurício Soares Bugarin Universidade de Brasília (UnB), Flávia Ceccato Rodrigues da Cunha, Tribunal de Contas da União (TCU) Rev. Serv. Público Brasília 68 (4) 915-940 out/dez 2017.
Sobre o autor:
Edson R. Montoro é Diretor Técnico da ERMontoro Consultoria e Treinamento Ltda, empresa focada no desenvolvimento de pessoas e consultoria nas áreas de melhoria de processo usando Estatística Aplicada e Lean Manufacturing.
O autor é Químico pela UNESP (Universidade Estadual Paulista “Júlio de Mesquita Filho”) – Araraquara, MBA em Gestão Empresarial pela FGV (Fundação Getúlio Vargas), Master Black Belt pela Air Academy Associates, Engenheiro de qualidade pela ASQ (America Society for Quality) e Pós-graduação em Gerência de Produção pela UFSC (Universidade Federal de Santa Catarina).