Esta não é uma transcrição fiel ao que foi dito no episódio, mas uma transcrição detalhada da pauta, o que normalmente equivale a 90% do que foi dito no episódio.
Esta pauta foi feita por Igor Alcantara. A vitrine do episódio foi feita por Diego Madeira. O episódio foi apresentado por Nicolli Gautério e participaram, Patrícia Balthazar e Igor Alcantara.
O episódio começa com a vinheta Intervalo de Confiança. A trilha foi composta por Rafael Chino. A voz da vinheta é de Letícia Daquer. A voz com os créditos, ao final do episódio, é de Mariana Lima.
Bloco de Apresentações
Patrícia diz: Olá, hoje vamos começar o nosso primeiro episódio do Intervalo de Confiança, eu sou a Patrícia Balthazar e aqui comigo estão:
Nicolli diz: Eu sou a Nicolli.
Igor diz: e direto de Boston, eu sou o Igor Alcantara.
Patrícia diz: O tema do episódio de hoje como você podem ter percebido pelo título, vamos discutir se os institutos de pesquisas estão mentindo ou não, tudo é manipulado? O episódio começa logo, mas antes vamos para um super rápido quadro de recados e anúncios.
Bloco de Recados
Igor diz:
Não esqueça de visitar nosso site em intervalodeconfianca.com.br e curtir nossas redes sociais:
No Facebook faça parte do nosso grupo Ciência de Dados Brasil e curta nossa página Intervalo de Confiança.
No Twitter, curta o perfil @iConfPod.
Para críticas e comentários, comente este episódio no site ou envie um e-mail para contato@intervalodeconfianca.com.br. Use este e-mail também se você quiser anunciar no podcast Intervalo de Confiança.
Bom, vamos então para o episódio de hoje.
Bloco Introdutório
Patrícia diz: Quem nunca se deparou com alguma mensagem raivosa dizendo “Olha só, o IBGE ou Datafolha ou qualquer sistema sério de pesquisa está mentindo! Eles falam X, mas nessa enquete da Internet mostra o oposto”? E então, o que falar para essa pessoa? Esse resultado coletado faz algum sentido? O que ele indica? Os institutos de pesquisa estão mesmo mentindo?
Bom, aqui tem um problema que esses resultados de Internet normalmente não seguem o critério do que a gente pode chamar de pesquisa. Elas são simplesmente enquetes. Pesquisa é outra coisa e exige uma série de cuidados formais definidos pela estatística.
Enquete
Patrícia diz: Mas o que é uma enquete?
Nicolli diz: Existem diferentes definições de enquete, mas a que vamos utilizar aqui é que uma enquete é uma sondagem mais informal sobre um determinado assunto. E quando a gente falar de abordagem informal, a gente quer dizer que uma enquete não observa os critérios estatísticos corretos e, por causa disso, não tem valor científico algum. A enquete então é basicamente uma sondagem de opinião e normalmente está enviesada e seus dados não podem ser extrapolados para a população como um todo?
Hein? Como assim?
Calma, a gente vai explicar direitinho o que é isso. Vamos dar um exemplo para a gente entende melhor. Imagine que você entra em uma página onde há uma pergunta: qual a melhor série de comédia de todos os tempos? Aí você as opções e elas são:
Friends, Chaves, Seinfeld, Cheers e A Grande Família.
Várias pessoas votam e a série vencedora é … Cheers. Aí você pensa que isso não faz sentido até perceber que a enquete foi feita por uma página de Cultura dos anos 80. Então, claro, que as pessoas que visitam esta página terão uma tendência maior de votar em uma série que foi transmitida nesta época. Isso sem contar que, neste caso, a memória falha e a gente sempre tende a exagerar experiências passadas, achando que as coisas foram muito melhores ou muito piores do que elas de fato foram. Em outras palavras, existe um viés de tempo aqui. Já ouviu aquele “antigamente é que era bom?” Então, é exatamente isso.
Igor diz: Pegando esse exemplo e jogando para a política, se você faz uma enquete de intenção de voto e a publica em uma página com viés de direita, é quase 100% de certeza que um candidato de direita vai ficar na frente. E o oposto vale se for feito por uma página de esquerda.
E isso acontece não apenas pelo fato de que as pessoas que acessam a página terem um viés X ou Y, mas também porque seus seguidores vão compartilhar essa pesquisa entre seus contatos que, provavelmente, têm o mesmo viés.
Por isso, uma enquete, por ser informal, não tem caráter científico e isso é até definido pelo artigo 33 da Lei 9.504/97. Se o que for feito, em termos eleitorais, não obedecer aos critérios de pesquisa, então isso deve ser informado na divulgação dos resultados.
Vamos falar dessa lei então, para que fique claro.
Art. 33. As entidades e empresas que realizarem pesquisas de opinião pública relativas às eleições ou aos candidatos, para conhecimento público, são obrigadas, para cada pesquisa, a registrar, junto à Justiça Eleitoral, até cinco dias antes da divulgação, as seguintes informações:
1 – quem contratou a pesquisa;
2 – valor e origem dos recursos despendidos no trabalho;
3 – metodologia e período de realização da pesquisa;
4 – plano amostral e ponderação quanto a sexo, idade, grau de instrução, nível econômico e área física de realização do trabalho, intervalo de confiança e margem de erro.
Note que no item 4 deste artigo é dito que, entre outras coisas, o instituto de pesquisa precisa informar o plano amostral e ponderação quanto a alguns fatores como sexo, idade, grau de instrução, nível econômico e área física.
Amostragem
Patrícia diz: Bom, mas o que vem a ser uma amostra e porque ela é importante?
Nicolli diz: Imagine que a gente queira saber alguma coisa sobre uma população. Por exemplo, quantas pessoas existem, qual o interesse político delas, orientação sexual, identidade de gênero, renda, se escutam podcast, etc. Qual a forma mais acurada de obter esses resultados? É você fazer um questionário e ir lá perguntar para as todas as pessoas.
Patrícia diz: E a gente chama isso de pesquisa, então?
Nicolli diz: Não, o nome disso é censo. E censo é muito importante e bem antigo. Existem censos sendo feitos desde a antiguidade. Isso é citado até na Bíblia. O motivo que José levou Maria às vésperas do parto para Belém, não do Pará, mas da Judéia, foi para responder a um censo obrigatório. E mesmo antes disso, lá na dinastia Han no Império Chinês já havia o conceito de censo.
Censo então é uma ferramenta importante, só que ele tem um problema: é muito caro fazer isso. Por isso mesmo que no Brasil o censo populacional é feito apenas a cada dez anos, é caro e demanda muita gente trabalhando nisso e bastante tempo de planejamento e processamento dessas informações.
E isso não se aplica apenas a pessoas não. Imagine que eu preciso testar a qualidade do lote de um produto. Não é prático testar todas as unidades do produto. Ou quero saber a água de um lago é própria para ser ingerida. Eu não posso testar todo o volume desse lago. Ou então, digamos que eu fiz uma macarronada e quero provar para se está boa de sal. Eu vou comer ela inteira para saber? Eu até poderia, mas as outras pessoas ficariam com fome.
É por causa disso que existe o conceito de amostra, que é, no caso do macarrão, por exemplo, provar um pedaço dele e tirar uma conclusão sobre todo o macarrão baseado neste pedaço que eu provei.
Patrícia diz: Vamos então fazer uma pequena pesquisa aqui: gente, vocês escutam podcast?
Igor diz: Eu escuto bastante.
Nicolli diz: Mais do que música
Patrícia diz: Eu também mais do que música, eu escuto muito. E qual o melhor podcast que existe? Pensem bem!
Igor diz: Olha, na minha opinião é o Intervalo de Confiança. Sem dúvida.
Nicolli diz: Acho que é o Intervalo de Confiança.
Patrícia diz: Concordo plenamente com vocês. Então a gente pode concluir que, baseado nesta amostra de três pessoas, nós somos o melhor podcast do mundo. Correto?
Igor diz: Baseado no nosso gosto pessoal sim, mas baseado na estatística, não.
Uma amostra não pode ser feita sem critério. A ideia de uma amostra é que podemos pegar dados de uma parcela pequena da população e, baseado nisso, tirar conclusões sobre a população como um todo. Só que para isso, essa amostra tem que ser representativa da população. Se sua amostra não seguir bons critérios, ela pode ser enviesada e ela não representa a população, mas apenas uma parcela dela.
Nicolli diz: Um exemplo disso foi o que falamos no nosso episódio piloto, onde a pesquisa usou apenas pessoas da Universidade como voluntários. Então o resultado ficou dentro de uma bolha. A gente então não pode falar que aqueles resultados se aplicam à população em geral.
Comentário sobre a transcrição: Mais pontos foram discutidos livremente que não constam na pauta. E Patrícia explica um pouco sobre seu projeto de pesquisa.
História
Nicolli diz: Sobre pesquisa, amostragem, censo e tudo mais o que estamos falando aqui, é difícil falar quem foi de fato que criou toda essa teoria já que isso aconteceu com a contribuição de diversos cientistas ao longo dos séculos.
Eu não vou aqui detalhar toda a história por trás porque no futuro nós teremos um episódio sobre a história da estatística e análise de dados, onde vamos falar de Napoleão até John Snow, mas resumindo um pouco, já na idade média a gente tinha o uso até comum de amostragem estatística.
E não só no ocidente, muita contribuição veio da Índia e do Oriente Médio. Por exemplo, Ibn Adlan, que viveu entre os Séculos XII e XIII, contribuiu muito para as teorias de tamanho da amostra.
Igor diz: Na Inglaterra nesse mesmo Século XII, usava-se o conceito de amostragem estatística para medir a qualidade média das moedas da coroa britânica. Isso porque na época era comum que as pessoas rasparem o entorno de uma moeda para extrair dali um pouco do metal do qual elas eram feitas. Falando em média, esse é um conceito que vem da Grécia Antiga, mas ele ficou popular apenas no Século XVI quando Simon Stevin inventou o sistema decimal.
E mais recentemente, pesquisas com amostragem se tornaram mais próximas do que a gente conhece hoje quando o chamado pai da estatística moderna, Ronald Fisher, criou o conceito do teste de hipótese baseado em amostras aleatórias no seu clássico livro “The Design of Experiments” de 1935 que, junto com outro livro de dez anos antes, “Statistical Methods for Research Workers” formam a base de muito da pesquisa científica hoje em dia.
Patrícia diz: Aliás, conforme a gente já falou, esse primeiro episódio está saindo nesta data por ser o aniversário da morte do Fisher.
E falando especificamente de pesquisa eleitoral, a primeira vez em que ela foi usada foi na campanha presidencial dos Estados Unidos de 1824 entre Andrew Jackson e John Quincy Adams pelo jornal The Harrisburg Pennsylvanian mostrando a intenção de voto de eleitores naquele estado. Aquela pesquisa deu a vitória ao Jackson, mas quem venceu foi o Adams, só que isso popularizou a ideia. Inclusive, em 1916 a pesquisa que acertou a vitória do candidato democrata Woodrow Wilson foi feita através do envio de milhões de cartões para as pessoas pelo correio já com postagem de retorno paga. Elas tinham que simplesmente marcar em quem iriam votar e retornar o cartão. Eles contavam os que retornaram e publicaram o resultado. E isso antes de muito do que a gente conhece hoje de estatística moderna.
Tipos de Amostragem
Patrícia diz: Mas ok, voltando ao assunto principal, já sabemos que precisamos de uma amostra que seja baseada em critérios estatísticos sérios. Só que como eu defino minha amostra?
Nicolli diz: Bom, vamos começar então falando dos diferentes tipos de amostra. A forma mais correta de se trabalhar com amostragem é usar métodos que nós chamamos de Probabilísticos, mas existe também os métodos Não Probabilísticos.
Basicamente um método não probabilístico é aquele que não se utiliza as teorias da probabilidade para obter a amostra. Por exemplo, digamos que você está em um supermercado e quer saber se as pessoas gostam de um determinado produto. Você então para algumas dessas pessoas para fazer suas perguntas. A decisão de quem perguntar ou não é sua e depende de fatores como: que pessoas que foram naquele dia e naquele horário ao supermercado e quiseram falar com você. Neste caso, a gente chama esse tipo de amostragem de Acidental.
Ou, de repente, tu quer fazer uma pesquisa sobre modelos de carro e entrevistas apenas mecânicos. Ou sobre pontos fortes e fracos de uma novela e pesquisa apenas donas de casa. Aqui a gente chama de uma Amostragem Intencional.
Tem outros tipos de amostragem não probabilística, mas o importante é que neste caso a seleção da amostra depende muito do julgamento do pesquisador.
Igor diz: Falando dos métodos Probabilísticos, a ideia é que a amostra seja aleatória. E aleatória basicamente quer dizer que cada elemento da população tem a mesma chance de ser escolhido. Nada no seu método de amostragem pode privilegiar uma pessoa em detrimento da outra.
Quando você sorteia elementos aleatórios para compor sua amostra, a gente fala que você tem uma Amostra Aleatória Simples. Tem um outro tipo em que a população segue uma determinada ordem, como a fila de um banco ou uma linha de produção. Aí o pesquisador entrevista ou analisa um em cada 10 elementos, por exemplo. Então ele verifica o décimo, o vigésimo, assim por diante. Aqui é o que a gente chama de uma Amostra Sistemática.
Existem vários outros tipos, mas eu vou citar só mais um que é o Estratificado. Neste caso, você separa a população por categorias, ou estratos, e coleta amostras aleatórias dentro de cada extratos. Digamos, por exemplo, que você divide em 4 extratos: Homens Jovens, Homens Adultos, Mulheres Jovens e Mulheres Adultas. Você terá então 4 amostragens diferentes.
Nicolli diz: A gente usa uma amostragem estratificada quando um tipo é mais difícil de encontrar do que outro e a gente precisa adotar um método diferente para obter aquela informação. O modo estratificado tem alguns problemas, como um que é chamado da Maldição da Dimensionalidade, mas isso a gente aborda melhor em um episódio futuro.
A ideia é, mais uma vez, que cada pessoa tem igual chance de ser escolhida. E isso tem a ver também com a forma de pesquisa. Se você fizer apenas pesquisa por telefone, você provavelmente está privilegiando um grupo em detrimento do outro. Se fizer só pela Internet, a mesma coisa. Se for na rua entrevistar, mas for apenas em um horário, a mesma coisa. Então tudo isso tem que ser levado em consideração quando a gente for planejar a amostragem.
Margem de Erro e Intervalo de Confiança
Patrícia diz: Pois é, mas não é só a forma de obter a amostra que importa, mas é também quantos elementos você vai obter na sua amostra. Em outras palavras, qual o tamanho da sua amostra. Digamos que quero fazer uma pesquisa sobre preferência eleitoral no estado de Minas Gerais. Qual o tamanho de uma amostra boa? Mil pessoas, duas mil? Bom, a amostra pode ser aleatória, mas o tamanho dela não é. Ela pode ser calculada e tem uma fórmula para isso!
E a fórmula para calcular o tamanho da amostra está intimamente ligada com o que a gente chama de margem de erro. E que é Margem de Erro?
Nicolli diz: Margem de Erro, basicamente, a ideia de que, por mais que sua amostra seja boa, ela não é tão boa quanto a população em si. O que eu quero dizer é que uma amostra tenta estimar o valor que vai ser encontrado na população e é esperado que ela não encontre o valor exato da população, mas um valor próximo. E quanto maior for a amostra, mais próximo desse valor da população será a amostra.
E essa diferença entre o que a amostra mostrou para o que de fato está na população é o que a gente chama de Margem de Erro. Então eu vou repetir, quando maior o tamanho da amostra, menor a margem de erro.
Para saber o tamanho da amostra, a gente precisa então de algumas informações. E elas são principalmente o Tamanho total da População, para a gente saber o quão perto da população a amostra está, qual a margem de erro que queremos trabalhar. Por exemplo, o IBGE trabalha com margem de confiança de 3%, já o DataFolha com 2%. Então sabemos que o DataFolha precisará entrevistar mais pessoas. No caso de uma pesquisa eleitoral, o tamanho da população seria o número total de eleitores.
Além disso a gente precisa definir o que chamamos de Nível de Confiança. Não confundir Nível de Confiança com Intervalo de Confiança. Nível de Confiança é também definido como uma porcentagem. Para entender melhor, eu vou dar um exemplo. Digamos que eu defina que meu Nível de Confiança é de 95%. Isso quer dizer que, se eu repetir o experimento e coletar novas amostras com aquele mesmo tamanho, o resultado encontrado estará próximo ao valor real separado apenas pela margem de erro em 95% das vezes.
Igor diz: Então digamos que meu nível de confiança é esse de 95%. Aí eu faço uma pesquisa e descubro que 70% das pessoas gostam de um produto A e minha margem de erro é de 5%. Nesse caso, se eu refizer essa pesquisa, eu vou encontrar um valor que varia de 65% a 75% em pelo menos 95% das vezes. E esse intervalo de 65% a 75% é o que dá o nome desse podcast. Este é o Intervalo de Confiança.
Sabe quanto no jornal aparece “Candidato Fulano está com 30% das intenções de voto podendo variar 3% para cima ou para baixo”? Então, a Margem de Erro é de 3% o Intervalo de Confiança é de 27 a 33%.
Aí você aplica uma fórmula complexa que envolve outros detalhes e obtém o tamanho da amostra necessário para obter aquela margem de erro desejada. A fórmula a gente vai colocar no post deste episódio para você dar uma olhada, mas na prática as ferramentas que a gente utiliza para trabalhar já têm funções prontas para calcular isso.
Para exemplificar, digamos que um local possui 1 milhão de eleitores. Qual o tamanho de minha amostra para um nível de confiança de 95%?
Nicolli diz: Bom, neste exemplo, se sua amostra for de 100 pessoa, sua margem de erro é de 10%. Não muito bom, já que isso dá um Intervalo de Confiança que varia por volta de 20%. Se você entrevistar 500 pessoas, sua margem de erro cai para 4.5%, se forem 1000 pessoas, essa margem vai a 2.2% e se você entrevistar 10,000 pessoas ela chega a incríveis 1% apenas.
Claro que isso seguindo a regra de aleatoriedade que a gente falou. E lembrando que deixando uma pesquisa no local em que as pessoas tem que ir até lá opinar não se encaixa como aleatório porque você vai pegar apenas as pessoas mais engajadas, já que é preciso um certo engajamento para você de forma voluntária e espontânea decidir fazer isso.
Patrícia diz: Então, entendeu agora como que uma enquete não tem valor nenhum? E que errar é algo esperado em uma pesquisa? Não só esperado, como a gente calcula o quanto pode errar.
Ah, gente, mas o instituto de pesquisa erra bem mais do que isso? Eles estão manipulando tudo! Não estão?
Calma. A gente tem que entender que em muitos casos uma pesquisa ela mede um momento. Falando de eleição, por exemplo, a maioria das pessoas define voto ou mesmo muda de voto nas últimas 48 horas antes da votação. Então se uma pesquisa falou que Fulano teria 30% e ele aparece no final com 40%, não é necessariamente que a pesquisa está errada. Pode ser que as pessoas mudaram de ideia ou até mesmo que muita gente no dia nem foi votar.
Igor diz: Além disso, tem tipo de pesquisa que o pesquisado mente para o pesquisador. No caso da eleição americana, quando as pessoas eram perguntadas na frente de outras, elas mentiam dizendo que iriam votar na Hillary porque elas tinham vergonha de dizer que votariam no Trump. A mesma coisa em pesquisa sobre sexo. As pessoas tendem a mentir dizendo que fazem mais sexo do que de fato fazem. E muitas vezes elas mentem porque leram de uma pesquisa anterior que as pessoas fazem sexo uma determinada quantidade de vezes por semana e ela não quer ficar por trás. Ou mesmo na pesquisa de um produto. Muita gente não vai falar mal de um produto para um pesquisador com medo de ofender.
Nicolli diz: Então cuidado. Pode ser que uma pesquisa tenha a metodologia errada ou mesmo seja adulterada de propósito, mas isso é bem difícil de fazer sem que os outros percebam. Então, antes de afirmar qualquer coisa, veja primeiro como a pesquisa foi feita. Se for uma pesquisa eleitoral, ele precisa ser obrigatoriamente registrada no TSE ou nos Tribunais Eleitorais regionais. Veja se existe esse número de registro. Se não existe, eles já estão cometendo uma ilegalidade. Depois disso, veja se é um instituto respeitado, com uma reputação a zelar e tente ler e entender a metodologia usada, como os dados foram coletados, etc. Se não tiver nada disso, então não é pesquisa.
Esse episódio não quis esgotar o assunto, apenas jogar um pouco de luz sobre isso.
Quadro Desvio Padrão
Patrícia diz: E agora nós chegamos na hora do quadro Desvio Padrão. Para quem ainda não sabe, este quadro é um prêmio dado a cada episódio para algum dado que foi divulgado ou interpretado de forma errada, ou distorcido ou onde a parte científica foi ignorada e isso gera ou um exagero do que está sendo mostrado ou mesmo mostra algo que é completamente mentiroso. Não necessariamente será um assunto recente. E no caso deste episódio, não é mesmo. Então Igor, quem é o vencedor de hoje?
Igor diz: É com muita honra e alagria que eu anuncio o vencedor. Como falamos muito de eleição, o Troféu Desvio Padrão de hoje vai para as últimas pesquisas eleitorais dos Estados Unidos em 2016 que erraram muito acima de qualquer um dos argumentos que apontamos aqui.
Na véspera daquela eleição a maioria dos especialistas em pesquisas eleitorais nos Estados deram que a Hillary Clinton iria ganhar. Nate Silver do site FiveThirtyEight falou que essa chance era de 71%, o New York Times afirmou que essa probabilidade era de 84%, mas no final quem venceu foi Donald Trump.
A gente falou bastante aqui que aumentar o tamanho da amostra, desde que ela seja aleatória de fato, aumenta a qualidade de uma previsão. Só que às vezes a gente vê casos onde isso não acontece e esse foi o erro aqui.
Quando o erro persiste mesmo que você adicione mais dados, isso significa que você tem um erro sistemático. O que isso quer dizer é que sua metodologia é falha. E em uma metodologia falha, mais dados não vão resolver o problema.
Comentário sobre a transcrição: Mais pontos foram discutidos livremente que não constam na pauta. Nicolli comentou sobre as pessoas mentirem que iriam votar na Hillary Clinton.
Igor diz: Neste caso, o que aconteceu foram basicamente duas coisas:
1 – A demografia do eleitorado americano mudou, o número de eleitores latinos do sul aumentou e, apesar dos discursos do Trump, eles tendem a ser mais conservadores e tradicionalmente votam em republicanos. As amostras se baseavam sem censos anteriores e essa população não estava bem representada nas amostras.
2 – Só que o principal motivo não foi esse, mas duas coisas combinadas: todo mundo que dizia que iria votar no Trump de fato votou nele. O voto na Hillary era menos garantido. Algumas pessoas não assumiram que votariam no Trump por vergonha e muita gente que votaria na Hillary não foi votar no dia por achar que não precisava e que a eleição já estava garantida. A mesma coisa aconteceu com o Brexit.
Comentário sobre a transcrição: Mais pontos foram discutidos livremente que não constam na pauta.
Igor diz: Com exceção de poucos institutos de pesquisa que usaram bastante o telefone onde a pessoa não precisava dizer o voto, mas apertar uma tecla, a maioria não levou essas questões em consideração e erraram feio e por isso merecem o nosso prêmio, mesmo após anos de atraso.
E isso nem foi a primeira vez que um erro tão grande aconteceu. Um caso que ficou famoso foi o da eleição presidencial de 1948 disputada entre o democrata Harry Truman e o republicano Thomas Dewey. As pesquisas davam a vitória a Dewey. Durante a apuração, o jornal Chicago Daily Tribune precisava fechar a matéria de capa logo para dar tempo de imprimir o jornal e enviar para as bancas, então eles confiaram nas pesquisas e afirmaram na capa que o Dewey tinha vencido.
Só que na realidade o Truman ganhou e hoje ficou famosa uma foto dele sorridente segurando uma cópia do jornal falando da vitória de seu oponente logo após saírem os resultados oficiais. Para quem estiver curioso, vamos colocar essa foto no post desse episódio.
Quadro Espaço Amostral
Patrícia diz: E chegamos ao final do episódio. Só que antes de encerrar, nós entramos agora no quadro ESPAÇO AMOSTRAL, onde cada um indica alguma coisa bacana que esteja vendo, lendo ou jogando. Vamos começar então pela Nicolli. Nic, o que você indica para nossos ouvintes?
Comentário sobre a transcrição:
Indicação do Igor foi o livro O Caminhar do Bêbado de Leonard Mlodinov.
A indicação da Nicolli foi o livro “Subliminar” também do autor Leonard Mlodinov.
A indicação da Patrícia foi o livro “O Código Élfico” de Leonel Caldela.
Bloco de Encerramento
Participantes se despedem.