IPEA, pesquisas, interpretações, prioridades

Tentei de todas as formas evitar falar disso, mas não deu. Vão aqui então meus dois tostões sobre o IPEA e a pesquisa sobre violência contra as mulheres.

Só para contextualizar, não sou produtora de pesquisa, ao contrário de tantos economistas. Sou, no máximo, uma usuária, uma leitora informada. Como qualquer outro brasileiro informado. Nada especial aí. Como usuária, o IPEA faz parte da minha vida desde sempre. Desde que entrei na faculdade, há várias décadas.

Mas vi esse dado de 63% dos homens que acham que a mulher deve ser atacada se usar tal ou qual roupa, o dado começou a bombar, as redes repercutiram e me pareceu curioso. Não pelo dado em si, a gente sabe que vive num país machista pra cacete, e 63% é um número tão bom (ou tão ruim, no caso) quanto qualquer outro - mas por ele ter aparecido numa pesquisa cuja base era um questionário. E por isso fui olhar a metodologia, pra entender como é que eles tinham chegado àquele resultado.

Comecei a olhar e tudo parecia muito estranho. As perguntas, vagas e ambíguas, davam margem a várias interpretações; A grade de intensidade -  estou até agora esperando (sentada) pra que alguém me explique a diferença entre “concorda parcialmente” e “discorda parcialmente”. Parcialmente quanto? quem concorda parcialmente concorda mais do que quem discorda parcialmente? O copo está meio cheio ou meio vazio?

[Sobre isso, deixo com vocês a ressalva de Andréa Moraes, a quem agradeço pelas conversas sobre este texto. Segundo ela,

"o “parcialmente” cabe. Ele serve pra isolar os extremos de concordância e discordância e evitar as não-respostas. É um artifício que pressupõe que a variação entre concordância e discordância é o que merece atenção. Pesquisa de escala de valores não é pesquisa de opinião pública, simplesmente."

Ouço com atenção, mas mantenho minha observação e por enquanto minha opinião a respeito. Não se trata do "parcialmente": trata-se de "discordar parcialmente" ou "concordar parcialmente"(aqui, sobre essa escala). Não consigo imaginar como eu própria responderia a isso. Em que casos escolheria um ou outro. Nem como é que dá para interpretar.]

Daí comecei a questionar a pesquisa nas redes. Mas achava, ainda, que havia algo que eu não estava entendendo: estava à procura de alguma explicação, mais do que fazendo uma crítica fechada. Queria que alguém me dissesse que havia algo que eu não estava percebendo, que tinha um “pulo do gato”.

.

Afinal, era o IPEA. Um instituto que eu aprendi a respeitar ao longo de toda minha vida profissional, o que inclui muitos anos e vários presidentes da instituição. Já fui até assistente de pesquisa lá, por um breve período. Nesses anos todos, eu podia questionar o foco, a abordagem, as premissas de tal ou qual pesquisa; podia contestar a relevância dos resultados, achar - como aconteceu várias vezes - que se estava fazendo muito barulho por nada, que o caminho deveria ser outro. Nunca na vida, porém,  me lembro de haver visto nada parecido com o primarismo dos erros dessa pesquisa aí.

Alguns dias depois, saiu um artigo com comentários de especialistas criticando a pesquisa. E foi aí que eu me dei conta da gravidade da questão.  Um dos especialistas falava especificamente dos problemas referentes à amostra (e eu não tinha visto isso). Cito aqui o trecho do texto referente a isso:

Para o economista Adolfo Sachsida, que já trabalhou na realização desse tipo de estudo para o Ipea, o primeiro e mais grave dos problemas é a amostra da pesquisa. O instituto ouviu 3810 pessoas em todo o Brasil, 66,5% dessas, mulheres, 15 pontos percentuais a mais do que a proporção de mulheres na população geral, de acordo com o último censo, realizado em 2010 pelo IBGE.

— Essa amostra não pode ser usada para fazer inferências para a população brasileira porque ela não tem as características da população brasileira. Isso aconteceu com a pesquisa porque foram entrevistadas pessoas que estavam em suas casas em horário comercial.
 Fiquei realmente admirada. Como é que uma pesquisa que pretende falar de Brasil não toma o cuidado básico de montar uma amostra representativa? Muita irresponsabilidade. Erro primário, gritante. Não é preciso ser estatístico para entender isso. É, como diz Sachsida, o primeiro e o mais grave dos problemas.

Se a amostra não for representativa (e está evidente que não é: basta olhar a proporção de mulheres e homens, diversa da do Brasil), joga fora no lixo. Não serve pra nada. Não dá para usar. A pesquisa começou errado: nada se pode inferir de uma amostra cujas características não espelhem aquelas da população que se pretende estudar. Desmancha e faz de novo. O máximo que se pode dizer é que “as pessoas que responderam à pesquisa acham que”... o que é bem diferente de dizer “os brasileiros acham que”... , não é mesmo. Bem diferente e totalmente irrelevante. Afinal, sei lá eu quem são essas pessoas. O que elas representam.

Como é que o IPEA tinha chegado a isso, meu deus do céu?

Aí esperei, com ansiedade e apreensão,  alguma resposta do IPEA. Que demorou.

E, quando vieram, as respostas foram, todas, pífias. A primeira, de que o responsável estava hospitalizado, me fez rir e me convenceu de que algum problema sério havia. “O responsável” hospitalizado? De uma pesquisa que a presidenta citou? Como assim? Não é o instituto o responsável? Não tem ninguém pra cobrir quando ele não está? (o economista responsável pediu exoneração posteriormente, numa atitude correta diante da extensão dos danos. A meu ver, no entanto, ele foi só um boi de piranha, um bode expiatório. O problema é outro, o buraco é mais embaixo.)

A segunda, onde a instituição “reconhecia o erro”, foi ainda mais bizarra: atribuíam o erro a uma troca de gráficos e de resultados. Ora, esse erro, acredito, não tinha sido apontado por ninguém, já que não poderia ser percebido por quem era observador externo. E, mais importante: diz o IPEA que "As conclusões gerais da pesquisa continuam válidas (...)".

Como assim continuam válidas? E o erro amostral que invalida todo e qualquer resultado dessa pesquisa? Com erro de amostra, não há nada que se sustente. Tem que montar a pesquisa de novo. Isso, caso se trate da instituição que eu me acostumei ao longo de três décadas a considerar séria e responsável.  E não há “falta de foco” que explique: fazer uma pesquisa estatística é fazer uma pesquisa estatística. Cuidar da qualidade da amostra, da relevância e da capacidade das perguntas feitas serem entendidas com facilidade e gerarem respostas claras, e por fim da correta tabulação dos dados. 

 Estatística é matéria auxiliar de quase todos os conteúdos ensinados na universidade, e sua leitura e interpretação fazem parte do cotidiano de tantas carreiras. Além da de jornalistas que lidam com pesquisas todos os dias. E dos institutos de pesquisa de opinião, coisa que o IPEA não é.

A entrevista de Marcelo Neri, atual presidente do IPEA, dá a entender que quem critica a pesquisa tem uma pauta oculta e obscura: não é meu caso. Faço parte das pessoas que gostariam de manter o IPEA como uma instituição cuja credibilidade é sólida. E isso diz respeito não somente ao erro, mas à resposta a ele. A única resposta viável, a meu ver, dada a magnitude do problema, é refazer a pesquisa. Com uma amostra representativa da população brasileiras. Com perguntas cuja formulação não deixe margem a várias interpretações. Com uma tabulação de resultados cuidadosa e checada inúmeras vezes. Com apresentação interna, antes de ser jogada na rua e na boca da sociedade.

 As mulheres, que sofrem todo dia com a violência presente em nossas ruas e em nossas casas nesse país machista como poucos, só se beneficiariam com essa atitude. Essa pesquisa não serve, vambora andar. A violência tá aí e é todo dia. A gente pode e deve militar contra ela, mesmo que não saiba hoje a percentagem exata dos homens que acham que as mulheres devem ser atacadas porque estão de roupa curta.

Deixo, por último, porque ilustra tanta coisa, um trecho de um texto meu cuja base é, aliás, outra pesquisa do IPEA - uma pesquisa que vale a pena citar e repercutir, a meu ver.

“É preciso fazer tudo ao contrário”, diz ela. Digo eu. Desde o começo. Ninguém nasce assassino de mulheres. Essa doença é da sociedade. Começa com um leve desprezo. Começa com um sutil segundo lugar. Começa com um acreditar que se tem direitos sobre o corpo de outrem. Começa com um “prenda suas cabras que meu bode está solto”. Começa com a facilidade de dizer, na hora do sexo, “fica de costas que eu não quero ficar olhando pra tua cara”. Começa com um “se não queria, não era pra ter vindo até aqui”. Não era pra ter sorrido. Não era pra ter me dado bola. Não era pra ter ficado de bunda de fora, usado salto alto de “fuck me”. Não era pra ter ido até o quarto. Não era pra ter namorado comigo, ficado comigo, casado comigo. Não era pra ter desonrado a família, sujado o nome que carrega. Não era pra ter bebido. Não era pra ter olhado pra outro, sorrido pra outro, dado bola pra outro. Não era.