Avaliação de impacto e o problema do contrafactual

Nesse post vou falar um pouco sobre o tópico que mais ocupa o meu tempo: avaliação de impacto de políticas públicas e projetos em geral.
Para entender do que se trata suponha que você identifique que uma rede escolar tem turmas numerosas, formação inadequada para os professores e não tem biblioteca. Suponha, adicionalmente, que o gestor responsável por essa rede tem um orçamento suficiente apenas para investir em um (ou dois) desses quesitos, mas não nos três simultaneamente. Qual(s) deles deve priorizar? E, sabendo qual é prioridade, qual a melhor forma de resolver o problema?
Essas são algumas das questões que passam pela cabeça de qualquer gestor, no setor público ou privado. Os gestores são cobrados por resultados, mas raramente tem as ferramentas necessárias para a tomada de decisão consciente. Vamos considerar três maneiras que o gestor pode lidar com o problema:
1 – Seguindo sua intuição e das outras pessoas que trabalham na equipe;
2 – Implementando um projeto e olhando o “antes e o depois”;
3 – Fazendo uma avaliação de impacto

1 – A intuição é a forma mais usada de tomar decisões em projetos.

E por “intuição” eu defino como ideias que possam sair direto da cabeça de uma pessoa (no caso, do gestor responsável) ou que foram debatidas por várias pessoas. Portanto, uma ideia pode ser politicamente validada por um processo “democrático” ao ser resultado do debate de vários pensamentos e mesmo assim ser “intuição”, no sentido de que não é baseada diretamente em critérios científicos e empíricos.
Isso não significa que ideias boas não saiam das “intuições”. Aliás, toda boa ideia nasce do debate. Meu ponto aqui é que impossível sabermos se a ideia é boa ou não antes de ir para o campo e implementar a ideia. E quando descobrirmos se tal ideia funciona, milhões de reais foram gastos e o problema inicial pode ter se agravado.

Alguém poderia me lembrar que a experiência dos gestores pode suprir essa lacuna. Mas isso é só meia verdade. Primeiramente, porque os problemas mudam de perfil a cada geração e a experiência pode não ajudar nos problemas novos. Vejamos como exemplo a questão da introdução de novas tecnologias em sala de aula. Cada software ou hardware implementado tem uma dinâmica distinta, com impactos heterogêneos, impossíveis de serem previstos sem um “análise adequada”. Em segundo lugar, a experiência pode dar uma boa ideia dos tipos de problemas que podem surgir em um projeto mas não de quais problemas exatamente. Isso porque os projetos tem efeitos distintos conforme o ambiente organizacional, o contexto socioeconômico e o próprio timing de implementação do projeto.
2 – O “antes e o depois” deixa de fora o contrafactual

Analisar o antes e depois de uma política leva em consideração os resultados no campo e isso é algo positivo. Assim, antes de um gestor desenhar um programa para toda a rede, ele pode escolher algumas escolas como “piloto” (ou teste) e comparar os efeitos da intervenção nessas escolas.
Mas há um grande problema com tal prática. É o que chamamos de raciocínio de contrafactual. A questão não respondida e fundamental é: o que teria acontecido a esse mesmo conjunto de escolas caso tal intervenção não ocorresse?
Se você está pensando que a resposta é óbvia, ou seja, “teria ocorrido o resultado inicial ou antes da implementação do projeto”, aguarde um pouco. Tomemos como um exemplo um programa de formação continuada de professores de 1 ano de duração.
No início de 2015, a secretaria de educação vai às escolas selecionadas para participar do programa e recolhe as informações de interesse na avaliação como, por exemplo, taxa de reprovação dos alunos ou proficiência. Logo em seguida, uma equipe contratada pelos gestores desenvolveu um treinamento de dois meses com os professores em um total de 48 horas. Um ano após o fim do treinamento, funcionários da secretaria voltam às escolas e coletam novamente informações sobre reprovação e proficiência. No final, basta comparar o antes e o depois para ver se houve evolução por conta do projeto. Certo?
Errado!! Não temos como saber se a variação no desempenho dos alunos ocorreu por conta do programa de treinamento ou porque alguma outra coisa ocorreu durante o ano como os livros didáticos ficaram melhores, os alunos se sentiram mais motivados porque o Palmeiras montou uma equipe mais eficiente ou simplesmente foi o caso de haver um aumento na renda das famílias com filhos na escola e isso impactou o resultado nos exames.
Como então subsidiar as decisões do gestor? Com as avaliações de impacto, conforme discuto rapidamente abaixo.

3 – Avaliações de impacto são uma maneira eficiente e cientificamente robusta de se decidir entre intervenções

As avaliações de impacto são um procedimento originalmente da medicina. Para decidir se uma nova droga (=remédio) tem os efeitos esperados e não traz contraindicações alarmantes, laboratórios selecionam dois grupos para participar de testes: um grupo que será chamado de tratado (porque recebeu o tratamento) e outro que tem o nome de controle (porque não recebeu o tratamento mas fará parte do estudo para fins de comparação).
O grande segredo dessas avaliações é que dentro de um conjunto de pessoas que os pesquisadores querem avaliar eles selecionam quem será tratado e quem será controle por meio de um sorteio (aleatorização). Assim, como foi a sorte que definiu a participação no tratamento temos a garantia de que estamos comparando grupos iguais.
Assim como no caso anterior, aqui também se faz uma análise “antes e depois”. A diferença é que como se faz para quem participou do tratamento e para quem não participou podemos responder à pergunta que lancei anteriormente: o que teria acontecido com o paciente caso não tivesse recebido o tratamento? Neste caso, basta olhar para o grupo de controle. Temos, portanto, o contrafactual.
É crescente a utilização dessa metodologia na implementação de políticas públicas no Brasil, embora haja muito espaço para crescimento. Uma das resistências a avaliação é o seu custo, basicamente, o custo de coletar informações no campo (questionários, algumas vezes testes com alunos ou professores, etc). Outra questão levantada é o tempo, já que alguns gestores não querem esperar um ano para implementar o projeto inteiro.
Todas essas são questões assimiláveis, mas é fundamental compreender que essa é a forma mais segura de se implementar um projeto de sucesso e que comparável ao custo de um projeto que fracassa, o tempo e custo de uma avaliação de impacto são bastante adequados para um projeto.

renanpieri

Deixe uma resposta

O seu endereço de e-mail não será publicado.