Ir para conteúdo

Biblioteca

Avaliação de Resultado e de Impacto

Aula sobre Avaliação de Resultado e de Impacto ministrada por Ricardo Paes de Barros.



Avaliação de Resultado e de Impacto - Parte 02

Avaliação de Resultados versus Avaliação de Impacto

Ir para a transcrição do vídeo

Transcrição

00:00 a 00:08 (Vinheta de abertura)

Imagem: Vinheta de abertura. Ilustração de um mapa múndi na cor azul clara ocupa toda a tela. A logomarca da Fundação Itaú Social aparece ao centro e alguns ícones na cor branca aparecem formando um círculo central ao redor da logomarca. A logomarca desaparece, dando lugar ao texto em azul escuro: “Curso Avançado de Avaliação de Políticas Públicas e Projetos Sociais”. Na sequência, os textos são substituídos por um retângulo grande azul escuro na parte central da tela. Dentro dele, está escrito: “Avaliação de Resultado e de Impacto, Professor Ricardo Paes de Barros, 20 de Janeiro”. Abaixo do retângulo, também em azul escuro, o texto “Avaliação de resultados versus avaliação de impacto”.

Áudio: trilha moderna percussiva.

00:09 a 24:28 (Ricardo Paes de Barros)

Imagem: Professor Ricardo Paes de Barros, da Fundação Itaú Social, está à frente de uma sala de aula com um telão e lousa verde atrás dele. Ele está de pé e apresenta os conteúdos olhando para a turma.

Áudio Professor: Uma coisa que eu queria falar para vocês é o seguinte: este aqui é um curso sobre a avaliação de impacto. É curioso! Vocês já viram qual o nome do SAEB? O nome do SAEB se chama “Sistema de Avaliação da Educação Básica”. Você não acha que o SAEB está avaliando o impacto de nada! Se você pegar a ANA, que é a “Avaliação Nacional de Alfabetização”, que infelizmente os resultados deram tão negativos que o governo resolveu parar com a ANA! Uma coisa maluca! Qual o problema? O problema, em certo sentido, a gente perdeu alguma coisa na tradução. Se você olhar o que é o PISA, o PISA é um programa internacional para assessement (acesso). Então, o SAEB e a ANA não são sistemas de avaliação. Eles são sistemas de assessement (acesso). Em inglês, tem-se o assessement e o evaluation. E a gente traduziu essas duas coisas como “avaliação”. A gente fez uma tremenda mistura! Quando se fala de avaliação com o secretário de educação, ele fala assim: “eu acabei de contratar o CAED. Eu estou avaliando todos os meus alunos”. Aí você fala: “mas eu estou querendo fazer uma avaliação de impacto!”. Se você conversar, por exemplo, com a secretaria estadual do Rio de Janeiro, que a gente tem lá o Serginho, ele vai falar: “eu não só avalio todos os meus alunos, mas eu avalio a cada bimestre. Em todo bimestre, eu avalio todos os meus alunos!”. Então, o que a gente tem que entender aqui é o seguinte: antes de a gente chegar na avaliação de impacto, a gente tem que ser capaz de medir todos aqueles resultados. Tem uma coisa que se pode chamar de “avaliação do resultado”. Eu preciso medir os resultados de interesse para cada meta minha, do meu programa. Isso é típico de um sistema de monitoramento de vigilância. O Ministério da Saúde tem um sistema de vigilância impressionantemente sofisticado. Várias doenças que são de declaração obrigatória, ou seja, qualquer pessoa que for detectada com aquele agravo, aquela doença, em qualquer lugar do Brasil, é imediatamente reportado. E tem um sistema lá no Ministério da Saúde, em tempo real, com essa estatística lá. E o cara está acompanhando o que está acontecendo com o número de casos disso o tempo todo. É por isso que, qualquer nova doença que aparece, a gente sabe muito rapidamente quanto casos a gente está medindo. Ou seja, tem um sistema de vigilância que obviamente está avaliando isso. Se você disser para os caras da Saúde que eles não estão avaliando, eles não vão entender nada! O que eles estão fazendo é que não estão avaliando impacto! Então, a primeira coisa é o seguinte: você precisa medir os resultados. Se você não tiver um sistema que mede os resultados, você estará em sérios apuros porque você não vai conseguir fazer uma avaliação de impacto. Agora, o que é a avaliação de impacto? Primeiro, pode-se ter o SAEB sem nenhuma intervenção em mente. Eu simplesmente estou chegando no final do ano letivo e medindo quanto os alunos sabem de Matemática, Língua Portuguesa, Ciências ou no que eu quiser medir. A avaliação de impacto não existe sozinha. Ela tem que ser a avaliação do impacto de uma dada intervenção. Então, toda avaliação de impacto é uma avaliação do impacto de alguma coisa. E o que a avaliação de impacto faz? Ela isola. Por exemplo, o cara faz o SAEB hoje e faz SAEB daqui a um ano. A Prova Brasil, por exemplo. Não se faz a Prova Brasil no aluno em um ano e no mesmo aluno no ano seguinte. Ela fica na mesma série. Só o aluno que repetiu aquela série é que ele faz de novo a mesma prova. Caso contrário, tem-se que pegar a Prova Brasil de quatro anos separados. E mesmo se pegar quatro anos separados, vai ter aluno que repetiu e você não vai pegar direito! Suponha que você fez uma coisa longitudinal e que você pegou os mesmos resultados para estes alunos e os mesmos alunos quatro anos depois. Isso é a variação total no seu resultado. O que você quer medir como impacto é quanto dessa variação é o resultado do seu programa. Aí fica uma discussão. Isso é fácil dizer para as pessoas: “ok, a mortalidade infantil caiu no Brasil, a mortalidade infantil caiu aqui no seu município. Eu quero saber qual foi a contribuição do programa que você fez, como por exemplo o de agentes comunitários de saúde, sobre essa queda?” Qual foi a contribuição do seu programa para essa queda na mortalidade infantil?”. O cara mais ou menos entende. Mas aí, se ele te falar assim: “me explica melhor. Que história é essa de impacto? Entendi essa historinha da minha contribuição para essa queda, mas o que exatamente significa essa coisa da “minha contribuição para essa queda”? Aí você vai explicar para ele com os célebres contrafactuais! Se o programa já foi implementado, você diria para ele: “é o que aconteceu comparado com o que teria acontecido se você não tivesse implementado o seu programa”. Aí ele vai dizer: “Te peguei! Porque eu ainda não fiz o programa!”. Daí você: “não tem problema, eu consigo definir também, porque vai ser o que aconteceu comparado com o que teria acontecido se você tivesse implementado o seu programa”. Em um você está calculando o impacto sem a intervenção. O outro você está comparando com intervenção. Não tem problema! A questão que fica é essa aqui embaixo! Que eu queria problematizar um pouco com vocês porque eu acho que, às vezes, na econometria disso, a gente chama uma coisa, sei lá, de “Y1”. Uma outra coisa de “Y0”. Então, “Y1” é o que aconteceu na presença. “Y0” é o que teria acontecido na ausência. A diferença dos dois é o impacto! Resolvido o problema. Só que isso é um pouco mais complicado. O que teria acontecido na ausência da intervenção? Vamos dizer que você vai dar um programa de qualificação, um Pronatec para o cara. O cara que fez o Pronatec, ok! Eu sei o que aconteceu com ele. Aí eu vou comparar o que aconteceu com o cara que recebeu o Pronatec com o que teria acontecido com ele se ele não tivesse tido acesso ao Pronatec. Mas eu ainda não especifiquei direito o que teria acontecido com ele se ele não tivesse tido acesso ao Pronatec. Porque se ele não teve acesso ao Pronatec e aí ele bateu na porta do Senai. E o Senai falou que tem uns cursos gratuitos, que por acaso são iguais ao do Pronatec. E aí ele faz esse curso! Aí você está comparando ele fazendo o Pronatec com ele fazendo esse outro curso do Senai, que é igualzinho ao do Pronatec. Logo, o impacto do seu programa é zero. Por que o impacto do seu programa é zero se você fizer dessa maneira? Você está em um município anti PT que diz o seguinte: “vocês fizeram Pronatec? Vocês fizeram uma parceria com o Itaú? Vocês contrataram a FGV ou qualquer outra instituição para fazer uma avaliação de impacto? Legal, eu vou dar Sistema S para todo mundo aqui! E ai eu quero ver qual vai ser o impacto de vocês!”. Ou seja, você tem um município onde todo mundo tem acesso ao Sistema S. Aí, chega lá o governo federal e diz: “aqui tem o Pronatec! Quem que se registou no Pronatec?”. “Eu!”. “Tá bom! Você vai ter vaga naquela turma!”. Então, naquela mesma turma que você está freqüentando tem um monte de outros alunos que estão em um outro programa, que foi pago pela prefeitura, que é o mesmo curso! Qual o impacto do seu programa? Zero. A questão é: você está avaliando o impacto do quê? Você está avaliando o impacto de fazer um curso “tipo Pronatec”, onde o seu grupo de controle não pode fazer um curso tipo Pronatec. Se não, você estará avaliando o Pronatec! Ou se você está avaliando o impacto de um programa, de um governo federal, sem controle, que está oferecendo um programa no lugar que o mesmo programa também é oferecido! Obviamente, o impacto de oferecer um programa que já é oferecido vai ser zero! Porque o programa já é oferecido, ninguém precisa do programa dele. O programa dele é simplesmente é um crowding out perfeito. “Qual o impacto sobre meu filho da USP não cobrar mensalidade? Zero”. Porque se ela cobrar, ele vai continuar estudando lá. Se ela não cobrar, ele vai continuar estudando lá. Então, não tem impacto nenhum. Essa é a própria definição de crowding out. Então, não é trivial, por exemplo, você definir essas alternativas. Às vezes, calcula-se o impacto de um programa de qualificação em um lugar e aí não dá impacto. Aí calcula-se o impacto do programa de qualificação em outro lugar e dá impacto. Aí se acha que aquilo é uma heterogeneidade. Mas, parte dessa heterogeneidade não é heterogeneidade do impacto! É heterogeneidade da alternativa. Eu vou mostrar para vocês um programa de creche, que a gente chega à seguinte conclusão. A gente aleatorizou todas as crianças em creches no Rio de Janeiro. Aí, o que acontecia? Em certas áreas do Rio de Janeiro, dava um tremendo impacto, em outras não dava. Por quê? Você pode dizer o seguinte: “porque as famílias eram de um jeito, em outras era de outro jeito”. É uma heterogeneidade do beneficiário. Talvez se você olhasse direito, pensaria o seguinte: “em um lugar, tem uma ONG que está oferecendo alternativamente uma creche gratuita de boa qualidade”. Se o cara não foi sorteado na creche pública, ele vai pra essa ONG. Daí o meu impacto aqui é relativo a essa ONG. Na outra, não tem nada, a criança fica abandonada em casa! Obviamente que o impacto vai ser completamente diferente no lugar em que eu estou. Então, isso é uma coisa que, muitas vezes, a gente ignora que o impacto é sempre o resultado de se ter participado de um programa comparado com outro programa que se faria se não fizesse esse programa. Muitas vezes, a gente fica muito contente. Vou mostrar para vocês aqui várias avaliações de impactos experimentais, onde eu estava muito contente de que eu tinha conseguido aleatoriamente pegar algumas pessoas e colocar no programa; e as outras pessoas tinham ficado sem o programa. Eu estou cada vez mais convencido de que qualquer avaliação desse tipo não vai ser tão boa, porque vai gerar uma heterogeneidade gigantesca porque não se tem nenhum controle sobre o que as outras pessoas estão fazendo. Então, no caso de creche, eu passei vários anos depois coletando os dados e perguntando para as crianças como elas eram beneficiadas. E tinha tudo e qualquer coisa! Tinha pai que botava criança em uma creche privada, tinha pai que resolvia ficar o dia inteiro em casa e cuidava da criança até melhor do que a criança seria cuidada na creche, tinha pai que abandonava a criança, tinha qualquer coisa! Então, o que eu aprendi? Talvez a melhor coisa e que é o que o pessoal faz em Medicina: “tratamento eu sei! Eu dei o programa! O controle? Se vira! Não quero nem saber! Não fala comigo! Só falo com você para responder o questionário aqui da linha de base do segmento! Problema teu!”. A melhor coisa é a seguinte: dar um programa para o tratamento e dar outro para o controle, porque aí você tem controle sobre o que o controle está fazendo! Então, arranja alguma coisa que o controle está fazendo porque aí você vai poder dizer, com certeza, para as pessoas que você está calculando o impacto do quê. Caso contrário, você está calculando o impacto de “A” contra “B” desconhecido. O que não é nada! Porque, às vezes, a gente pensa que o impacto do programa de qualificação profissional é o impacto do programa comparado com o que teria acontecido com aquele ser, se eu tivesse congelado aquele cara durante as 800 horas do programa; e depois das 800 horas, eu vou lá, descongelo e acorda ele de novo. Mas não! É muito comum, em um programa de qualificação profissional, o impacto ser negativo sobre o emprego. Isso é conhecido como o buraco ou deep do Ash Felter. Isso foi muito encontrado nos Estados Unidos, que era o seguinte: “você não me deu o programa de qualificação? Não. Ok, então eu vou começar a procurar emprego desesperadamente! Durante todo esse tempo que você está assistindo aula, eu estou procurando emprego. E o pior! Você que está assistindo aula, você está crente que aquele curso vai te dar emprego! Enrtão, você nem procura. Ah, esse curso aqui vai me dar um diploma! Vai chover gente batendo na minha porta!”. Se o programa não tem esse impacto o que vai acontecer é que vai acabar o curso e aí você vai falar: “eu tenho que procurar emprego, porque num está chovendo emprego para mim!”. Então, às vezes se afeta a expectativa do cara na direção errada, o cara pára de procurar emprego porque acha que se deu bem; o outro percebe que se deu mal, procura emprego. É muito típico, um ano depois do programa de qualificação, o cara que não fez o programa tem uma taxa de emprego maior que a do cara que fez o programa. Impacto também que o cara que fez o programa pode ficar mais seletivo e não querer qualquer emprego, em parte porque ele passou um período fora do mercado de trabalho, parou de buscar trabalho. O outro cara fez alguma coisa. Então, na verdade, o que você está comparando é um contraste entre qualificação e intermediação de mão de obra. Se você estiver em um lugar tipo o Ceará, que tem uma intermediação de mão de obra boa, o seu impacto na qualificação pode ser menor no curto prazo. Evidentemente que, no longo prazo, o cara vai ter não só emprego, mas ele pode ter um salário bem mais alto. Tipicamente se encontra que a qualificação tem mais impacto sobre salário do que emprego, exatamente porque você está fazendo, na verdade, um contraste com a intermediação. O que estou dizendo é que tem que que saber qual é essa alternativa. Boa parte da sua aparente heterogeneidade não é que o programa tem impacto diferente sobre diferentes pessoas! Ou porque o programa é ligeiramente diferente: foi aplicado de maneira diferente nas diferentes pessoas. E sim porque a alternativa é diferente. A outra coisa é essa daqui. Não sei se vocês já viram porque é uma literatura que talvez date antes do nascimento de vocês. Mas, existe uma grande literatura americana. Eles ficam discutindo a diferença entre o ex-gap e o ex-gain. Tem a ver com sindicalização. Uma coisa é você fazer a seguinte pergunta: “quanto um trabalhador sindicalizado perde se ele não se sindicalizar, mas existir sindicato?”. Ou seja, é o contraste entre um trabalhador sindicalizado e não sindicalizado em um mundo onde existem sindicatos. A outra coisa é você ter um trabalhador sindicalizado e perguntar para ele: “qual é a sua diferença de salário, entre você sindicalizado e você em um mundo onde não existem sindicatos?”. Então, quando você fala que o impacto é a diferença entre aquelas pessoas com o programa e aquelas pessoas sem o programa, você está querendo dizer ‘aquela pessoa com o programa’ e ‘aquela pessoa sem o programa’? Ou ‘aquela pessoa no programa em um mundo que tem um programa’ e ‘aquela pessoa em um mundo onde nem ela e nem ninguém tem o programa’? Porque pode fazer a maior diferença do mundo! Voltando à questão do agente comunitário. Você está falando a diferença entre aquela pessoa que está no agente comunitário, tirar aquela pessoa dali e colocar ela sem acesso, enquanto que todo o resto fica com acesso? Posso até pegar uma que não tinha acesso e incluir. Ou você está falando de uma situação onde eu tiro o programa daquela comunidade? Qual a diferença que isso pode ter? Isso pode ter grande diferença, devido às externalidades, de vários tipos de externalidades que se pode ter. Então, no caso, o sindicato é claro. Na hora em que eu crio o sindicato, o salário dos não-sindicalizados muda. E, portanto, o salário dos não-sindicalizados é completamente diferente na presença ou na ausência do programa. Então, eu estou contrastando, eu estou fazendo contrastes diferente. Eu vou mostrar para vocês um programa do Instituto Unibanco, onde a gente chega em um estado e dá, para um conjunto de escolas, um programa; e usa como controle, escolhido por sorteio, o conjunto de escolas que não teve acesso ao programa. Mas uma das coisas que o programa faz é puxar talvez os melhores alunos, porque agora você tem escolas com um monte de vantagens. Os pais, que são mais conscientes do que está acontecendo, acabam tendo filhos mais preocupado com a educação. O filho estuda bastante porque o pai está preocupado... Não importa. O que importa é que o pai preocupado tenta matricular o filho dele nessa escola. O que acontece? Eu tiro os melhores alunos daqui e jogo para cá. O impacto do programa é um impacto esquisito, porque é um impacto do programa comparado com o que? Na ausência do programa, eu não vou ter essa mudança na composição dos alunos na escola. As escolas de controle, na presença do programa, as escola de controle naturalmente reduzem o aprendizado de Matemática, porque eu peguei os melhores alunos. E, portanto, o impacto do programa, se eu comparar o tratamento com o controle, eu tenho uma coisa. Se eu comparar o tratamento com controle onde eu só tiro o tratamento de um aluno, eu pego aquele aluno e coloco aqui, é completamente diferente de eu tirar o programa inteiro. Então, no nosso contrafactual, você percebe que essa discussão não aparece na hora em que você define o “Y1” e o “Y0”, se é assim que vocês costumam definir em uma avaliação do impacto. Você compara o “Y1” com o “Y0”, mas “Y0” é o quê? Para aquele indivíduo, aquele indivíduo sem o programa. Mas o resto dos indivíduos têm o programa ou o resto os indivíduos não têm o programa? Isso pode ser meio básico.

24:29 ao Fim (Cartela)

Imagem: Ilustração de um mapa múndi em tom azul claro ao fundo. E, em primeiro plano, duas imagens de capítulos posteriores a esta aula com o cabeçalho “Veja Também” em azul escuro. No rodapé, o texto: “Conheça mais em www.redeitausocialdeavaliacao.org.br .

Áudio: Trilha moderna percussiva.