Ir para conteúdo

Biblioteca

Avaliação de Resultado e de Impacto

Aula sobre Avaliação de Resultado e de Impacto ministrada por Ricardo Paes de Barros.



Avaliação de Resultado e de Impacto - Parte 10

Contaminação e Interesse

Ir para a transcrição do vídeo

Transcrição

00:00 a 00:08 (Vinheta de abertura)

Imagem: Vinheta de abertura. Ilustração de um mapa múndi na cor azul clara ocupa toda a tela. A logomarca da Fundação Itaú Social aparece ao centro e alguns ícones na cor branca aparecem formando um círculo central ao redor da logomarca. A logomarca desaparece, dando lugar ao texto em azul escuro: “Curso Avançado de Avaliação de Políticas Públicas e Projetos Sociais”. Na sequência, os textos são substituídos por um retângulo grande azul escuro na parte central da tela. Dentro dele, está escrito: “Avaliação de Resultado e de Impacto, Professor Ricardo Paes de Barros, 20 de Janeiro”. Abaixo do retângulo, também em azul escuro, o texto “Contaminação e Desinteresse”.

Áudio: trilha moderna percussiva.

00:09 a 26:34 (Ricardo Paes de Barros)

Imagem: Professor Ricardo Paes de Barros, da Fundação Itaú Social, está à frente de uma sala de aula com um telão e lousa verde atrás dele. Ele está de pé e apresenta os conteúdos olhando para a turma.

Áudio Professor: Qual o problema? O problema é que muitos dos alunos, que você sorteia, desistem. E muitos dos alunos que você não sorteia, por alguma razão, aparecem lá. Ou porque estavam na lista de espera ou porque eram amigos da pessoa do programa ou por alguma razão. Então, a contaminação é um fato da vida. Então, por exemplo, aqui no “Protejo”, só para vocês terem uma ideia. Eu vou pegar aqui, por exemplo, quem declarou participar. Eu tenho duas medidas aqui. Eu fiz um segmento, onde eu perguntei para eles: “você participou do ‘Protejo’?”. “Participei”. Eu perguntei quantos meses ele participou também. Porque algumas pessoas acham que participar do sorteio é participa do programa. Às vezes, ele se candidatou mas nunca participou. Então, a gente tentou ser bem cuidadoso com isso, mas pode ter uma sobrestimativa. Só que como o programa tinha uma bolsa, eu consigo ir no arquivo das bolsas e saber se receberam a bolsa ou não. Então, eu sei o que 67 por cento dos alunos que eu escolhi participaram. Só que parece que 60 por cento receberam bolsa! Ou há algum problema com meu merge do arquivo administrativo com o outro arquivo. Tem aqui que 28 por cento que estava no controle recebeu bolsa. Mas aqui, eu tenho 45 por cento! Aquele que eu escolhi para ficar na lista de espera, disseram que participaram do programa. Esses alunos que eu tenho dúvida se eles realmente participaram do programa ou disseram que participou do programa porque participaram do sorteio. Essa diferença era o que eu queria que fosse 100. Eu queria que, quem foi sorteado, 100 por cento participasse. E quem não foi sorteado, 0 por cento participasse. Ou seja, que é essa diferença fosse 100. Aí é que está a grande vantagem do sorteio. O ideal é que o sorteio fizesse com que 100 por cento dos sorteados participassem e 0 por cento dos não sorteados participassem. Mas, no fundo, tudo o que eu preciso é de uma variável instrumental. Tudo o que eu preciso é modificar por minha conta o acesso ao programa. E aqui, esses alunos que eram controles, que eu sei que são iguaizinhos aos tratamentos, esses dois grupos foram sorteados por mim. Eles, a priori, eram igualzinhos. Porque esses alunos é 28 por cento e estes 60 por cento? Porque eu atrapalhei a vida deles. Ao sorteá-los como “não vai participar”, eu baixei essa probabilidade para 68 e aumentei essa outra para 60. Provavelmente, eu aumentei essa de 45 para 60 e baixei essa de 45 para 28. Se a probabilidade de todo mundo participar do programa era 45, eu causei, em certo sentido, uma diferença nessas duas probabilidades. E essa diferença nas duas probabilidades é o que me diz que o sorteio é uma variável instrumental, porque ela afeta a participação, mas ela não afeta diretamente o resultado do programa. Ela só afeta o resultado de interesse na medida em que ela afetou a participação. E a participação afetou o resultado de interesse. Então, isso aqui é o que a gente chama de contaminação. E isso aqui é o que a gente chama de desistência ou no-show. Ou seja, 100 menos isso. Então, tem 40 por cento de no-show e 28 por cento de contaminação. Só para vocês verem aqui. Por exemplo, no meu caso de creches, dos que eu selecionei, 94 por cento participaram. Mas do que eu não selecionei, 55 por cento participaram. Então, nesse caso aqui, essa diferença é 30 e poucos pontos percentuais. E aqui, é também 30 e poucos pontos percentuais. Então, a contaminação e o no-show não te perturbam, se você tem uma amostra grande. O impacto da contaminação e do no-show é você ter que usar uma variável instrumental em vez de você usar uma regressão, que nesse caso aqui é uma diferença. O que acontece quando se usa uma variável instrumental? O seu parâmetro é consistente e, em certo sentido, não enviesado. Mas a variância dele sobe loucamente. Vou explicar um pouco isso para vocês. Sobre a contaminação e o no-show, você vai dizer: “que desastre! O meu experimento não funcionou!”. Não, o seu experimento funcionou! O que o seu experimento tem que fazer é abrir uma diferença de participação entre o seu grupo de tratamento e o seu grupo de controle. Conseguiu fazer isso? Então, seu experimento funcionou. Só que, quanto maior a diferença que se abriu, mais precisas vão ser as suas estimativas. Se a sua diferença é pequena, coitado de você na hora em que você for medir seus erros. Então, a importância de se evitar a contaminação e de evitar a desistência é de que você esteja coletando um monte de dados à toa. E, portanto, a sua amostra efetiva é menor. Então, nessa tabela, dá para se ver bem essa variável. E ela responde um pouco àquela pergunta feita antes: “que diferença faz a variável ser contínua ou discreta?” Nenhuma. Aqui eu mostrar uma variável continua e uma variável discreta. O procedimento é exatamente igual, não faz diferença nenhuma. Isso aqui é a renda domiciliar mensal dos tratamentos e da lista de espera. Então, essa diferença de 39 reais é a diferença entre tratamento e controle. Só que, nesse tratamento, eu tenho algumas crianças que não foram à creche: 6 por cento. Esse é meu grupo selecionado para ir à creche e só 94 por cento foram à creche. Então, isso aqui está meio contaminado por algumas crianças que não foram à creche. E esse daqui está contaminado com mais da metade das crianças que foram à creche (55 por cento). Mas, o grande erro em um processo desse é você abandonar o experimento. Nunca abandone o seu experimento! O erro é se dizer: “limpa esse dado. Vamos pegar aqui os que se beneficiaram de creche e aqueles que não se beneficiaram de creche”. Você entrou pelo cano! Você tem dois universos agora! Sei lá o que essas médias significam! O truque do negócio é sangue frio. Misturou? “Sem problema, eu vou continuar com o meu experimento”. O meu experimento é esse menos este. Deu 39. O que é esse 39? É o contraste entre 94 daqui, que são os selecionados frequentando creche, com 55 daqui, que é a lista de espera. Então, é como se o eu quisesse fazer o seguinte. Esses dois grupos que eu desenhei aqui são perfeitamente comparáveis. Só que, neste primeiro, eu tenho 94 que e 6 que não foram à creche. E aqui, neste segundo, eu tenho 55 aqui e 45 aqui. Esses 55, é “X” contra “X” e isso vai dar zero. Esses casos aqui é a mesma coisa. Vai ser isso contra isso e vai dar zero. O contraste é esse contra esse! Quantos tem aqui? Neste segundo, tem 45 menos 6, ou seja, 39. Então, quantos têm aqui neste primeiro? 39. Logo, eu sei que essa diferença daqui é “X”. E o que eu vou obter aqui embaixo? Zero vezes 6 por cento mais “X” vezes 0,39 e mais zero. Logo, eu sei que isso aqui é “X” vezes 0,39. E 39 é essa diferença aqui. Logo, como eu calculo o impacto? Eu simplesmente divido esse 38 para 39. Obviamente, aqui é 0,389. E aí vai dar 99,6. Logo, esse é o impacto. Em vez de me deixarem ver o impacto de todo mundo, estão me limitando que eu só consiga ver o impacto de uma parte pequenininha. Obviamente que a gente sabe que, na hora em quem se está começando a dividir por alguma coisa perto de zero, a nossa precisão está indo para o espaço. Porque isso equivale a dizer que eu estou trabalhando com um terço da amostra. Logo, a precisão aqui é 3 ou 4 vezes pior. Se eu tivesse um experimento perfeito, eu obteria um número parecido com um erro padrão aqui, que seria de 0,4. E não de 1,2! Então, o que isso tudo quer dizer? Que o programa tem um tremendo impacto sobre a renda. Então, esse número que está aqui embaixo é muito maior do que eu teria. Se eu mexer, por exemplo, na taxa departicipação, eu tenho isso. A taxa de participação das mães é 41 por cento na lista de espera e 45, nas selecionadas. A diferença é 4, mas a diferença aqui é 39. Dividindo isso por isso, dá 10,7 pontos percentuais. Então, isso aqui é o impacto do programa e isso aqui é 4,1. Seria perto de 1 se ninguém tivesse passado de nenhum lado para nenhum lado. Então, a contaminação e o no-show (ou desistência) é uma perda dramática de eficiência, mas não afetam a integridade da avaliação de impacto. A grande jogada da avaliação de impacto experimental é que o sorteio gera uma variável instrumental. Quando é 100 e 0, essa variável instrumental é a própria variável que entra na regressão. Então, você está querendo fazer uma regressão que tenha uma variável “X” e o instrumento é o próprio “X”. No outro caso, a variável que entra na regressão é se a pessoa foi ou não foi beneficiada por uma creche. Só que o instrumento é o sorteio. E isso gera uma variável instrumental. Você sabe que a variável instrumental é sempre pior do que se fazer uma regressão. Bom, deixa eu terminar aqui rapidamente falando de atrito. O atrito é quando você não observa nada. A grande coisa da contaminação e do no-show é que você observa tudo da pessoa. Eu entrevistei a pessoa na linha de base, entrevistei ela depois... eu sei tudo sobre ela. Ela só foi parar no lugar errado, em termos de participar ou não. No atrito, eu não observo a pessoa. Existe o atrito e os valores desconhecidos na amostra. Se, por exemplo, eu entrevisto a pessoa mas não observo a renda dela, isso é um atrito naquela variável, mas não na pessoa. O problema mais grave é quando você tem um atrito na pessoa, porque aquela pessoa inteira desapareceu! Não tem solução. O seu experimento acabou de ser um 'não experimento’. O que o Hackman sempre diz é: “dado que todo mundo vai ter atrito, não existe um experimento”. Quem poderia discordar? Mas você pode chegar perto de um experimento. Qualquer avaliação não experimental é alguma coisa perto de uma alguma coisa experimental. Aí, é questão de distância e de como você quer encarar o mundo. Poder fazer um sorteio e escolher por não fazer um sorteio não me parece uma coisa muito inteligente. Se você pode fazer uma avaliação experimental, você deve fazer uma avaliação experimental, reconhecendo o seguinte: com atrito, você tem que estar preparado para fazer alguma correção para viés de seleção. Alguma coisa você vai ter que fazer. A menos que o atrito seja muito pequeno. Ou que você consiga mostrar que seu atrito é razoavelmente aleatório. Por exemplo, olha o meu atrito no meu programa de creches. Isso aqui é o peso ao nascer. Obviamente que essa pessoa estava originalmente na minha amostra. Então, eu sei isso. Então, as pessoas que estavam originalmente na minha amostra, tinham o peso ao nascer de 3,18 quilos. Para aquele que eu não consegui entrevistar, o peso ao nascer era 3,18 quilos. Aí eu posso dizer: “então, esquece o meu atrito, porque ele parece aleatório”. A altura ao nascer era 48,2 centímetros e o seu não observados era de 48,8 centímetros. O tamanho da família era 4,6 e o outro, 4,4. A renda familiar era 598 reais contra 588 reais. Isso para as pessoas que perderam e para as pessoas que ganharam. Na verdade, o que improrta aqui é a diferença na diferença 3 17 3 18na verdade o que importa que é a diferença em diferença. Ou seja, a diferença entre o que eu consegui seguir e o que eu não consegui seguir no tratamento e no controle. Ou seja, o que importa não é se o atrito é inviesado, mas se o atrito tem uma diferença de viés entre tratamento e controle, que é dado por isso daqui e pelos desvios padrões aqui. Então, você percebe que tudo isso aqui não significativo. Então, eu posso dizer que todas as diferenças nas minhas variáveis observáveis entre os que eu consegui continuar entrevistando e os que eu não consegui continuar entrevistando é zero. Mas, isso não quer dizer que nas variáveis não observáveis também seja. Se eu for me basear só nas variáveis observáveis, eu já confiava em uma seleção nos observáveis do início e já fazia uma regressão. Nos observáveis, nao precisava nada disso. Então, olhar para isso e dizer que o atrito não importa é maluquice. É claro que o atrito acabou com a ideia de que isto aqui é sem ambiguidade, é uma estimativa do impacto. Mas, isso aqui é o que se pode fazer e, portanto, a melhor solução existente para atrito é não ter atrito. Se eu tiver que gastar dinheiro em uma avaliação de impacto, melhorando as suas medidas ou reduzindo o atrito, ou seja, fazendo melhores entrevistas ou garantido que todas as entrevistas são feitas, eu não teria dúvidas! Garanta que todas as entrevistas sejam feitas, porque, em certo sentido, variâncias e imprecisões maiores você consegue controlar e saber se você tem ou não tem pelo tamanho da amostra. Em uma amostra grande, você pode ter entrevistas até não tão bem feitas, desde que nao sejam enviesadas. Sejam só com alta variância. Mas, atrito é mortal. O atrito transforma uma coisa experimental em uma não experimental. Deixa eu só mostrar aqui uma coisa. Alguém tinha me perguntado se a renda do Cadastro Único é boa. Eu tenho uma avaliação aqui do Cadastro Único. Esse dado aqui é bastante preocupante. Hoje, o que o Bolsa Família faz? Ele olha para a renda do cadastro e complementa a renda até 77 reais. E acreditam perfeitamente na renda declarada. Logo, o que a gente fez foi pegar quatro mil famílias no Rio de Janeiro e entrevistamos elas independentemente. Só que a gente sabe o nome delas e a gente casou isso com o Cadastro Único. É como se houvesse uma PNAD e o Cadastro e a gente conseguisse juntar as duas bases. Então, eu sei exatamente a renda da família. Então, é dado dinheiro para gente que já passou de 77 reais. Isso é um erro de inclusão. Mas é um erro de inclusão medido em termos de Reais. Às vezes, a pessoa estava em 70 reais e foi dado 10 reais para ela. Então, ele foi a 80. E, portanto, os últimos 3 reais estão errados. Tem pessoa que já estava com 80, deu-se 10 reais para ela e estes 10 reais estão errados. Tem pessoa que estava em 60, deu-se 10 reais para ela e daí faltou 7 reais. De cada 100 reais dados, 86 reais são dados para pessoas que já passaram de 77 reais. E, deixa-se de dar 29 reais para quem ainda não chegou a 77 reais. Logo, esse aqui é o erro de exclusão. Aí, vamos supor que a gente vá lá no MDS. Tem que ir a vários lugares, porque eles fazem cópias desses arquivos. Vamos deletar todas as rendas que todo mundo declarou! E aí, o que eles vão fazer? Eles sabiam quanto que eles tinham que dar, mas não se sabe mais para quem vão dar. Aí, nós vamos pegar o dinheiro deles e distribuir igualmente para todo mundo que recebe o Bolsa Família. É igual para todo mundo. Qual vai ser o erro aqui e qual vai ser o erro ali? Resposta: eu diminuo os dois erros. A coisa louca é o seguinte: eu, jogando fora uma informação, faço uma melhora de Pareto. É um dos raros casos em que a informação é tão ruim que, eliminando a informação, reduzindo o conjunto de informação dos agentes, você provoca uma melhora de Pareto. Agora, a outra coisa que o Rio de Janeiro faz é que, em vez de confiar na renda declarada, olha-se para todas as outras variáveis e diz: ”eu tenho evidências que essa pessoa está mentindo. Ele tem renda zero e tem uma moto. Como ele faz a moto dele andar se ele não tem dinheiro para colocar gasolina?”. Então, é você corrigir a renda, levando em consideração tudo que está no cadastro. Foi isso o que a gente fez. Olhem o que a gente obtém! Olhando para o Cadastro, eu consigo todos esses pontos no gráfico. Ou seja, simplesmente usando a mesma informação que o MDS tem, eu consigo chegar nesse ponto. Nesse ponto, eu gasto a mesma coisa que esse outro. O tamanho das bolinhas é quanto eu gasto. Se eu gastar muito pouco e apertar para não ter nenhum erro de inclusão, eu vou ter 100 por cento de erro de exclusão. Então, isso aqui vai eventualmente chegar em zero os 100. Mas, seu quiser gastar mais dinheiro, as bolinhas vão aumentando para a direita. Nesse ponto aqui, eu gasto a mesma coisa que está aqui. Tem um erro de inclusão menor e um erro de exclusão menor. Tudo o que eu fiz foi combinar todas as informações que estão no Cadastro. Aliás, é bem gozado porque o MDS, há anos, coleta o Cadastro inteiro e a única coisa que ele usa para dar o benefício é uma única variável! Para que está coletando as outras? Se você coletar as outras, obviamente vai-se fazer algo melhor! Certo? E esse algo melhor te poupa 10% do que se gasta hoje com o Bolsa Família. Você podia gastar menos sem ter um impacto negativo sobre a pobreza. Bom, obrigado!

26:35 ao Fim (Cartela)

Imagem: Ilustração de um mapa múndi em tom azul claro ao fundo. E, em primeiro plano, duas imagens de capítulos posteriores a esta aula com o cabeçalho “Veja Também” em azul escuro. No rodapé, o texto: “Conheça mais em www.redeitausocialdeavaliacao.org.br .

Áudio: Trilha moderna percussiva.