Ir para conteúdo

Biblioteca

Avaliação de Projetos e Políticas Sociais

Aula sobre Avaliação de Projetos e Políticas Sociais ministrada por Luiz Scorzafave.



Avaliação de Projetos e Políticas Sociais - Parte 07

Serviço de Convivência e Fortalecimento de Vínculos: Resultados da Avaliação de Impactos

Ir para a transcrição do vídeo

Transcrição

00:00 a 00:11 (Vinheta de abertura)

Imagem: Vinheta de abertura. Ilustração de um mapa múndi na cor azul clara ocupa toda a tela. A logomarca da Fundação Itaú Social aparece ao centro e alguns ícones na cor branca aparecem formando um círculo central ao redor da logomarca. A logomarca desaparece, dando lugar ao texto em azul escuro: “Curso Avançado de Avaliação de Políticas Públicas e Projetos Sociais”. Na sequência, os textos são substituídos por um retângulo grande azul escuro na parte central da tela. Dentro dele, está escrito: “Avaliação de Projetos e Políticas Sociais, Professor Luiz Guilherme Scorzafave, 12 de Janeiro”. Abaixo do retângulo, também em azul escuro, o texto “Serviço de Convivência e Fortalecimento de Vínculos: Resultados da Avaliação de Impacto”.

Áudio: trilha moderna percussiva.

00:12 a 22:26 (Luiz Guilherme Scorzafave)

Imagem: Professor Luiz Guilherme Scorzafave, da Fundação Itaú Social, está à frente de uma sala de aula com um telão e lousa verde atrás dele. Ele está de pé e apresenta os conteúdos olhando para a turma.

Áudio Professor: Descrição dos dados da nossa avaliação de impacto. Resultados do mercado de trabalho. Aqui é a pergunta se a pessoa estava trabalhando ou não. A gente tem alguns resultados. Na amostra de cross-section, temos tenho aqui o resultado aqui nessa primeira coluna que se chama de amostra completa. É uma regressão. Não tem pareamento, não tem nada. Então, tudo que está hachurado é que tem um efeito significativo em termos de probabilidade de a pessoa estar trabalhando. Podem ver que é bastante grande aqui. Se eu comparar aqui Recife e Rio, dá quase 40 pontos percentuais. São Paulo, 13. E, na média total, 29 pontos percentuais. Se você olhar só na regressão de cross-section, é um efeito bastante grande. Se você vai na amostra de cross-section com pareamento e faz simplesmente a diferença entre o pareamento, você vê que não muda muito em termos de magnitude. São bem semelhantes. E se eu faço aquela outra estratégia da regressão na amostra pareada, também não há grandes diferenças, ou seja, não parece que é o método aqui que está dando alguma diferença de resultados, nesse caso especificamente. Aí, na longitudinal! Lembra que existem aqueles dois controles, né? Um naquele em que eu só pego aqueles jovens que já estavam trabalhando. Então, estou tornando o grupo de controle um pouco mais parecido. Por que o que eu estou olhando? O jovem já trabalhava. Então, o condicional que ele já estava trabalhando, notem que os efeitos, em geral, vão todos diminuir. Por exemplo, Recife cai de 37 pra 24, Rio cai 35 para 28 e em São Paulo some o efeito, porque de 17 vai para 0. E, no geral, também cai, que era o efeito de se esperar, porque você está tornando o grupo de controle um pouco mais parecido nessa dimensão de trabalho. Quando você controla na renda, não dá muita diferença do resultado inicial. Então, aparentemente, os resultados em geral indicam que haveria algum efeito em termos de trabalho. O que você pode argumentar é que, talvez, essa magnitude aqui esteja enviesada para cima por causa de mecanismos de seleção do próprio CAMP. Eu pego aluno que tem um bom desempenho, porque eu não consigo colocar a nota de SAEB e nenhuma dessas coisas aqui. Então, esse jovem pode ter uma chance maior de já estar trabalhando, de estar empregado, por exemplo.

Áudio Aluno: Essas regressões você estava rodando tudo junto ou você estava uma regressão para o controle em Recife, uma regressão para o controle no Rio?

Áudio Professor: Tudo separado. Cada célula é uma regressão. Aqui é Guarujá contra Recife, aqui é Guarujá contra Rio, aqui é Guarujá contra São Paulo e aqui é o Guarujá contra todo mundo junto. Então, aqui é o resultado da probabilidade de a pessoa estar trabalhando, de estar ocupado.

Áudio Aluno: A hipótese que foi feita de que a seleção feita em observáveis não é muito forte?

Áudio Professor: É, é bem forte! Mas é o que eu falei. É importante deixar claro, tanto para gente quanto para a instituição que está sendo avaliada, entendeu? Está bem claro para eles que boa parte desse resultado não tenha efeito de verdade do curso de qualificação, pelas limitações que a gente tem de dados etc.

Áudio Aluno: Digamos que se estaria superestimando o efeito!

Áudio Professor: Provavelmente. É o que a gente especula, porque só dá para especular. Mas o próprio mecanismo de seleção deles pode estar induzindo a resultados dessa natureza, ou seja, de estar superestimando um pouco os impactos. Porque, na PME, eu estou pegando um jovem selecionado aleatoriamente na população! E aqui eu estou pegando um jovem que eles selecionaram por alguns critérios, inclusive de nota, que já pega alguma coisa mais de cognição e que pode afetar a chance de ingresso no mercado de trabalho com 18 e 20 anos.

Áudio Aluno: Quando você a longitudinal, não é feito também o pareamento, nesse caso? Com pessoas mais parecidas dentro desse corte?

Áudio Professor: Eu preciso lembrar, mas eu acho que a gente fez também. Eu não lembro de cabeça. Acho que a gente fez o pareamento. Ah, não! Foi só na regressão. Nessa aqui, a gente não fez pareamento mesmo. Foi só regressão. O pareamento foi só na de cross-section. Mas, sinceramente... Acho que não afetaria. Mas se poderia fazer sim. Teria um ponto aí para aprimorar.

Áudio Aluno: Só por curiosidade, para quanto caia a sua amostra?

Áudio Professor: Vou ficar te devendo também essa! Não vou lembrar de cabeça, mas cai bastante! Ficava bem pequeno. Essa outra tabela aqui é para quem estava ocupado e com carteira de trabalho. Vocês vêm que os resultados dependem muito mais do grupo que eu estou olhando. Então, em São Paulo não tem efeito nenhum; Rio ainda tem um efeito que não depende muito do grupo, olha! É meio que consistente na abordagem aqui; mas, em Recife, já começa a variar porque aqui também tem o efeito de tamanho de amostra. Dado que o jovem está ocupado, quantos têm carteira de trabalho? Então, a amostra nessa regressão é menor ainda! A variância também começa a aumentar as estimativas mais ainda. Então, se você olhasse esse resultado e você fosse falar no “Pescar” se tem efeito ou não sobre formalização, o que vocês responderiam? Porque é isso o que acontece na prática. Você tem um negócio que parece tabuleiro de xadrez! O que vocês falariam?

Áudio Aluno: Só uma pergunta: o que são essas células amarelas?

Áudio Professor: O amarelo é significância 10 por cento. A azulzinha é 5 por cento. E o branco é não significativo.

Áudio Aluna: Ali é carteira de trabalho contra sem carteira de trabalho? Ou por conta própria?

Áudio Professor: Não, aqui é registro formal contra quem não tem registro formal. Não conta própria aqui. Dado que eu sou empregado, são aqueles que têm carteira contra aqueles que não têm carteira. Então, como a gente interpreta? Você vai dar limites! Falar que a evidência não é muito conclusiva de que tenha efeito. Se tiver um efeito pode ser, no máximo, de até 30 pontos percentuais, mas tem que olhar com muito cuidado esse resultado. O efeito depende muito do grupo. Se você usar São Paulo, que é a cidade mais próxima, não vai ter feito nenhum. Então, a gente fica menos confiante nesse resultado do que, por exemplo, o de empregabilidade. Deixa eu passar para a próxima tabela. Salário! Aqui é um pouco mais tranquilo, porque salário não aparece em nenhum lugar, exceto em Recife. No controle aqui, eu não lembro de a gente ter controlado pelo salário que ele recebia. A gente poderia ter olhado para o salário que ele estava recebendo anteriormente, pelo menos nesse grupo em que eu tinha informação de trabalho dele. Para saber qual o meu salário hoje condicional no meu salário um ano atrás. Mas aqui, não deu muita diferença. Então, salário não tem muito efeito. Agora a tabela de jornada de trabalho. Com jornada, também o efeito é meio dúbio. Aparentemente, a jornada é um pouco menor no comparativo de São Paulo. Nos outros casos, não tem muita diferença. E a tabela de escolaridade, de frequência à escola, não tem nada. Nenhuma diferença de frequência à escola. E tem o que a gente encontra e que é interessante e que a gente vai usar! Que é essa tabela aqui. Então, no fundo, frequência em ensino superior, entre 18 e 20 nos, condicional em ter concluído o ensino médio. Então aqui, realmente em todos os casos você acha impacto, independente do curso, independente da estratégia de grupo de controle, independente da cidade de onde se está falando. Então, a gente baseia a nossa análise muito mais nesses resultados aqui do que nos anteriores. Parece ter algum efeito em empregabilidade. Carteira: não dá para saber bem. Salário: provavelmente não. Frequência à escola: não. Mas, ir para o ensino superior dado que concluiu o ensino médio parece ser onde a coisa é mais robusta. Tanto que a gente usa essa parte para fazer a nossa análise. A gente analisa esse como principal resultado e usa isso para fazer a nossa análise de retorno econômico. A gente usa um retorno econômico baseado só nessa parte final. Qual é a nossa ideia aqui no retorno? O serviço do CAMP Guarujá é o fortalecimento de vínculos, que gera um maior acesso ao ensino superior. De hipótese, estimamos essa relação. E aí por hipótese, literatura etc, maior acesso ao ensino superior gera maior escolaridade futura e vai gerar maiores salários futuros. Então, isso é um pouco a ideia de que a gente vai tentar capturar em termos de benefícios do projeto, dado que ele teve impacto. Aí, como a gente fez para calcular o benefício monetário? Bom, se existe um impacto causal do projeto, então significa que: do total de jovens tratados com ensino médio completo e que estavam frequentando o ensino superior em 2013, que no caso são 76 jovens, uma parte não estaria frequentando o projeto, caso não tivesse passado pelo projeto. São os jovens que foram impactados. Então, o que eu peguei? Por exemplo, nesse caso, eu peguei esse 0,418 que vem lá da tabela anterior. Peguei a média de todos. Podia ter feito com cada um deles separado. Peguei o 0,418 aqui, que seria o impacto, na amostra de cross-section.

Áudio Aluno: Você tem cinco valores, certo?

Áudio Professor: Eu estou pegando esse aqui. Mas você poderia fazer com cada um desses cinco números e ver qual seria o retorno econômico sobre os diferentes cenários aqui.

Áudio Aluno: Eu queria saber qual o critério de escolha desse especificamente!

Áudio Professor: Eu peguei qualquer um, só para ilustrar. Porque você nota aqui que, no fundo, não vá ter tanta diferença! Varia aqui de 0,38 a 0,45. Então, talvez você pudesse pegar o menor e o maior e fazer os dois cenários para mostrar... É uma alternativa que você tem também. Aqui é mais para o exercício. Para ilustrar a ideia de como a gente montou o benefício. Aí, peguei o coeficiente e multipliquei, o que me deu o número de jovens que foram beneficiados, ou seja, de estarem frequentando o curso superior devido ao projeto. É exatamente a magnitude do impacto vezes o número de jovens que estão frequentando o ensino superior. Os jovens estão frequentando o ensino superior. Só que o fato de eles entrarem no ensino superior não significa que, necessariamente, eles vão concluir o ensino superior. Existe uma taxa de evasão ao longo do ensino superior. Então, a gente foi lá nos dados do Censo da Educação Superior para calcular essa taxa de evasão e distribuímos esses jovens ao longo dos anos de curso. Por que a gente fez isso? Porque o jovem que cursou o primeiro ano e depois abandonou, ele vai estar em uma determinada escola, ele vai ter uma determinada escolaridade, ele vai ter um determinado rendimento médio no mercado de trabalho. Se ele ficar mais um ano, ele vai ter um rendimento médio diferente. E assim sucessivamente. Então, para cada um desses casos aqui, a gente conseguiu montar trajetórias do que seriam os salários desses jovens com diferentes níveis de escolaridade. Daqui até eles concluírem, quando estão com 65 anos, que foi a hipótese de duração de benefícios que a gente fez. Daí a gente calculou o fluxo de rendimento dos jovens tratados que, em função do programa, teriam maior escolaridade. E também calculamos os fluxos de rendimentos que os jovens teriam caso não tivessem passado pelo programa. O que é isso? É só pegar os jovens que tinham uma escolaridade final de 11 anos, ou seja, ele concluiu o ensino médio. Lembrem que o nosso impacto é: “está fazendo faculdade, dado o condicional de ter concluído o ensino médio”. A diferença entre os dois fluxos, no valor presente, é o benefício do projeto. Quanto aumentou o rendimento em função do CAMP. E admitimos que eles ficam até os 65 anos de idade no mercado de trabalho. Você pode fazer cenários alternativos aqui. Para montar o fluxo salarial, a gente usou os valores dos rendimentos mensais recebidos no emprego principal, por idade e escolaridade, coletados pela PNAD. Aí você vai projetando isso para cada um daqueles grupos. Por exemplo, aqui em 2010, eu vou pegar o valor total dos salários recebidos pelos tratados na ausência do tratamento, que é o que o grupo de controle recebe. Isso aqui é o valor médio que jovens com 11 anos de estudo recebem, que é 497, 24 reais vezes 12 meses e vezes 32, que é o número de jovens que estão no grupo de não beneficiados. Então, esse valor é o rendimento entre 16 e 18 anos para quem tem 10 anos de estudo na final PNAD 2013. Aqui é a média no Brasil inteiro. A gente não pegou das regiões. Poderia ter pego. Para 2014, a gente fez da seguinte maneira: pegamos 22 jovens que estavam frequentando o ensino superior. E aí a gente está assumindo que eles também estavam trabalhando e recebendo salário de 963,6 reais. Somamos 10 jovens que abandonaram o ensino superior e estavam recebendo um salário de 1.035,4 reais. Notem que ele é um pouco maior. Faz essa conta vezes 12 meses e vai dar aquele valor lá que aparece na tabela de 378.647,79 reais. E assim a gente faz para todos os anos. E daí se monta um fluxo de caixa do tratamento e do controle. E a diferença entre eles vai dar o benefício líquido do projeto. Claro que existe uma série de hipóteses! É muito importante estar tudo explicado, bem claro! Podem torcer o nariz, mas você não escondeu o jogo! Aí, informações de custo. Isso também é uma coisa importante dos projetos. Nem todo mundo tem informações de custos muito fácil. No caso do “Pescar”, eles têm uma estrutura fantástica, super legal, um monte de sistema para acompanhamento de alunos, um monte de coisa. Mas, a gente não tinha uma informação, por exemplo, de custo das diferentes unidades muito claro e uniformizado. Então, só para dar um exemplo de como é difícil muitas vezes trabalhar com essa questão de custo. Aqui no CAMP, a coisa já estava um pouco mais estruturada. Tinha essa questão dos custos discriminados aí. E a gente fez simplesmente calcular a TIR, a taxa interna de retorno. Com esse nosso cenário contrafactual original, que dava uma TIR na casa de 8 ou 9 por cento. Aqui no caso, a gente falou que o custo podia ser maior do que a gente observou, porque a gente não pegou todos os custos. Então, multiplica os custos por 1,3 e cai um pouco a taxa de retorno. E aqui a gente montou um contrafactual alternativo que eu não apresentei para vocês, porque a gente assumia que o grupo de controle nunca vá pra faculdade, que ele para com 10 anos. E aqui a gente montou um contrafactual que a gente fala: “cerca de 20 por cento desses jovens, em algum momento, vão para a faculdade”. Então, também isso diminuiu um pouco a taxa de retorno. E deu uma ideia de que a gente estava fazendo um monte de suposições, mas que, em todos os casos, as taxas eram relativamente razoáveis para um retorno do projeto. Então, a gente tem uma questão da confiabilidade daquela estimativa de impacto, que a gente não pode esquecer. Isso é muito importante também. Porque quando você chega aqui e eu mostro um número destes para a ONG, eles se esquecem de tudo o que você acabou de falar! (risos). Que tem aquele monte de limitação, que as estimativas são complicadas... Mas tem que se levar em consideração que essa avaliação tem muito mais fragilidade do que uma, por exemplo, que vá ter uma aleatorização, como se está fazendo lá na “Liga”. Daí, o resumo do CAMP é isso. Resultados positivos para inserção no mercado de trabalho e no ensino superior. Valores bastante razoáveis na avaliação de retorno econômico para a TIR. E sempre lembrar dessa hipótese chave, que ela é bastante forte para esses resultados serem válidos. Agora as dificuldades. Problema de seleção de informação, porque só tinha informação por selecionados. Nessa busca dos alunos que eles fizeram, que foi a própria equipe do CAMP que fez, dos 245 eles só conseguiram encontrar 145. Então, a gente teve que fazer? Pegar 145 que foram encontrados e comparar com os não encontrados. A gente fez alguns testes de diferenças de médias das variáveis das fichas de inscrição para ver se havia algumas diferenças sistemáticas entre os grupos. E a gente não achou. Outro ponto é a importância de ter um controle mais próximo da coleta de dados. Quando a gente começou a fazer essa avaliação, a gente não fez previsão dessa coleta deles. Chegamos em um período imediatamente posterior. Então, perguntávamos uma série de coisas e eles não lembrava, porque não tinham feito uma memória desse processo. Então, enfatizando a importância da coleta de informação. O que se tem de boas ideias aqui? Aquela questão de usar alguma criatividade para superar a falta de informações e usar as bases secundárias. A gente usou PME, Censo, PNAD, Censo da Educação Superior... Então isso que é duro! Deu muito muito mais trabalho, porque é um monte de bases que tem que se abrir! E o resultado não sai daquele jeito. Deu muito mais trabalho. E também trabalhamos com diferentes grupos de controle para tentar alguma robustez aí.

22:27 ao Fim (Cartela)

Imagem: Ilustração de um mapa múndi em tom azul claro ao fundo. E, em primeiro plano, duas imagens de capítulos posteriores a esta aula com o cabeçalho “Veja Também” em azul escuro. No rodapé, o texto: “Conheça mais em www.redeitausocialdeavaliacao.org.br”.

Áudio: Trilha moderna percussiva.