Ir para conteúdo

Biblioteca

Avaliação de Projetos e Políticas Sociais

Aula sobre Avaliação de Projetos e Políticas Sociais ministrada por Luiz Scorzafave.



Avaliação de Projetos e Políticas Sociais - Parte 10

Projeto Pescar - Análise de Impacto

Ir para a transcrição do vídeo

Transcrição

00:00 a 00:11 (Vinheta de abertura)

Imagem: Vinheta de abertura. Ilustração de um mapa múndi na cor azul clara ocupa toda a tela. A logomarca da Fundação Itaú Social aparece ao centro e alguns ícones na cor branca aparecem formando um círculo central ao redor da logomarca. A logomarca desaparece, dando lugar ao texto em azul escuro: “Curso Avançado de Avaliação de Políticas Públicas e Projetos Sociais”. Na sequência, os textos são substituídos por um retângulo grande azul escuro na parte central da tela. Dentro dele, está escrito: “Avaliação de Projetos e Políticas Sociais, Professor Luiz Guilherme Scorzafave, 12 de Janeiro”. Abaixo do retângulo, também em azul escuro, o texto “Projeto Pescar: Análise de Impacto”.

Áudio: trilha moderna percussiva.

00:12 a 36:56 (Luiz Guilherme Scorzafave)

Imagem: Professor Luiz Guilherme Scorzafave, da Fundação Itaú Social, está à frente de uma sala de aula com um telão e lousa verde atrás dele. Ele está de pé e apresenta os conteúdos olhando para a turma.

Áudio Professor: E aí, a gente vai para análise de impacto! E aí, na análise de impacto, a gente percebeu que era muito importante comparar jovens que fizeram o “Pescar” com aqueles que não participaram e que são semelhantes em características observáveis. Novamente, a gente teve que ir para uma estratégia semelhante a que gente usou lá no caso do CAMP. A gente fez MQO e Propensity Score. O que usamos de variáveis explicativas? A primeira, a gente usou como controle se ele já havia feito um curso de qualificação antes do “Pescar”. Entrou com um “X”, na minha regressão. Depois, a renda familiar per capita de inscrição, a série cursada no momento da inscrição e, no caso de homens, se prestou serviço militar. Esta informação era bastante importante, porque está se pegando jovens de 16 a 18 anos. Existem muitos jovens que se alistam e, às vezes, pode prejudicar a empregabilidade, por estar em uma idade de ser convocado ou não para o Exército. Então, a gente também perguntou se havia prestado serviço militar. Perguntamos sexo, idade, posição de filho na família e escolaridade da mãe. Tínhamos uma dummy de ano, porque a gente tinha duas turmas do projeto, 2012 e 2013. E uma dummy de unidade do Projeto “Pescar”, para cada uma delas. Então, é isso que a gente tinha de controle para utilizar. Quanto a indicadores, a gente pegou um que vocês não citaram diretamente, que é: se o fato de eu ter feito o curso “Pescar” pode aumentar a probabilidade de eu fazer um outro curso, que pode ser um mais avançado ou um curso de qualificação profissional que me dá uma especialidade. Ou até, por outro lado, dado que o jovem fez o curso “Pescar”, ele não precisa mais fazer nenhum outro curso. Então, a gente avaliou um pouco o fato de ter feito o QP (qualificação profissional) aumenta ou diminui a probabilidade de se fazer um outro curso de qualificação em ano posterior ao “Pescar”.

Áudio Aluno: Dá para controlar por empresa? Colocar um coeficiente de empresa ou de município? Porque vocês tinham quatro municípios, certo?

Áudio Professor: Mas eu tenho as dummies de unidades!

Áudio Aluno: Da empresa, então. É isso?

Áudio Professor: É. Que são as unidades do projeto. Então, está tudo já controlado. Aí, quanto à empregabilidade, foi bem o que vocês sugeriram mesmo. E de “escolaridade”, se frequenta a escola, se concluiu o Fundamental, se concluiu o Ensino Médio... A gente colocou “se prestou o ENEM”, para tentar pegar um pouco desse interesse de se ingressar ou pensar em fazer um Ensino Superior... e o indicador se está frequentando o Ensino Superior. Então, basicamente é isso aí. Existem algumas coisas que vocês citaram e a gente não usou; e algumas que a gente fez e vocês não citaram! Mas, normal. E aí, para dar conta dessa questão de pensar nos grupos que fizeram ou não um curso de qualificação no mesmo ano do “Pescar”, a gente montou esses subgrupos aí. Nesse subgrupo dos “limpos”, existe o tratamento, que são aqueles que só fizeram o “Pescar” naquele ano. E existe o controle, que é aquele jovem que não fez nenhum outro curso de qualificação no ano em que se inscreveu para o “Pescar”. Então, eu estou comparando alguém que só fez o “Pescar” do tratamento contra alguém do controle que não fez nenhum outro curso de qualificação profissional naquele ano. Aí, eu vou fazer uma regressão com eles eu vou controlar pelo fato de ter feito ou não cursos antes, como “X“ nesse meu modelo. E quem são os “sujos”? São jovens que fizeram, no tratamento, o “Pescar” e podem ter feito outro curso naquele ano ou não. E o controle é a mesma coisa: pode ter feito outro curso de qualificação no ano em que se inscreveu para o “Pescar “ou não. Aí vocês podem perguntar: “por que você não pegou simplesmente o complementar desse?” Porque aí a amostra ficaria muito pequena. Então, eu falei: “vamos juntar todo mundo e ver se sai um efeito muito diferenciado”. Por isso que se chama “sujo”, porque fica difícil de saber quanto vai ser o efeito do “Pescar” e quanto vai ser o efeito de outras coisas! Mesmo porque, nem todo mundo que está aqui necessariamente fez outro curso! E aqui também! Então, foi mais ou menos essa ideia que a gente teve. O propensity score a gente fez por Kernel e também por Vizinho Mais Próximo (NN). E eu comentei com eles, na qualidade de explicar, que os resultados deveriam ser robustos e sobreviver às diferentes técnicas. Senão, você encontra o resultado que te agrada e joga o outro para baixo do tapete. Aqui nesse quadro, é o resultado de quando a gente estimou o efeito do tratamento no MQO. Se olhar essa primeira coluna, que é o tratamento e o controle “limpos”, são os jovens que só fizeram “Pesca” contra não fez nada, condicionado àquele monte de coisa “X”. A única coisa que aparece é esse efeito no aumento de se fazer ENEM e uma diminuição da probabilidade de se fazer um curso depois. Aí, se a gente comparar esses jovens que só fizeram o “Pescar” no tratamento com jovens que podem ter feito outras coisas, o efeito diminui um pouquinho aqui e aqui fica mais ou menos na mesma magnitude. Então, em geral, você vê que, não dá muitas diferenças em termos das estimações, apesar de a amostra ser um pouco diferente. Por exemplo, jovens que fizeram o “Pescar” e mais alguma coisa, nos dois grupos, daria mais um menos uns 40 indivíduos. Por isso, que a gente optou em juntar esse jovens ao invés de fazer a regressão com 40 pessoas. E, é claro, que o peso deles fica menor também na estimação. Aí, quando vamos para os outros métodos, uma parte do efeito já some. Esse é no Kernel. Agora, no Vizinho Mais Próximo, praticamente some tudo.

Áudio Aluno: Professor, o seu “Y” é binário?

Áudio Professor: É. Aqui, todos eles são binários. Então, o que a gente vê desse primeiro conjunto de resultados? Parece ter algum efeito em prestar ENEM, mas não é muito robusto nas diferentes técnicas. Quando você vai para variáveis de trabalho, o resultado de não significância se mantém. Aparece algum efeito em salário, mas não muito grande. Esse efeito de “ser por conta própria”, que eu estou chamando aqui de “autônomo”, reflete o que a gente já viu na análise descritiva. Então, você vai mudando as técnicas e os efeitos vão desaparecendo. Não é nada muito robusto o que vai acontecendo! aparece alguma coisa de “autônomo”, em “remuneração” é meio questionável e o resto nada acontece. Então vocês imaginam eu indo lá para apresentar para eles, depois de um ano e pouco de avaliação, enchendo o saco deles, pedindo dado, tudo... Estava todo mundo lá para assistir. É um trabalho que você tem que fazer com muito cuidado, entendeu? Porque, se não deu resultado, temos que tentar avaliar o porquê de não ter dado resultado e o que pode ser melhorado pra o resultado aparecer. Eles tinham muito uma percepção de efeitos do curso bem no curto prazo. Eles avaliavam se o jovem terminou o curso e daí continuou estudando ou trabalhando em quase 100 por cento dos casos. Mas, eles não tinham essa visão um pouco mais de longo prazo, de 1 ou 2 anos depois do curso. Então, resumindo: os resultados não foram robustos às diferentes especificações. Parece haver ali uma probabilidade menor de trabalhar como autônomo, uma probabilidade menor de fazer um curso de qualificação profissional depois e alguma chance maior de prestar o ENEM. Então, esse foram uns dos principais efeitos que a gente encontrou. E, no “Pescar”, também a gente avaliou os sócio emocionais. Aí, a gente olhou em cima do Senna. E aqui foi interessante! Quando a gente foi conversar com eles, pela primeira vez, eles disseram que eram preocupados com a formação humana dos indivíduos. E esses termos aqui da tabela eram o que eles levantaram para a gente: desenvolver a autoestima dos alunos, a capacidade de trabalho em equipe, a capacidade de enfrentar incertezas, desenvolver o trabalho com uma forma de realização, que é a vontade de trabalhar... E aí, a gente procurou fazer um espelho dessas características que eles levantaram como sendo importantes a serem desenvolvidas especificamente no Projeto “Pescar” com essas outras dimensões do Senna, que são mais gerais, mais amplas, dentro do instrumento que a gente estava avaliando. Então, a autoestima relacionada com a estabilidade emocional; a capacidade de trabalho em equipe com amabilidade, de saber parar e ouvir o outro etc; a capacidade de enfrentar uma situação incerta com a abertura ao novo; e a vontade de trabalhar com conscienciosidade e locus de controle, que é o fato de ser protagonista da sua história, se responsabilizar pelos seus atos. Então, acho que isso ajudou também a ficar mais claro para eles porque que era interessante usar o Senna. E aí, a gente fez a mesma estratégia que a gente fez lá para as variáveis de empregabilidade, usando as sócio emocionais. E aí a gente vê, nas diferentes dimensões, os impactos, só que a gente usa as vinhetas âncora. Acho que o Daniel comentou isso com vocês! Que são utilizadas para você tentar contornar aqueles problemas de padrões de resposta. Então, a gente usa algumas das dimensões recodificadas por algumas das vinhetas. Por exemplo, amabilidade recodificada pela vinheta de amabilidade, conscienciosidade pela sua própria vinheta e estabilidade emocional também. Para saber se, nesse caso, haveria algum efeito diferente em cada caso. E, infelizmente, a gente não encontrou grandes diferenças. Na verdade, a gente não encontrou um impacto do projeto nessas dimensões. É claro que aqui a gente não tinha informação dessas coisas de antes. Então, se você quiser ser otimista, você poderia falar: “os alunos do Projeto ‘Pescar’ eram muito piores nessas dimensões e o projeto consegue deixá-los iguais ao resto”. Mas, é um forçar um pouco a barra uma interpretação desse tipo. Quando eu vou para o Kernel, aparece alguma coisa aqui em conscienciosidade e em extroversão. Mas, ele não é muito robusto. Você vai para os Vizinhos Próximos, os efeitos somem, aparecem alguns números negativos... Então, novamente, a gente não tem um resultado muito robusto nessas diferentes especificações do “Pescar”. Se me perguntarem se há um grande efeito, provavelmente não. Uma outra coisa que a gente poderia falar é sobre a nova versão do Senna, que tem uma abrangência, uma possibilidade maior de capturar mudanças de curto prazo nesses traços de personalidade do que o Senna 1. Então, pode ser que o Senna 1 não seja o instrumento mais adequado aqui. Como eles dão uma ênfase muito grande, onde 60 por cento do curso são nessas dimensões, era esperado alguma diferença um pouco maior nessas dimensões, de modo consistente. E não foi o que a gente encontrou. Então, o que eles começaram a questionar quando se levou isso para eles? “Será que esse trabalho, que a gente está falando e que teoricamente é 60 por cento de formação humana, está sendo feito direitinho em cada uma das unidades? Como isso efetivamente está sendo trabalhado?”. Então, eles começaram a perceber que era preciso um monitoramento mais de perto dessas atividades. O material deles é um material bem feito! Mas, eles não sabiam a qualidade da implantação desse material nas diferentes unidades do Ceará, Minas Gerais, Rio Grande do Sul... Então, são alguns exemplos de como que um 'não resultado’ está ajudando eles a refletir sobre o que fazer. Eles também estão pensando em colocar à prova algum instrumento sócio emocional para ajudá-los nesse processo de seleção. Então, resumindo: os resultados sobre características sócio emocionais não eram robustos às diferentes especificações. Depois, passamos para a parte de retorno econômico. Se praticamente não tem efeito em nada, não tem impacto, por que fazer retorno econômico? Foi justamente para mostrar a eles alguns cenários do que poderia ser um retorno econômico desse projeto.

Áudio Aluno: Professor, não poderia ter incluído também a interação entre e controle e tratamento com a variável de idade, quando o aluno entrou no “Pescar”, para ver uma certa heterogeneidade?

Áudio Professor: Poderia fazer. Essa interação daria para fazer sim. O que aconteceu na prática? A gente não achou efeito robusto em nada. A gente está mostrando um recorte da análise descritivo que foi feita. E não tinha nada que aparecia nas análises descritivas. Mesmo por idade! Então, aqui a gente tentou mostrar o que seria o equilíbrio financeiro do projeto, através de uma simulação com diferentes cenários de retorno econômico. Tentamos estimar qual seria a TIR do projeto para valores diferentes de benefícios e de custos do projeto. Supondo que o projeto tivesse um determinado impacto e a duração do benefício fosse determinada, qual seria a TIR desse projeto. O que a gente fez? Vamos supor que a variável chave fosse salário e que, me média, se ganharia 50 reais a mais por mês se comparados a alunos que não passaram pelo “Pescar”. E fizemos esse exercício para outros valores salariais, que também aparecem em algum momento como significativos. Então, valores de diferença salarial de 50 a 175 reais, com duração do benefício de três, cinco e dez anos na vida dos indivíduos. E foi com base nessas informações que a gente também conseguiu informações de custos do Projeto “Pescar”, tanto o custo total quanto o custo por jovem. Esses custos não são os custos completos! Isso também foi um aprendizado deles. Então, por exemplo, aqui em Rio Grande, o custo é de 11 mil reais por aluno; e em outra unidade, a de Biguaçu, custa 2.950 reais. Então, tentar entender melhor porque essas coisas estão acontecendo também é um aprendizado. Não é uma coisa que sairia em um artigo de avaliação de impacto, mas é importante para a entidade que está fazendo a avaliação. E a gente fez algumas simulações de fluxo de caixa. Então, se eles gastam 50 reais por mês, por 12 meses, vezes o número de beneficiados, daria 136.200 reais. E daí, outras simulações. Se fosse 80 reais por mês, 100 reais por mês... a gente foi fazendo essas simulações, que seriam o fluxo de caixa dos benefícios do projeto. Aqui seriam os custos entrando no ano zero. E, a partir desses diferentes fluxos de caixa que a gente tem nas nas diferentes colunas, a gente fez algumas simulações de taxa interna de retorno para aqueles valores diferentes por mês e para diferentes durações de benefício. Isso tudo para mostrar para eles que, em muitos casos, mesmo que houvesse um benefício positivo, o custo é tão alto que teria uma taxa interna de retorno negativa. Então, neste exemplo, só se eu tivesse um cenário de ter o impacto muito grande para um benefício durando 10 anos, eu teria uma TIR super alta de 28 por cento. Mas, em todos os outros casos aqui, a taxa seria negativa. Então, eu falei aqui que não tinha impacto mas que havia um problema de custos. Mesmo que tivesse impacto, ele não seria grande o suficiente para compensar todas esses custos. Percebam, que para isso foi super importante também essa tabela. Essa simulação ajudou bastante no dia em que a gente foi fazer a apresentação para eles entenderem que tinham que mexer em algumas coisas importantes do projeto. Outra coisa que eles mexeram foi o próprio processo de organização das fichas de inscrição, sistematização, armazenamento. Então, hoje já fica tudo armazenado na sede, a ficha de inscrição foi padronizada. Então, uma série de aprendizados que eles foram tendo como resultado da avaliação. Agora, missões e aprendizados. A gente já viu um pouco sobre a ausência de impactos consistentes, que nos levou à reflexão. Isso com certeza levou eles a refletirem sobre outros pontos não mencionados: a questão da centralização das informações e da própria visita domiciliar. E o próprio instrumento sócio emocional no processo seletivo, que eles já estão também pensando em utilizar, dado que é uma característica importante do projeto. Esses são os principais aprendizados. Em termos de planos para frente, tentar fazer uma análise de impacto diferenciado por unidade, considerando o perfil das turmas, o tempo que o projeto existe na empresa e o tempo de experiência e formação do professor. No caso do tempo em que o projeto existe, por exemplo, será que começa a dar impacto de imediato ou existe uma curva de aprendizado da própria empresa e do educador social na formação desse aluno? Enfim, elementos que trariam a possibilidade de se fazer uma avaliação mais aprofundada e detalhada do projeto dentro de cada unidade, já que hoje não se consegue fazer. A gente controlou por uma dummy de unidade e pegamos um grande efeito médio do “Pescar” dessas unidades onde existia informação. Vocês têm alguma dúvida ou questão?

Áudio Aluna: Existem alguns projetos que atendem um público bem menor. Tem como, de fato, se fazer uma avaliação de impacto quando é tão pequeno assim? Porque aqui a gente falou de turmas maiores!

Áudio Professor: Tem sim. Existe uma relação entre o efeito mínimo que você consegue detectar e os tamanhos de turma. Quanto menor os tamanhos, maior é o efeito mínimo que você consegue detectar. Então, a chance de você encontrar resultados não significativos aumenta bastante, mesmo que exista um impacto. Nesses casos, a gente acaba trabalhando com aquela regra de bolso mesmo, entendeu? Eu queria aproveitar esse finalzinho de aula para mostrar para vocês os questionários, se não houver mais nenhuma dúvida aqui. Eu selecionei dois exemplos: um do próprio Projeto “Pescar” e outro é da “Liga”. A diferença é que em um deles foi feita entrevista pela empresa, com entrevistador; e o outro é aquele em que o próprio aluno preenche. Esse aqui é o questionário do Projeto “Pescar”, que foi feito pela empresa, em junho de 2015, que foi a campo tanto para o tratamento quanto para o controle domiciliar Aqui, inicialmente são variáveis de controle que a própria empresa de pesquisa de campo faz: quem era a pessoa que fez a digitação, quem era o entrevistador, qual o número desse questionário, data e hora de início e término da entrevista... E aí, vem aqui algumas informações que a gente já tinha, como o identificador. A gente já tinha passado o identificador de quem era o entrevistado. E depois, vem uma apresentação que eles fazem, uma para ser feita para tratamento e outra para quem era controle. Aí, perguntavam se a pessoa queria colaborar com o estudo. Se ele não quer colaborar, perguntava-se porque e encerrava. Aí precisava fazer um termo de consentimento livre e esclarecido para preenchimento do Senna. E aí, começavam as perguntas. No fundo, eram perguntais mais de confirmação. A gente tinha informação das pessoas, se ela tinha feito ou não o “Pescar”. Mas, a gente perguntava novamente para elas. Tem poucos casos de inconsistências, mas aparecem. Daí, ano em que ele participou do projeto, informações de nome, endereço, ponto de referência... Uma questão interessante é essa aqui de serviço militar. Porque, apareceu uma dificuldade no pré-teste. Uma coisa é você perguntar se a pessoa está prestando serviço militar e outra é se ela se alistou! Porque todos os homens são obrigados a se alistar, mas apenas uma pequena parte que presta. A gente tinha essa preocupação de as pessoas não confundirem as duas coisas. Depois, perguntas sobre escolaridade, níveis de ensino... Aqui, eram as mesmas questões para quem já não estava mais estudando... daí, questões do ENEM, como se já prestou alguma vez, a gente perguntava em que ano que ele prestou, qual foi a nota... E aí vem as questões do curso de qualificação profissional: ano, nome da instituição, duração do curso, o período, quantas vezes por semana, ou seja, uma série de características do curso... Aí vem a seção do mercado de trabalho. E aí, no finalzinho, vinha o Senna para ele responder. É um questionário bastante longo. Mas, do ponto de vista de aplicação, é mais fácil porque vai no tablete. Vou mostrar para vocês o outro questionário, que é o da “Liga”. Esse a gente aplicou agora, no final do ano, no grupo de tratamento. E foram os próprios alunos que preencheram. Distribuiu-se na sala e eles mesmos preencheram. O que a gente fez? Pedir para a pessoa que fez a aplicação dar uma olhada geral quando recebesse o questionário e checasse se não havia nada berrante. Então, tinha um pouco informações de referência, o curso que está fazendo... Daí aqui é diferente! Veio o Senna primeiro. Aí, vem o serviço militar e aqui já muda um pouco a questão do fluxo. Isso aqui é que eu queria chamar a atenção de vocês. Sobre o trabalho. Esse é o questionário sócio emocional. Eu estava pegando alunos que, durante 2015, estavam fazendo o curso da “Liga” e eu queria saber se eles não estavam trabalhando e não tiveram nenhum trabalho em 2015. Se o jovem respondeu isso, eu queria que ele encerrasse o questionário. Então, escrevemos assim: “caso marque a caixa acima, o questionário está encerrado. Caso contrário, prossiga abaixo, escolhendo apenas um dos lados até o final”. Para fazer as pessoas entenderem isso... Vocês vão ver onde deu o enrosto. As opções eram: “sim, estou trabalhando atualmente” ou “não estou trabalhando atualmente, mais tive pelo menos um trabalho em 2015”. Então, pensei que eles fossem seguir na coluna. Só que no pré-teste, o que a gente fez? Em algumas questões, não havia essa seta para direcionar o fluxo das próximas perguntas a serem respondidas. Nós esquecemos de inserir essas setas. Aí, quando mudava a página, o jovem não sabia mais onde tinha que preencher. Para a gente, era meio óbvio: “se eu estou seguindo um lado, eu continuo o mesmo lado”. E quando virara a página, o entrevistado não sabia mais se tinha que continuar na mesma página. Aí, a gente pré-testou de novo com as duas setas, uma de cada lado, e daí funcionou. Por isso que é importante se fazer um pré-teste. Então, a parte de elaboração do questionário, das palavras que você utiliza, de temos que se está utilizando, tudo isso precisa ser visto. Às vezes, pode-se usar uma palavra muito rebuscada e as pessoas não entendem tem direito. Daí, você tem que trocar por termos mais simples. Principalmente nesse caso do autopreenchimento. Espero ter dado um panorama. Sei que é meio cansativo, com três avaliações mais ou menos do mesmo tema... A ideia foi de mostrar como que, na prática, a gente acaba tendo que fazer uma série de escolhas que saem daquele mundo idealizado que a gente vê na teoria. A gente tem que cair no mundo real e, no final, ter uma avaliação de pé. Com todos os seus problemas, mas também com uma consistência clara, mostrando os resultados como vão aparecendo. Então, agradeço a vocês. Desejo boa sorte no restante do curso. Que vocês aproveitem bastante. Acho que uma oportunidade bastante importante de se estar fazendo esse treinamento focado. Estudem bastante, que vai ser muito bom para você! Está bom! Obrigado, gente!

36:47 ao Fim (Cartela)

Imagem: Ilustração de um mapa múndi em tom azul claro ao fundo. E, em primeiro plano, duas imagens de capítulos posteriores a esta aula com o cabeçalho “Veja Também” em azul escuro. No rodapé, o texto: “Conheça mais em www.redeitausocialdeavaliacao.org.br”.

Áudio: Trilha moderna percussiva.