Ir para conteúdo

Biblioteca

Avaliação de Projetos e Políticas Sociais

Aula sobre Avaliação de Projetos e Políticas Sociais ministrada por Luiz Scorzafave.



Avaliação de Projetos e Políticas Sociais - Parte 06

Serviço de Convivência e Fortalecimento de Vínculos (Camp Guarujá): Metodologia

Ir para a transcrição do vídeo

Transcrição

00:00 a 00:11 (Vinheta de abertura)

Imagem: Vinheta de abertura. Ilustração de um mapa múndi na cor azul clara ocupa toda a tela. A logomarca da Fundação Itaú Social aparece ao centro e alguns ícones na cor branca aparecem formando um círculo central ao redor da logomarca. A logomarca desaparece, dando lugar ao texto em azul escuro: “Curso Avançado de Avaliação de Políticas Públicas e Projetos Sociais”. Na sequência, os textos são substituídos por um retângulo grande azul escuro na parte central da tela. Dentro dele, está escrito: “Avaliação de Projetos e Políticas Sociais, Professor Luiz Guilherme Scorzafave, 12 de Janeiro”. Abaixo do retângulo, também em azul escuro, o texto “Serviço de Convivência e Fortalecimento de Vínculos (Camp Guarujá): Metodologia”.

Áudio: trilha moderna percussiva.

00:12 a 24:57 (Luiz Guilherme Scorzafave)

Imagem: Professor Luiz Guilherme Scorzafave, da Fundação Itaú Social, está à frente de uma sala de aula com um telão e lousa verde atrás dele. Ele está de pé e apresenta os conteúdos olhando para a turma.

Áudio Professor: Pergunta: “que indicadores de impacto a gente poderia usar aqui?”. O que vocês acham? Qual é o objetivo mesmo? Vamos tentar pensar os indicadores o mais colado no objetivo! Por exemplo, praticar esporte eu não acho que seja uma boa ideia. Veja, você vai ter um trabalho para convencer as pessoas de que, com a prática de esportes, você vai conseguir captar qualidade de vida de todo mundo nessa fase. E você vai ter que operacionalizar um instrumento para capturar quanto o que essa pessoa pratica de esporte, que esporte ele pratica etc. E que seja uma coisa que você consiga depois comunicar e convencer as pessoas de que um aumento naquilo realmente significa uma melhoria de bem estar. Então, o exercício de pensar o indicador tem que passar por esses detalhes. O que a gente faz primeiro é o brainstorm mesmo. Depois, finalmente a gente pensa assim: “o que é? É formação profissional? é garantir alguma empregabilidade?”. Então, a gente vai perguntar o quê? Se a pessoa está trabalhando ou não. Se está estudando ou não. Se terminou ou se repetiu de ano. Se evadiu da escola. Então, na verdade, não tem muita novidade. Agora, se quiser pegar assim... Uma coisa que a gente não fez aqui, mas que poderíamos pensar em tentar pegar: fortalecimento de vínculos familiares. Alguém tem alguma ideia? Por exemplo: “Como você encara a sua família? Como é a relação com a sua família, com as pessoas que moram com você?”. Existem questionários específicos para capturar coisas desse tipo. Entendeu? Você pergunta para a pessoa como ela avalia a qualidade da relação com a sua mãe ou seu pai ou com a pessoa que mora com ela. Enfim, há várias maneiras espertas de tentar perguntar esse tipo de coisa. Não é o que foi feito aqui, mas seria uma possibilidade de ser aplicado. Eu quis fazer esse ponto porque, quando você vai fazer a avaliação de fato, você tem que pensar. Se você pegar uma coisa que está relacionado com algo de difícil implementação e que vai ser mais complicado de convencer as pessoas de que aquilo efetivamente está ligado ao meu objetivo... aí tem que ascender uma luzinha amarela. Aqui, o que a gente acabou usando? Foi bem direto. Ocupação: posse de carteira de trabalho, salário, tamanho da jornada de trabalho, se frequenta escola e se já estava frequentando ensino superior. Não entrou coisa de ENEM. No caso aqui, ainda estava no começo dessa expansão grande do ENEM. Foi bem direto mesmo aí. Grupo de tratamento: são os indivíduos que entraram no projeto “Integração” em 2010. Q que aconteceu? Nesta avaliação, os dados foram coletados depois. A própria equipe do CAMP Guarujá entrou em contato com os alunos e fez a precisa de campo para pegar o que estava acontecendo com esses alunos. Então, fizeram o curso em 2010 e, lá em 2013, eles foram entrevistados pela própria equipe do CAMP. Não foi empresa especializada que fez. Então, foi montado um questionário e eles foram lá, um por um, naquele trabalho de formiguinha da ONG, indo em todo mundo que tinha passado pelo programa. E fizeram isso só para aqueles que tinham ficado com eles até 2012. Então, no fundo, o que a gente está avaliando é o “Integração” mais o “Aprendiz Integral”. Então, só foi avaliado quem fez todas as atividades previstas na instituição. Aqui, nesta tabela, dá uma ideia antes do grupo de controle. Você tem a seleção aqui em “T0”, em 2009. Aí, passou no “Integração”, em 2010; no “Aprendiz Integral”, em 2011 e 2012; e aí, foi perguntado, no segundo semestre de 2013, se ele estava ocupado e se estava estudando. Nesta época, os alunos já estavam de 18 a 20. E para o controle, também se gostaria de saber se ele estava ocupado ou estudando. O problema aqui era que, diferente dos outros dois casos que eu comentei com vocês, a gente não tinha aquela informação de ficha de inscrição; ou dos casos que se inscreveram e não apareceram. E aí? A avaliação saiu. Eu vou mostrar para vocês. Mas, como a gente faz para fazer uma avaliação se você não tem esse grupo de controle de inscritos e não selecionados? Alguma ideia?

Áudio Aluna: Talvez, procurar na cidade, alunos que tenham um perfil parecido para ser como um grupo de controle. E aí, comparar.

Áudio Professor: Vamos pensar como a gente operacionalizaria isso, porque os meninos fizeram esse curso em 2010 e você está indo falar com essas pessoas em 2013, com 18 a 20 anos de idade. Então, você vai fazer um campo no domicílio? Você entendeu a dificuldade? Eu não posso ir na escola, porque provavelmente muitos já vão estar na faculdade ou trabalhando... Se eu for a um domicílio, como vou selecionar esses domicílios...

Áudio Aluno: Bases secundárias?

Áudio Professor: Isso é uma ideia.

Áudio Aluno: Pegar os alunos que tentaram fazer a prova e não conseguiram.

Áudio Professor: Não tem nada. Qual são os nossos indicadores aqui? Empregabilidade e se está estudando ou não. SAEB e essas coisas você não vai usar, porque eu nem tenho SAEB desses alunos que estão no tratamento. Eu só preciso saber se a pessoa está estudando ou não. Eu não preciso ir no Censo Escolar para saber isso.

Áudio Aluno: Pode ir na PNAD e pegar por idade

Áudio Professor: Posso ir na PNAD e pegar por idade. Vamos ver se você chega na mesma conclusão que a gente chegou. Na PNAD, você têm idade da pessoa tem uma idade, onde ela nasceu, se ela está estudando ou e se ela está trabalhando ou não. Mas a gente não usou a PNAD! Por que a gente não usou a PNAD, apesar de ter tudo isso?

Áudio Aluno: Não tinha representatividade dessa área!

Áudio Professor: Isso é uma coisa importante. Guarujá é uma cidade que fica no litoral de São Paulo, do lado de Santos, do lado do Porto. Então, eu não consigo pegar a PNAD no município. É um município muito específico. No Censo, não dá para ir porque o Censo é dede 2010 e eu estou querendo uma informação de 2013. E aí? Estão acabando as bases secundárias que a gente conhece! Só faltou uma que ninguém falou aí. Até do CAGED vocês falaram! PME! Pesquisa Mensal de Emprego. Vocês conhecem a Pesquisa Mensal de Emprego? A PME são regiões metropolitanas, com periodicidade mensal. Acho que são as 6 maiores regiões metropolitanas, com periodicidade mensal. Por que era interessante para a gente? Depois, eu vou falar quais são os desafios. Primeiro, a periodicidade mensal. Então, eu consigo pegar o dado mais ou menos na mesma época em que eu fui lá fazer essa pesquisa de campo com eles. Qual era a dificuldade? A dificuldade que eu tenho é que eu não tenho Guarujá dentro da PME. Então, a gente adotou uma estratégia de tentar trabalhar com regiões metropolitanas que fossem as mais parecidas possíveis com os dados do Guarujá. Já vou mostrar como a gente fez isso. CAGED, que alguém falou aí, é um dado de fluxo de entrada e saída no mercado de trabalho e só no mercado formal. Então, a PME tem mais qualidade. Você consegue pegar o aluno no mercado informal, nessa faixa aqui de idade... Pesquisa de Emprego e Desemprego do DIEESE? É estilo PME. Inclusive, na época, eles estavam para lançar uma PED que seria do ABC Paulista, que seria o lugar mais próximo do Guarujá. Mas é um perfil totalmente diferente, porque é uma região ali de indústrias e o Guarujá não! Apesar de ser próximo em termos de distância, em termos de perfil de cidade é totalmente diferente. Nem tinham dado disponível. Então, a gente acabou indo para PME mesmo, dado secundário, porque não tinha essa informação. Então, pegamos os meses de Agosto a Novembro. Idealmente, eu gostaria de pegar só Novembro, mas a PME é pequena. Então, eu tive que pegar o segundo semestre daquele ano. Aqui é um pouco do desenho da PME. Cada domicílio na PME é entrevistado oito vezes. É entrevistado quatro meses consecutivos. Depois ele fica oito meses fora e depois volta. E aí é entrevistado mais quatro vezes. A PME vai no domicílio da pessoa. Então, se a pessoa mudou de domicílio, ela vai entrevistar quem está morando lá agora. Não vai atrás da pessoa que morava naquele domicílio. Então, principalmente quando você compara as primeiras quatro entrevistas com as quatro últimas, você tem muitas perdas, porque as pessoas acabam mudando. Então, a gente não queria entrar muito nessa celeuma. E em uma primeira abordagem, a gente já pegou uma entrevista dessas oito, de cada grupo. Então, no painel aqui ficou uma coisa assim. Então, por exemplo, do pessoal que estava entrando na PME em Agosto de 2013, ou seja, quando a gente estava fazendo a primeira entrevista, a gente pegou essas pessoas aqui. Essas pessoas que estavam entrando pela primeira vez em setembro de 2013, eu também peguei eles para a minha amostra. Aqui é a mesma coisa. E aqui é a mesma coisa. Aqui também! As pessoas que tinham entrado em Julho estavam na segunda. Em Junho, estavam na terceira. Os que tinham entrado em Maio, também peguei essas pessoas. E a mesma coisa aqui: Agosto, Julho, Junho e Maio de 2012. Então, já estávamos nas últimas entrevistas. Mas eu tinha informação para todos eles em Agosto. Então, esses grupos que ficaram hachurados aqui na tabela foram os grupos que a gente pegou para compor a princípio a nossa amostra do grupo de controle. A gente pegou as informações, a princípio, para todas as regiões metropolitanas. as informações Aí, a gente tinha esse problema para, a partir dessa base de dados bruta da PME, começar a filtrar para ficar com o grupo mais parecido com o que a gente gostaria. O primeiro filtro foi idade e escolaridade. Pegamos jovem só com idade entre 18 e 20 anos, que era a mesma do meu grupo de tratamento. E com uma escolaridade maior ou igual a oitava série ou nono ano, que também era a escolaridade mínima para ter frequentado o projeto. Então, é uma coisa mínima que a gente tem que fazer aqui para garantir pelo menos a idade e a escolaridade parecidas com a do grupo de tratamento. E essa abordagem a gente está chamando de cross-sections, porque a gente só está usando as entrevistas de 2013, ou seja, a gente não está usando a dimensão de painel da PME, onde você consegue acompanhar as pessoas ao longo do tempo. Aí, em uma segunda abordagem, a gente usa o painel da PME para olhar um pouco o que aconteceu no passado ocupacional dos jovens e na renda familiar. A gente tem dois recortes. O primeiro pega as pessoas desse grupo de cross-sections, que a gente acabou de mostrar; e eu também olho apenas os que já estavam na PME de 2012 e que haviam sido observados trabalhando em 2012. Por que eu peguei pessoas que também já estavam trabalhando em 2012? Porque o pessoal do grupo de tratamento estava no projeto “Jovem Aprendiz”. Então, eles estavam também trabalhando. Então, eu peguei aqueles com a mesma idade, mesma escolaridade e que também estavam trabalhando durante aquele período do projeto. E um outro recorte que é o grupo de cross-section, mas pegando apenas quem tinha uma renda familiar per capita menor que um salário mínimo. Por que a gente não combinou os dois aqui? Pegar quem só estava trabalhando e que tem também uma renda per capita muito baixa? Porque daí os grupos faziam assim! Diminuía muito o tamanho do grupo! Idealmente, eu gostaria de fazer a coisa mais redondinha, mas não deu. Ou eu cortava por trabalho anterior ou cortava por renda. Se eu juntava as duas coisas, os tamanhos das amostras ficavam muito pequenos, porque a PME é pequena isso.

Áudio Aluno: Quando você está pegando a PME e uma pessoa respondeu em Julho de 2013, você pegou uma pessoa em Junho de 2013...

Áudio Professor: Não. Aqui eu só estou pegando entrevistas de 2013, entre Agosto e Novembro.

Áudio Aluno: Mas a pessoa pode ter respondido em vários meses de 2013, né? Você está usando vários meses ou só uma vez?

Áudio Professor: Só uma vez. Aqui eu só estou usando uma vez a pessoa. Está vendo esses números? São as entrevistas que essa pessoa, dessa linha, respondeu. Então, você pode ver que de cada linha, eu só pego uma entrevista. Agora, para montar o Longitudinal 1, o que eu pego? Eu pego essas pessoas aqui. Por exemplo, para essa pessoa que estava fazendo essas entrevistas aqui, eu tinha informação dele do segundo semestre de 2012. Aí, eu conseguia saber o que tinha acontecido com ele nas primeiras entrevistas dele.

Áudio Aluno: Os jovens do programa são os jovens do “Jovem Aprendiz”, certo? E esse jovens que vocês estão procurando na PME é de qualquer ocupação ou são jovens aprendizes também?

Áudio Professor: Não dá para saber se ele é jovem aprendiz. Pode ser que alguns sejam, outros não. Esse é o desafio que você tem de trabalhar com base secundária como grupo de controle. Dada a impossibilidade de trabalhar com aquele rapaz que mora no Guarujá, que mora lá perto da instituição, que foi lá se inscrever... é mais uma limitação. Exatamente.

Áudio Aluno: Todo mundo que está selecionado aí dentro é o controle?

Áudio Professor: Eu vou ter três grupos distintos. Um que é só o cross-section, que é aquele que eu olhei em 2013. Aí, eu vou comparar trabalho e escolaridade dessas pessoas da PME com as do CAMP. Aí, o outro é comparar o tratamento com esse longitudinal, ou seja, pessoa que já estavam trabalhando em 2012 e com o que eles estavam fazendo em 2013. E aí, pessoas que também tinham uma renda baixa em 2012, tanto quanto a do grupo de tratamento, com o que elas estão fazendo em 2013. Então, são três comparações.

Áudio Aluno: Os dados da PME são só 6 cidades do Brasil inteiro. Até que ponto não seria melhor falar dos jovens de São Paulo, do Guarujá, de Recife...? 5

Áudio Professor: Isso, e vou explicar o que a gente fez para tentar lidar com isso daí, que era o desafio. Quem eu vou pegar dentro da PME para comparar com esses jovens do Guarujá.

Áudio Aluno: Eu tenho uma dúvida. Ali, você cortou em um salário mínimo. E antes não era meio salário mínimo?

Áudio Professor: É o mesmo problema. Tamanho de amostra. São todas limitações. O importante é a gente saber que o resultado que for dar tem uma série de limitações. Agora, aqui nesta tabela, dá ideia do painel. Estou pegando quem estava nas primeiras entrevistas no segundo semestre de 2012. Aí, peguei a primeira e a quinta entrevista desses jovens. E dos outros, eu peguei a segunda, terceira, quarta, sexta, sétima e oitava. Então, você vê que é bem menos gente nesse longitudinal 1 e 2. Os grupos são bem menores. Então, esse é o grupo que eu tenho informações tanto do ano anterior de 2012 como do ano em que vou avaliar o impacto do meu programa, que é em 2013.

Áudio Aluno: Eles estão empregados?

Áudio Professor: Não! Justamente eu quero saber se eles estão empregados aqui em 2013. No longitudinal 1, eu peguei pessoas que estavam trabalhando em 2012. Quem estava trabalhando. Não era só empregado. Antes, deixa eu discutir o negócio dos grupos lá. Depois a gente inverte e volta aqui na ordem. Aqui é a escolha das regiões metropolitanas da PME. Com quais a gente trabalharia? Então, o que a gente fez? A gente foi lá no Censo Demográfico de 2010, que é a única base que permite a gente identificar os municípios. Então, a gente construiu um monte de indicadores de mercado de trabalho e de atividade econômica para o Guarujá e para as regiões metropolitanas cobertas pela PME. Daí a gente escolheu aquelas regiões que tinham um perfil mais parecido com o Guarujá em 2010. Então, essa é a estratégia que a gente utilizou para escolher as regiões, que foram: Recife, São Paulo e Rio de Janeiro. Também não saiu nada muito absurdo assim! No fundo, a gente vai ter diferentes grupos de controle. Um vai ser o Rio de Janeiro, outro São Paulo e outro Recife. E a gente vai ver se isso foi bem sucedido ou não. Mas essa que foi a ideia: olhar lá no Censo de 2010, que eu tenho informação de todos os municípios, e ver quem era mais parecido com o Guarujá e quem que não. Metodologia para a gente: seleção em observáveis. O que a gente fez? Basicamente, regressão. Seja na base de cross-section, seja na longitudinal 1, seja na longitudinal 2, que são os três diferentes grupos de controle. O que entrou de controle na regressão? Gênero e raça, idade e escolaridade da mãe do jovem, composição familiar, presença de irmãos mais novos e mais velhos. Então, uma estratégia de mandar pau na regressão! E a segunda, com pareamento. Aí, no caso, apenas nessa amostra de cross-sections. Um pareamento que a gente fez com um vizinho, sem reposição e com reposição, e com um caliper de um ponto percentual. E aí, no caso, a gente fez aqui no matching duas estimativas: uma que é simplesmente fazer o pareamento mesmo, ou seja, faz o pagamento e vê a diferença de média entre os grupos; e outro, que a gente fez o pareamento e depois a gente rodou uma regressão, controlando pelas próprias mesmas características que a gente tinha usado aqui, para saber se tinha alguma diferença, se o pareamento estava bem feito e se os grupos estavam balanceados. Então, basicamente, essa foi a estratégia. Eu peguei a amostra pareada, rodei a regressão na amostra pareada, controlando pelas variações que eu usei no pareamento. Só para ver se o efeito era diferente ou não. Vejam que era um projeto com uma dificuldade grande de acessar os dados. Então, não dá para a gente fazer milagre. A estratégia de identificação é que condicional nas características observáveis à estrutura socioeconômica e familiar do jovem e condicional nas oportunidades na dinâmica do mercado de trabalho, os jovens da PME representariam um contrafactual do que teria acontecido com os jovens do CAMP Guarujá caso esses não tivessem passado por lá. Com todas as ressalvas que a gente sabe que tem que ter uma hipótese de identificação como essa. É importante destacar que ficou claro para eles também! Para o pessoal do CAMP ficou muito claro, antes de saber o resultado, que o fato a gente não ter ficha de inscrição e o fato de a gente estar fazendo tudo isso ia dar um resultado para eles. Mesmo que não era tão confiável quanto a gente gostaria, para o bem ou para o mal. Então, isso que eu falei que é muito importante!

24:58 ao Fim (Cartela)

Imagem: Ilustração de um mapa múndi em tom azul claro ao fundo. E, em primeiro plano, duas imagens de capítulos posteriores a esta aula com o cabeçalho “Veja Também” em azul escuro. No rodapé, o texto: “Conheça mais em www.redeitausocialdeavaliacao.org.br”.

Áudio: Trilha moderna percussiva.