Ir para conteúdo

Biblioteca

Avaliação de Projetos e Políticas Sociais

Aula sobre Avaliação de Projetos e Políticas Sociais ministrada por Luiz Scorzafave.



Avaliação de Projetos e Políticas Sociais - Parte 04

Sorteio + Boas ideias

Ir para a transcrição do vídeo

Transcrição

00:00 a 00:11 (Vinheta de abertura)

Imagem: Vinheta de abertura. Ilustração de um mapa múndi na cor azul clara ocupa toda a tela. A logomarca da Fundação Itaú Social aparece ao centro e alguns ícones na cor branca aparecem formando um círculo central ao redor da logomarca. A logomarca desaparece, dando lugar ao texto em azul escuro: “Curso Avançado de Avaliação de Políticas Públicas e Projetos Sociais”. Na sequência, os textos são substituídos por um retângulo grande azul escuro na parte central da tela. Dentro dele, está escrito: “Avaliação de Projetos e Políticas Sociais, Professor Luiz Guilherme Scorzafave, 12 de Janeiro”. Abaixo do retângulo, também em azul escuro, o texto “Sorteio + Boas Ideias”.

Áudio: trilha moderna percussiva.

00:12 a 19:15 (Luiz Guilherme Scorzafave)

Imagem: Professor Luiz Guilherme Scorzafave, da Fundação Itaú Social, está à frente de uma sala de aula com um telão e lousa verde atrás dele. Ele está de pé e apresenta os conteúdos olhando para a turma.

Áudio Professor: Aqui está repetindo, mas é aquela ideia. Eles fizeram a aplicação do Senna. Foi o mesmo processo. Preencheram a ficha cadastral. O que mudou aqui? Como a gente já tinha olhado a ficha de inscrição e os dados de 2014, a gente propôs algumas mudanças para a ficha de seleção para 2015. E uma dessas mudanças foi colocar, de uma maneira mais objetiva, quatro níveis de vulnerabilidade para cada pessoa entrevistada. É claro que ainda continua sendo uma coisa mais subjetiva, do entrevistador olhar é falar assim: “esse cara é muito vulnerável, é pouco vulnerável, nada vulnerável”. Mas deu um pouco mais de parâmetro para a gente vai poder trazer um pouco mais dessa informação para a nossa análise. Em vez de ficar uma coisa muito genérica, ele tinha que encaixar aquela pessoa em uma das quatro caixinhas. Então, isso foi bastante importante e que ajudou a gente no processo do sorteio. E também teve a prova de Matemática, que a gente já comentou. A principal mudança mesmo foi essa questão da vulnerabilidade. Inscrições! A gente, na verdade, tem quatro tipos de ficha de inscrição no Qualificação Profissional. Tem aquelas que não se encaixavam no público-alvo, por questões referentes ou a idade ou a relacionamento com o tráfico de drogas fundamentalmente. Então, não era com o uso, mas envolvimento com o tráfico. E tem coisas aqui, por exemplo: aparece um senhor de 60 anos, que já é advogado e quer fazer um curso de assistente administrativo. Está fora do público-alvo porque já passou, já tem uma formação superior etc. Então já tiram do público-alvo. Aí, tinha pessoas que eram incluídas que eles chamam de encaminhamento, que é o serviço de apoio e de segurança familiar e que está vinculada também a questão dos conselhos tutelares. Então, são pessoas que eram encaminhadas para fazer o projeto, por terem alta vulnerabilidade. E também tinha gente que já tinha feito algum outro projeto da Liga. Tem os caras que não compareceram para fazer a prova de Matemática, que é no dia seguinte. O cara foi lá, fez a inscrição, fez a entrevista mas não fez a prova de Matemática. E aí tem esses caras aqui, que é quem se encaixa no público-alvo e participou de todas as etapas do processo de informação. E a gente fez uma seleção aleatória em cima desse grupo aqui. Então quem está fazendo o curso lá? Tem esse grupo que a gente selecionou, mas tem uns caras aqui também, que são os encaminhados. Nesses caras, a gente não podia mexer. A gente tinha que aceitar eles para fazer o curso. Qual era a nossa preocupação? Se fossem muita gente, iria complicar a análise. Como ficou a configuração dos grupos? Aqui era mais ou menos o número de vagas previstas. E aí a distribuição dos alunos, em termos de vulnerabilidade. Por exemplo, gastronomia à tarde não está aparecendo aqui porque foi uma turma que a gente não avaliou, por causa de tamanho de amostra. Então, essas informações a gente só tem para as turmas que se está avaliando. Então, as pessoas foram classificados em quatro graus de vulnerabilidade. Aqui, são os encaminhados. São aqueles que eu falei que a gente tem que colocar para dentro. O maior número que a gente tem são esses 8 caras aqui, no assistente administrativo. Em geral, não tem muito problema de encaminhamento. E os excluídos, que são aqueles que saíram por causa de problemas de não estar dentro do público-alvo. E aí, a gente vai ter uma distribuição de vulnerabilidade, com uma cara de curva normal com as pontas menos pesadas e o centro da distribuição maior. Então, muita gente como alto e baixo, mas pouco “nada vulneráveis” e poucos “muito vulneráveis”. Então, essa é a distribuição dos dados que a gente tinha para fazer o sorteio. E o que foi a ideia de a gente fazer um sorteio? A ideia da gente fazer sorteio foi manter a seleção dos participantes proporcional ao nível de vulnerabilidade dos inscritos. A gente mudou um pouco o que eles fariam, porque provavelmente eles iriam pegar todos esses extremos aqui. Depois, todos esses altos. A gente quis pegar uma coisa proporcional no sorteio. E aí, para você fazer o sorteio, existem algumas opções para você sortear quem vai participar ou não. A gente optou por construir pares ou trincas de pessoas, de tal sorte que, nesse par ou nessa trinca, as pessoas fossem muito semelhantes em algumas características que a gente observava. E aí, dentro desse par ou dessa trinca, a gente fazia a aleatorização. Então, a gente usou como características observáveis o grau de vulnerabilidade dessas quatro categorias e uma nota média de Português e Matemática. Então, a gente pegou pessoas parecidas, parzinhos parecidos nessas características. E aí, dentro do par, a gente sorteou quem era tratamento e quem era o controle. Qual a vantagem disso? Se eu tenho um atrito, isso garante que o atrito não vá ocorrer de forma heterogênea nos dois grupos. Por exemplo, suponha que agora no final do ano, eu tenha um parzinho e eu não consegui entrevistar aquela pessoa do grupo de controle. O que eu posso fazer? Eu posso simplesmente retirar esse par da minha amostra e eu preservo todas as características do meu sorteio, porque eu fiz a aleatorização ali dentro. Se eu tivesse simplesmente sorteado todo mundo, sem fazer os parzinhos, o que poderia acontecer? Nada garante que os grupos vão continuar balanceados naquelas características de vulnerabilidade e nota, que se tinha feito o pareamento inicial. Então, essa é a vantagem! A desvantagem é que você tem uma redução do tamanho da amostra que vai levar a um aumento da variância do seu estimador. Então, como a gente operacionalizou o sorteio? Para cada curso e para cada período, a gente separou os alunos por grau de vulnerabilidade. Eram quatro categorias. Aí a gente manteve a seleção proporcional ao número de inscritos, como já havia comentado. Fizemos os pares e as trincas em ordem decrescente de nota. Por exemplo, imagine que um grupo de vulnerabilidade tivesse oito inscritos e eu teria que, pela questão da proporcionalidade, escolher duas pessoas para serem tratadas. Nesse caso, a gente fez duas trincas e um par. E como a gente fez o sorteio? Primeiro a gente atribuiu um número aleatório para cada trinca e para cada par. E a gente já estipulou uma regra ex ante de que o número maior sairia do sorteio. Então, quem recebeu um número maior, ficou como um par ou uma trinca extra, podendo ser usado para reposição. No segundo sorteio, a gente atribuiu um número aleatório para cada um dos oito inscritos, nesse nosso exemplo. E aí também estabelecemos uma regra ex ante de que o maior número iria para o tratamento, dentro da trinca ou do par. O segundo maior, para o controle. E se fosse trinca, o terceiro também ficaria para uma eventual reposição, caso o inscrito sorteado para o tratamento não aparecesse para iniciar o curso. Então, eu sorteei o cara. O cara foi sorteado para o tratamento e ele não apareceu. Então, nessa trinca, eu tenho um indivíduo que pode ser usado como reposição para ele, para tentar preservar ao máximo a aleatorização. Deixa eu mostrar na tabela, que fica mais fácil de ver. Então, imagina que se tem os oitos indivíduos aqui: eu tenho uma trinca, um par e outra trinca. Então, essa aqui é a nota que é a média da nota de Matemática e uma nota da prova de Português. Então, vai desde 8.8 até 4.4. Aqui, eu peguei, por exemplo, grupo de vulnerabilidade zero. Então, todo mundo aí tem o mesmo nível de vulnerabilidade, estão dentro daquela mesma categoria. E aí gente faz o primeiro sorteio, que é sortear um número para cada trinca. Então, a trinca com maior número sai fora. Essa aqui saiu e ficou como trinca extra. A gente ordenou em ordem decrescente da nota. O que a gente aprendeu um pouco dessa avaliação? A questão da atualização cadastral, que é uma coisa que funcionou. Essa dificuldade de achar os jovens. O que a gente fez na atualização cadastral? A gente perguntou o Facebook, que não existia. Depois a gente viu que isso aí foi importante para achar as pessoas. E-mail também! Então, isso foi legal. E a questão da aleatorização, que é uma coisa difícil de a gente conseguir viabilizar e a gente acha que conseguiu fazer direitinho. Agora vamos ver os resultados do que vai acontecer. Esse trabalho também junto com a Liga, sobre a questão da importância dos sócio emocionais e da aleatorização. Isso é uma coisa legal, porque eles têm uma pessoa que é a Lívia. Ela é uma profissional que trabalha na Liga só para lidar com a questão de avaliação. Ela fala a nossa língua, sabe dos métodos. Se não me engano, ela fez esse curso que vocês estão fazendo no ano passado ou retrasado. Então, ela entende. Facilita muito a gente conversar com ela. E essa questão de ganhar a confiança da equipe à frente do projeto no dia a dia. Então, a gente tem uma interação muito grande com eles. A gente está demandando informação para eles direto. Eles têm a rotina de trabalho deles do dia da organização. Então, eles precisam estar com boa vontade para ajudar a gente. Tem que haver um bom relacionamento, porque senão nossa demanda vai ficando para escanteio. Isso é bastante importante. Essa questão de ganhar a confiança. E eu acho que a gente conseguiu fazer de modo bem legal para eles. Só um comentário sobre isso. Quando você chega no começo, na primeira reunião, às vezes eles querem falar um monte de coisas para gente da organização e do projeto, que a gente sabe que não será usado na avaliação. Mas é questão de formação de vínculo mesmo. Então, tem que ter paciência, tem que conversar. E nessas conversas, você vai pegando detalhes de coisas que eventualmente quando você fez uma pergunta mais direta, ela não te falou. De repente, aparece alguma informação importante. E as Dificuldades? Essa questão do atrito entre as pesquisas de campo, que sempre acontece. O fato de eles ajudarem mais a gente a encontrar os tratamentos do que os controles. A gente teve, por exemplo, algumas inserções de alunos pós-início do programa sem aviso, que vinham de encaminhamentos. São casos isolados. Então, a gente está tendo que identificar esses caras para separar da amostra. A questão do no-show, que a gente tentou minimizar mas houve alguns casos em que a gente não conseguiu. Chamava a segunda pessoa que era a reposição e ela também não ia. Alguns casos de troca de aluno de turmas. Por exemplo, acho que era suporte técnico. A gente estava avaliando a turma da tarde e a da noite não. Ou vice-versa. Aí tinha um cara que estava na turma da tarde e, no meio do curso, mudou para a noite. Então, o que a gente ia fazer com esse cara? Ele é tratado ou ele não é? Então, são questões que a gente está lidando agora para tentar resolver. E a questão da base de dados, que sempre é um problema para quem faz a avaliação. Apesar de a gente ter trabalhado com eles a renovação da ficha de inscrição, a gente percebeu que, quando eles mandaram a base de dados consolidada, tinha um monte de telefone que não estava batendo. Mas, a gente tinha as fichas de inscrição digitalizadas do papel. Então, porque a gente tinha fichas de inscrição digitalizadas, facilitou o nosso processo de atualização cadastral. Então é mais para ilustrar mesmo a importância de que, apesar de eles terem uma coisa bem organizada, houve uma certa dificuldade também nesse processo de aquisição de base de dados. Aí eu separei alguns pontos importantes para a gente pensar no momento de fazer avaliação de modo geral. Não só pensando na experiência aqui da Liga, mas para reforçar com vocês. O primeiro é essa questão da qualidade e disponibilidade de dados cadastrais. Quais informações devem conter? E como armazenar? Isso é fundamental. Se esse armazenamento é eletrônico ou se não é. Se o cara que mexe no sistema vai ter tempo de entrar no sistema e abrir a base de dados e te mandar. Que informações eu tenho lá dentro? A definição dos grupos de tratamento e controle, que tem tudo a ver com o conhecimento do processo de seleção e disponibilidade das informações. A questão da definição dos indicadores de impacto, de a gente fazer essa validação com a instituição e a factibilidade da mensuração. A questão da pesquisa de campo. Pensar bastante na construção dos questionários de interesse. Então, aqui envolve também você fazer um pré-teste desses questionários. Eu queria comentar um pouquinho isso, que acho que é uma coisa interessante. Quando a gente vai fazer um questionário e perguntar se a pessoa está estudando, que nível ela está estudando, se ela está trabalhando, se ela é conta própria ou não... Parece simples. Só que, quando você vai pensar no questionário que você vai construir para um determinado público, tem que ver se a pessoa vai entender e se vai responder aquilo que você imagina que ela iria responder quando ela ler aquela questão. Então, a gente faz primeiro uma proposta de questionário inicial e, em todos os casos, a gente passa por um pré-teste. Uma amostra pequena de pessoas, com aquele mesmo perfil. No caso, a gente pegou ex-alunos do QP e eles responderam ao questionário. E sempre aparecem coisas que você tem que ajustar. A gente tem um problema muito grande com o fluxo de questões. Se é o entrevistador que está indo perguntar para a pessoa é mais fácil, porque o entrevistador vai seguindo o fluxo. Agora, se é um auto relato da pessoa, para preencher o questionário a gente tem que ter muito cuidado com a maneira como você faz esse questionário para minimizar a chance de erros de fluxo. Então, você começa a ter alguns furos. Então, é muito importante o pré-teste para tentar pegar questões desse tipo. E explorar o uso de bases secundárias. Vou falar disso aqui um pouquinho mais para frente. Isso foi um overview de uma avaliação que está do meio para o final. O que falta a gente fazer? Analisar todos esses dados, analisar todos esses problemas que aconteceram aqui e fazer todas as análises. Ver como foi o atrito, se teve seleção, se a gente perdeu muito parzinho e muita trinca. Enfim, vamos ver o que a gente tem aí, mas ainda não temos essas respostas.

19:16 ao Fim (Cartela)

Imagem: Ilustração de um mapa múndi em tom azul claro ao fundo. E, em primeiro plano, duas imagens de capítulos posteriores a esta aula com o cabeçalho “Veja Também” em azul escuro. No rodapé, o texto: “Conheça mais em www.redeitausocialdeavaliacao.org.br”.

Áudio: Trilha moderna percussiva.