Ir para conteúdo

Biblioteca

Avaliação de Projetos e Políticas Sociais

Aula sobre Avaliação de Projetos e Políticas Sociais ministrada por Luiz Scorzafave.



Avaliação de Projetos e Políticas Sociais - Parte 08

Projeto Pescar - Exercício em aula

Ir para a transcrição do vídeo

Transcrição

00:00 a 00:11 (Vinheta de abertura)

Imagem: Vinheta de abertura. Ilustração de um mapa múndi na cor azul clara ocupa toda a tela. A logomarca da Fundação Itaú Social aparece ao centro e alguns ícones na cor branca aparecem formando um círculo central ao redor da logomarca. A logomarca desaparece, dando lugar ao texto em azul escuro: “Curso Avançado de Avaliação de Políticas Públicas e Projetos Sociais”. Na sequência, os textos são substituídos por um retângulo grande azul escuro na parte central da tela. Dentro dele, está escrito: “Avaliação de Projetos e Políticas Sociais, Professor Luiz Guilherme Scorzafave, 12 de Janeiro”. Abaixo do retângulo, também em azul escuro, o texto “Projeto Pescar - Exercício em Aula”.

Áudio: trilha moderna percussiva.

00:12 a 16:43 (Luiz Guilherme Scorzafave)

Imagem: Professor Luiz Guilherme Scorzafave, da Fundação Itaú Social, está à frente de uma sala de aula com um telão e lousa verde atrás dele. Ele está de pé e apresenta os conteúdos olhando para a turma.

Áudio Professor: Qual é a proposta agora? A proposta é a gente pensar em um exercício. Eu vou apresentar para vocês a ideia de um outro projeto que a gente terminou a avaliação, que é o Projeto “Pescar”. E, antes de falar o que a gente fez, vocês vão pensar um pouco: qual o grupo de tratamento, qual o grupo de controle, quais seriam os eventuais indicadores de impacto e fazer um pequeno questionário para captar as dimensões de interesse de mercado de trabalho. Qual é a ideia? Vocês vão pensar um pouco sobre isso e eu vou mostrar um pouco sobre o Projeto “Pescar”. Vocês vão ver que também é um projeto de qualificação profissional, mas com um desenho diferente do que o da “Liga”. Então, talvez não dê para copiar tudo o que vocês já viram que a gente já fez para a “Liga” para o “Pescar“. Existem umas coisas diferentes. E depois, se tudo der certo, vou dar um tempinho para vocês pensarem um pouco nisso e a gente discutir rapidamente essa questão aqui. Até para vocês também exercitarem um pouquinho o que a gente está falando. E aí, depois eu mostro o que efetivamente a gente fez, para a gente contrastar. De repente, surge alguma outra ideia que a gente não teve, alguma coisa interessante para fazer. Está bom? E aí fazer um pouco esse exercício de a gente pensar mais, com base num projeto específico e real, o que está acontecendo. Então, vamos lá! Apresentação do projeto “Pescar”. É um projeto que existe desde 1976. Foi quando esse empresário, Geraldo Linck, lá do Rio Grande do Sul, que tinha uma empresa e abriu a empresa dele para 15 jovens aprenderem uma profissão. Então, a ideia era fazer uma qualificação profissional ali no chão de fábrica mesmo. Hoje, ele tem 146 unidades espalhadas pelo Brasil e 29, no exterior. Então, é um projeto também de uma abrangência bastante grande. Ele já capacitou mais de 24 mil jovens. Aí, se eu falar para vocês que a gente teve problemas com o tamanho de amostra, vocês vão dar risada! Mas a gente teve. Aqui é para ter uma ideia da abrangência. Então, aqui mostra as unidades da federação onde tem o projeto. Então, o grosso das unidades está no Rio Grande do Sul, Sul e Sudeste. E tem alguma outra unidade no Nordeste. Tem também no Paraguai e na Argentina. Aqui é o objetivo: “desenvolvimento pessoal, cidadania, qualificação profissional, através do desenvolvimento e aquisições progressivas de conhecimentos, habilidades e atitudes que buscam prevenir a ocorrência de risco social, fortalecem a saudável convivência familiar e comunitária, a permanência na escola, a participação cidadã e a formação geral para o mundo do trabalho”. Então, é um mundo de coisas! Há coisas muito genéricas, muito amplas! Então, com base nisso, a gente falou: “bom, a gente vai ter que tentar dar uma focada um pouco melhor, porque a gente vai trabalhar dentro dessas dimensões todas”. Qual é a ideia básica do projeto? É um curso de iniciação profissional, com o diferencial de ser ministrado dentro das empresas e das organizações parceiras. Tem um perfil de duração muito parecido com esse da “Liga”, como a gente falou. Quase um ano inteiro, no turno inverso ao da escola. Tem que ter frequência escolar e frequência mínima no projeto de 75 por cento. Senão, é desligado ou não recebe certificado. Em termos de duração, entre quatro e seis horas diárias, de segunda a sexta-feira, com turmas mais ou menos do mesmo tamanho. Um pouco menores em alguns casos. Eles têm um acompanhamento dos egressos por cerca de dois anos, após o término. Só que esse acompanhamento é meio diferente que o da “Liga”, que era aquele de seis meses. Aqui, é um acompanhamento que é muito heterogêneo. Depende de cada turma do Projeto “Pescar “. Em cada turma, é feito de um jeito. Então, existe turma que o acompanhamento é só pelo Facebook, turma que faz reunião todo mês... É muito heterogéneo. E essa é uma das características desse projeto que eu queria chamar a atenção de vocês. Como ele funciona? Existe a Fundação “Pescar”, que é a idealizadora do projeto, e eles chegam falando assim: “aqui em São Paulo, tem uma empresa que quer fazer um curso de qualificação profissional para jovens”. Então eles fazem uma parceria. Esta fundação entra com o know-how do curso, material etc. E as empresas parceiras vão entrar com o espaço físico, uniforme dos alunos e o salário do educador social. Esse educador social é quem vai ficar responsável pelo curso, vai administrar a maioria das aulas, tem o material didático da própria Fundação “Pescar” e também faz o contato para organizar as outras aulas. Por exemplo, vai fazer um curso em uma metalúrgica. Então, vai pegar a pessoa que trabalha ali na metalúrgica para ensinar como se faz as coisas. Então, funciona mais ou menos assim. Então, em cada localidade, o “Pescar” faz essa parceria com as unidades parceiras. É um projeto super descentralizado, o que, para avaliação, também se torna um desafio bastante grande, porque é como se cada unidade fosse um projeto diferente. Porque tem uma parte comum de material, mas o educador é diferente, o setor da indústria é diferente, a cidade é diferente... Então, é um desafio bastante grande de avaliar. O educador social é uma peça chave. O que ele faz? Ele quem organiza as informações dos participantes, em termos de seleção, ficha de inscrição. Ministra uma parte das aulas, organiza participações profissionais. E é ele quem faz esse meio de campo, ele que é o contato da empresa com a Fundação “Pescar”. Quem seleciona esse educador social? A própria equipe do “Pescar”. Então é aberta uma sessão e as pessoas se candidatam. Tem que ser ou pedagogo ou assistente social ou psicólogo. A equipe do “Pescar” faz a seleção e quem faz o pagamento dele é a empresa. Como funciona o curso do “Pescar”? Ele é parecido com o da “Liga”. Tem uma parte de desenvolvimento pessoal, que lá era de 25 por cento. Aqui é de 60 por cento. A diferença é que, lá na “Liga”, uma vez por semana, é aula de desenvolvimento humano. E aqui no “Pescar”, é diferente: os 60 por cento iniciais do curso são todo de formação em desenvolvimento pessoal e cidadania. E a parte de formação profissional só aparece no final. Então, também trabalha as duas questões, mas já de uma ótica diferente. Aqui é um pouco dos temas que eles trabalham nessa parte de formação de desenvolvimento profissional e cidadania, como descoberta do eu, família, saúde e meio ambiente. Vocês já vão vendo as semelhanças e as diferenças. Seleção! Aqui também uma diferença, porque a idade deles é bem mais restrita. Aqui é entre 16 e 19 anos. Não pegam alunos com mais de 19 anos. Tem que estar no mínimo no sétimo ano do ensino fundamental e em uma situação de vulnerabilidade, também definida de um modo mais subjetivo. Não é um instrumento muito fechado. Existe um questionário de vulnerabilidade social, mas não é tão fechado. E esse jovens também não podem ter tido muitas experiências sistemáticas no mercado de trabalho. E também não tenham feito ou concluído algum outro tipo de curso técnico profissionalizante. Então, um pouco da ideia do perfil dos alunos. E aqui começa o enrosco! Como é a seleção? Se na “Liga”, onde uma unidade só com alguns selecionando as pessoas já se sabe que o processo de seleção era importante, imagina aqui onde cada unidade faz a sua seleção e de um jeito que a gente não sabe muito bem como acontece? Há lugar que tem divulgação via rádio, escolas, conselhos locais... e também fazem uma visita ao domicílio para checar o real interesse do candidato o perfil dele. Então, as pessoas se candidatam e eles vão lá visitar no domicílio. Mas, não é todo lugar que faz ou a efetividade dessa visita é diferente... E isso a gente foi descobrindo ao longo do tempo! Quando a gente foi conversar com eles à primeira vez, achamos que todos os lugares tinham entrevistas, que era usado aquele mesmo roteiro de entrevista que eles passaram para a gente, que a ficha de inscrição preenchida era aquela, que era super completa... E, com o tempo, a gente foi aprendendo que não era muito bem essa história. Então, por exemplo, dificuldades para avaliação, que é o que vocês vão ter que pensar aí para o exercício. É esse processo descentralizado, onde as informações do candidato ficam na empresa com o educador social. Quando a gente foi pegar para avaliar, muitos educadores já não tinham mais as fichas de inscrição! Quando a gente pegou o Projeto “Pescar” para avaliar, só que era uma edição que já tinha acontecido. Então, a gente perguntou onde estavam as fichas de inscrição: “ah, ficam lá nas empresas!”. Então, tinha lá no Ceará, no Rio Grande do Sul... A sede do Projeto “Pescar” não tinha essas fichas de inscrição! Aí, a gente fez um esforço enorme de entrar em contato com todas elas. Eles também ajudaram. “Olha, mandem as fichas de inscrição para a gente!”. Daí, começaram a chegar. Alguns mandavam escaneado, outros mandavam Sedex... E daí começou a chegar ficha de tudo que era canto!

Aí a gente olhava as fichas e dizia: “gente, essa ficha aqui está diferente do Projeto “Pescar”! O que tem aqui? Eles colocaram um campo aqui para informar se tem moto, tiraram o campo da escolaridade da mãe...“. Aí chegava de outro canto a ficha: “aqui não! Aqui eles deixaram a escolaridade da mãe!”. Então basicamente, de todas as fichas que chegavam para a gente, não tinha uma que era igual à outra! E a gente teve um trabalho enorme para conseguir saber, de todas as fichas, o que havia de informação comum em todas elas. E era uma coisa muito reduzida. Fora que acontecia coisas assim: a ficha era frente e verso. Daí a pessoa só escaneava a frente. Ou então, só se mandava a ficha de visita domiciliar e não mandava a ficha de inscrição! Fora aquele fato de, na ficha, não ter aqueles campos específicos preenchidos. Então, vocês imaginam! Com essa quantidade de unidades para a gente receber essas informações e sistematizar, foi um trabalho enorme! Só para vocês terem uma ideia, o cronograma de avaliação do “Pescar” era de irmos lá em Abril de 2014 e sistematizar tudo para terminar a avaliação em Outubro de 2014. Nós terminamos avaliação em Novembro de 2015! Por que? Porque todo esse tempo, de Maio até Outubro de 2014, foi só tentando lidar com a questão dessas fichas! Cada dia que eu chegava para trabalhar, havia uma caixa de Sedex e uma nova surpresa lá! Então, deu muito trabalho! Muito trabalho para ver o que se tinha de informação. Por isso que eu falei que a gente teve problemas de dados. Era um monte de unidades, mas a grande maioria delas nem tinham mais essas fichas. Então, eles nem mandaram para a gente. E aí, já reduziu para caramba o nosso universo de análise. E aí vocês podem falar assim: “já pode ter um viés, porque o aluno cujo educador social era mais organizado e guardou as fichas pode ser diferente daquele que não organizou...”. Verdade. Mas, neste caso, o viés estaria jogando a favor do projeto. A favor de a gente encontrar um impacto positivo. Pelo menos, à princípio. Mas, vamos ver.

Áudio Ajudante: Professor, pergunta da interne, do João Evangelista: “esse projeto está relacionado à Lei do Aprendiz, na qual existe uma obrigação das empresas em recrutar jovens aprendizes para o seu quadro de funcionários? Nesse caso, o Projeto “Pecar” seria uma instituição executora?”

Áudio Professor: Eu acho que, em alguns lugares, eles estão vinculados ao projeto de jovem aprendiz. Não vou lembrar de cabeça o detalhe. Dizem que, em alguns lugares, onde não há Senai, eles têm esse papel também de fazer esse treinamento. Mas, não é um projeto faz específica e unicamente esse tipo de abordagem. O jovem aprendiz recebe uma bolsa também, se eu não me engano. Porque, existem alguns casos em que se recebe uma bolsa. Eu só não estou lembrando se está vinculado exatamente ao Jovem Aprendiz. Mas, mas em algumas unidades, eles têm essa vinculação dos alunos também receberem uma bolsa. E, em algumas unidades, não. Então, é super heterogêneo. Cada caso é um caso. Outro problema é aquilo que eu já falei. Muitas unidades alteraram o modelo de ficha para a seleção. Também não existia uma homogeneidade das fichas, o que dificultou a definição da amostra dos jovens a serem acompanhados. Outra dificuldade foi o número pequeno de jovens atendidos por unidades. A gente determinou de 15 a 25, mas nem todos os casos havia tantos alunos assim. Ou havia 15 alunos, mas não tinha excesso de demanda, por exemplo. Outra dificuldade: os ramos das empresas são muito diferentes. Os locais no Brasil são muito diferentes. Uma outra dificuldade. Esse período de idade, de 16 a 19 anos, é um período meio crítico. A diferença de um jovem de 16 anos e outro de 19 em termos de anos é pequena, 2 a 3 anos. Mas, em temos de fase da vida, é bastante diferente você falar de um jovem de 16 anos e um jovem de 19 anos. Qual o impacto do projeto para o jovem que fez o curso aos 19 anos e qual o impacto do projeto para um jovem que fez o curso aos 16 anos? É isso que eu estou querendo dizer! Que podem ser coisas distintas! Enfim, é um pouco para vocês terem uma visão geral do que é o projeto “Pescar”. E depois a gente vai retomar esse exemplo para a gente poder ter um pouco essa ideia de como o projeto funciona, ok? Então, como vai ser a nossa dinâmica? Logo que a gente voltar do almoço, a gente vai ter um tempinho para vocês retomarem um pouco o projeto e pensar nesses indicadores. E a gente vai discutir esses indicadores aqui e mostrar o que a gente acabou fazendo.

Imagem: Corta a cena. Alunos já estão de volta à sala de aula, após pausa.

Áudio Professor: A ideia é a gente aproveitar esse primeiro momento da parte da tarde para fazer aquela discussão em duplas ou em trincas sobre a estratégia de avaliação do Projeto “Pescar”, com base naquelas informações que eu passei para vocês logo antes do almoço. Então, pensar um pouco sobre a estratégia para a definição do grupo de tratamento, de grupo de controle, alguma coisa de indicadores de impacto e tentar pensar um pequeno questionário para tentar pegar essas dimensões de interesse do mercado de trabalho. Então, se vocês pudessem fazer em duplas aí, a gente dá um tempo para vocês conversarem e a gente retoma a discussão. Daí vocês podem me entregar essa folha que vocês fizerem. Todo mundo coloca o nome e entrega para eu dar uma olhada. Caso a gente não consiga ver a de todo mundo aqui, depois eu dou uma analisada.

16:44 a 17:20 (Cenas da Turma)

Imagem: várias cenas de alunos discutindo o exercício em grupo.

Áudio: trilha relaxante em piano

17:21 ao 36:41

Imagem: Professor está novamente à frente da turma, com um telão e lousa verde atrás dele. Ele está de pé e fala olhando para a turma.

Áudio Professor: Claro que se eu deixasse mais tempo, vocês teriam mais condições de elaborar, de ter mais ideias. Mas, o objetivo era a gente pensar um pouco nessas diferentes alternativas. E passando nos grupos, conversando com as pessoas, vi que surgiram várias questões interessantes! Então, acho que a ideia é um pouco a gente tentar partilhar um pouquinho disso. Depois, vocês me entregam o que vocês conseguirem escrever. E depois, a gente vai apresentar o que a gente fez. Vamos ver o que aconteceu. Alguém gostaria de começar? Um por vez! (risos).

Áudio Aluno: Então, a ideia é tentar captar o impacto através de dois indicadores. Primeiro, a empregabilidade, que seria como captar o sucesso na formação profissional, já que 40 por cento do curso era gasto com formação profissional. Então, captar o sucesso desses 40 por cento através da empregabilidade. E segundo, captar os indicadores de desenvolvimento pessoal. Aí, a gente pensou em estratégias. Primeiro, a empregabilidade. Então, a gente pensou em captar se a pessoa está ocupada ou, como foi feito no seu caso, no seu exemplo; se ele está empregado no setor formal, ou seja, com carteira assinada ou não; o salário dessa pessoa, se tem impacto sobre salário; e se a atividade profissional hoje está relacionada com a atividade que se fez, com a formação do curso. Aí, para o desenvolvimento pessoal, a gente pensou em duas alternativas. Pensamos em captar o impacto através dos indicadores sócio emocionais. E aí, a gente utilizaria o instrumento do Senna. E a alternativa, caso a gente não consiga aplicar os indicadores sócio emocionais, seria mais ou menos o go proxy de forma bem grosseira, que quanto aquele programa impactou nos anos de estudo da pessoa. Seria uma proxy para isso. E aí, a gente esbarrou no problema de grupo de controle e de tratados. Quem seria nosso grupo de controle e nosso grupo de tratados, dado que a gente tem muitos problemas com relação à inscrição, a seleção etc? E aí, a gente começou pensando que nosso grupo de tratados, em casos em que houvesse excesso de demanda, seria exatamente os selecionados para fazer o curso. E o nosso grupo de controle seriam os inscritos no curso, mas que não foram relacionados. Esse seria o nosso controle, no caso em que houve excesso de demanda. No caso em que não houvesse excesso de demanda, a gente buscaria, para tratados, os selecionados; e para controle, seriam buscados de bases secundárias. Pegaria, por exemplo, o Censo Escolar e tentaria encontrar um controle para o nosso grupo de tratados. E a nossa estratégia seria, por excesso de demanda, a regressão. E para os casos sem excesso de demanda, fazer um método de pareamento, a partir do propensity score matching e, depois, a regressão por um duplamente robusto. Regressão ponderada pelo propensity score. E, em último caso, se a gente não conseguisse nada disso, a gente iria tentar ver a questão de descontinuidade entre o sexto e sétimo. O impacto das pessoas que estavam no sexto ano e não puderam ser selecionadas e o impacto sobre as pessoas do sétimo ano que foram selecionadas. Ou seja, você tem a descontinuidade. E essa descontinuidade, a diferença entre o nosso sexto ano seria o nosso grupo de controle exatamente para os selecionados. E aí, essa diferença entre esses dois grupos seria o impacto do programa.

Áudio Professor: É que você tem uma diferença de idade entre eles também, em geral. Talvez você não tenha muita informação. Mas, entendi a ideia de tentar explorar alguma descontinuidade, por exemplo.

Áudio Aluno: Na série ou na idade. Porque a gente tem tanto corte de sétimo ano quanto de 16 anos de idade.

Áudio Professor: Beleza. Eu queria saber, dos outros grupos, em termos de indicadores. Vocês pensaram em alguma coisa diferente disso? Ou relacionada, mas que vale a pena comentar para a gente aproveitar bem o tempo? Se teve alguma outra ideia mais original.

Áudio Aluno: Como o programa também tem uma parte que vai desenvolver a questão da cidadania, a gente pensou em perguntar se o jovem tem interesse em participar de eleições, já que é um grupo de jovens. Talvez isso capte um pouco de cidadania. A gente perguntaria também se ele já participou voluntariamente de algum projeto social, se ele participou de algum grupo comunitário, se ele possui alguma relação com as famílias e uma boa relação com os amigos. Talvez seja um objetivo da política que a gente quer avaliar.

Áudio Professor: Legal. Perfeito. Mais alguém com indicadores?

Áudio Aluno: Qual a chance de se envolver em crimes!

Áudio Aluno: Mas será que ele vai responder isso?

Áudio Aluno: Ele não precisa responder. Eu vou ver ele lá na frente. Se ele está preso ou não!

Áudio Professor: Você vai ter que ir atrás desse jovem, certo? Pode ser que você não ache ele porque ele está preso. Até acho que foi no ”Pescar”, inclusive. Teve um caso assim. Foram até a casa da pessoa e falaram: “ele está preso”. Mas, foi um caso. Em geral, a gente não vai saber. É difícil de pegar essa informação. Neste caso específico, a mãe dele falou que ele estava preso. Daí, marcaram lá: “não foi encontrado porque esta preso”.

Áudio Aluno: Não digo necessariamente. Pode ter uma ficha criminal ou alguma coisa neste sentido.

Áudio Aluno: Mas não se tem acesso a esse tipo de coisa!

Áudio Aluno: Estou supondo que eu tenho acesso! Se não tiver é outro problema.

Áudio Aluno: Supor que tem é muito fácil!

Áudio Professor: Claro! Vocês têm liberdade para pensar grande. Mas, para viabilizar isso, a gente tem alguns instrumentos. São dados administrativos, uma pesquisa de campo que você faça... Então, tem que ser uma coisa que se tenha uma certa factibilidade. Mas, claro! Se você tivesse um sistema que conseguisse acesso online, tipo FBI, tudo bem! Principalmente dados de crime, que é bem difícil de você, em geral, ter acesso. A princípio, seria uma ideia interessante. Poderia ver se os jovens que passaram pelo projeto vão ter menor envolvimento em criminalidade. Mas, para implantar na prática não seja tão fácil assim. Mas, é uma ideia.

Áudio Aluno: Mas só precisa do nome da mãe dele, o CPF dele, o nome dele... acho que basicamente isso para tirar um atestado de antecedentes criminais!

Áudio Aluno: Mas o menor não aparece!

Áudio Professor: Se ele não tiver CPF! Pode acontecer.

Áudio Aluno: Nós tínhamos pensado que, dado a indústria que ele participou, se foi importante ou não na decisão de ele entrar em uma universidade e seguir determinada carreira. Sei lá, no mesmo rumo!

Áudio Professor: Você quer dizer: ingressar em uma universidade, mas na área correlata do curso! Também é uma opção. Mais alguém quer comentar de indicador?

Áudio Aluno: A gente olhou também para a duração em que ele ficou no trabalho! Eu pensei como desenvolvimento pessoal.

Áudio Professor: Por que você pensou mais como desenvolvimento pessoal o tempo no trabalho?

Áudio Aluno: Porque ele aprendeu dentro do curso habilidades de relação interpessoal.

Áudio Professor: É, talvez seja uma mistura das coisas. Acho que tem isso, mas também não pode ser assim: “se a minha formação não é tão boa assim, eu vou consegui um emprego mais precário ou temporário, por mais que eu me comporte bem”. Talvez seja mais uma características da ocupação ou do posto, do que uma característica dele. Mas, talvez entrasse nas duas aí!

Áudio Aluno: Se tem repetição de série, também!

Áudio Professor: Repetência? Perguntar se está estudando ou não já pega bem. Em ensino médio, evasão é importante, talvez mais que repetência! Mas, pode ser também. Eu queria ir para o grupo de controle, porque é onde a coisa é mais interessante. Os indicadores têm coisas legais, novas e diferentes, que o pessoal pensou. E de grupos de controle? Eu sei que cada um foi com uma estratégia um pouco diferentes. Eu não tinha dado tanta informação assim! Mas, vamos ver o que vocês pensaram! Quem quer falar um pouco? Vocês pensaram nesse grupo de controle de inscritos e não selecionados ou base secundária. Alguém pensou em alguma coisa diferente?

Áudio Aluno: Uma das análises do grupo de controle seria a descontinuidade! Que é uma coisa diferente.

Áudio Professor: É, o da descontinuidade também! Na idade ou na série.

Áudio Aluno: Uma coisa que a gente pensou é algo bem mais restritivo. Então, eu eliminaria todo mundo que não teve excesso de demanda e colocaria para os inscritos que não foram selecionados. A gente usaria os questionários em domicílio e controlaria pelos outros.

Áudio Professor: Só para quem tem excesso de demanda? O pessoal que falou que iria usar o Paraguai e a Argentina desistiu da ideia? (risos)

Áudio Aluna: A gente achou que seria mais prudente avaliar só o Brasil mesmo. Até porque a gente não sabe se seria comparável.

Áudio Professor: Alguém me perguntou também: “olha, eu foco na avaliação de uma unidade ou tento avaliar tudo junto?”. Vocês pensaram nisso?

Áudio Aluno: A gente pensou em ter mais validade interna mesmo. Avaliar só uma unidade por meio de aleatorização. E aí a gente abriria inscrições para o programa, respeitando os critérios. E, com os selecionados, a gente iria escolher uma parte deles aleatoriamente que não foram selecionados de forma aleatória.

Áudio Professor: Ok!

Áudio Aluno: Mas o problema já não está dado? Já foi feita a seleção. E não foi de forma aleatória. Se pudesse aleatorizar, resolveria todos os problemas. (risos). Mas, já foi feita a seleção.

Áudio Aluno: Você perde validade externa, quando se aleatoriza. O propensity score tem muito mais validade externa, se você pegar todo mundo.

Áudio Aluno: Calma, eu não entendi. O que vocês iriam fazer?

Áudio Aluno: Pegar só um grupo, uma escola e aleatorizar só ali. Aí você perde validade externa.

Áudio Aluno: Mas como você vai aleatorizar se os alunos já foram selecionados?

Áudio Aluno: Mas eu perguntei ao professor e ele disse que podia mudar um pouco os critérios.

Áudio Professor: Eu dei asas para todo mundo voar! Vamos pensar no caso em que a gente tenha essas restrições.

Áudio Aluno: A gente pensou em fazer um pareamento. A gente usou a pesquisa domiciliar de novo. Pareia com as observáveis e a domiciliar. Junta todo mundo e faz um cluster de empresa. E aí, se ficasse ruim, porque não sei quantos observáveis a gente teria no cluster, a gente faria cluster de município.

Áudio Professor: Empresa ou município, vai sair quase a mesma coisa aqui, entendeu?

Áudio Aluna: A gente discutiu sobre essa questão de fazer cluster e ficamos debatendo um pouco. O objetivo principal do programa é a empregabilidade. E a empresa que financiaria esse programa seria aquela ligada à empregabilidade no local, ou seja, às variáveis locais. Então, talvez não fosse necessário você fazer isso aí.

Áudio Aluno: Não. O que eu pensei foi assim: o adolescente vai para a escola “X” e, na empresa parceira, vai fazer o curso. Aí vários estudantes tentam isso. Quem não conseguiu é o seu controle. Quem conseguiu é o seu tratado. Quando você faz o cluster pela empresa, você elimina todas as características que são fixas no tempo e que podem estar contaminando o efeito que você está achando. Tudo o que é constante no tempo, você limpa. Porque o efeito é fixo. Se a empresa é grande, você limpa.

Áudio Aluno: Mas aí você precisa ter um efeito temporal, antes e depois, não é? Não? Para eliminar o efeito do tempo?

Áudio Aluno: É que você está fazendo um pulling OLS. Então, ele tem vários momentos do tempo. Ele não tem só um momento, um instante. Só que você só observa cada uma dessas pessoas em um momento. Você foi lá e colheu um dado em um momento “X”, no domicílio dele. Aí, você tem observação de salario etc... Quando você faz o efeito fixo ou um cluster de município ou de empresa, você vai limpar todas as características que são fixas no tempo para cada uma daquelas unidades, entendeu?

Áudio Professor: Você vai colocar uma dummy de empresa. Dá para colocar. Você pode tentar fazer assim: empresas do setor de serviços contra empresas do setor industrial, coisas desse tipo. Beleza. O que mais, gente? Mais alguma coisa de grupo de controle ou de estratégia?

Áudio Aluna: A gente não tem informação se tem excesso de demanda nas inscrições. Então, a gente pensou em montar um grupo de controle com uma base secundária que diferenciasse para a gente as informações no indivíduo, como por exemplo: se ele tinha ensino médio ou ensino médio técnico ou ensino superior. Daí, para a gente tentar um grupo de pessoas que participaram de algum programa de qualificação profissional, da mesma forma que esse programa. Seria uma forma mais branda para saber se esse programa é melhor do que os outros programas de qualificação profissional.

Áudio Professor: E que, na verdade, não são exatamente da mesma natureza! Seria uma estratégia dado se não tivesse excesso de demanda. Muito na linha do que a gente viu no CAMP ali. Tentar ver se tem alguma resposta para dar. Mais alguém quer comentar? Temos bastante ideias interessantes, principalmente dos indicadores, que é onde a gente tem talvez mais liberdade de pensar coisas. E aqui, a gente não tem muita escapatória. Eu vou mostrar agora para vocês as escolhas que a gente teve que fazer e as restrições. Eu vou mostrar exatamente. E o que a gente foi descobrindo ao longo desse processo. Aí depois, ao final, vou mostrar um pouquinho alguns exemplos dos questionários, para mostrar aquela questão do fluxo e como a gente foi tentando construir o questionário. Vou mostrar o questionário do “Pescar” para vocês verem também como não é trivial perguntar, por exemplo, escolaridade das pessoas ou se ela está estudando o técnico ou o não técnico... A gente vai ver que meio desafiador.

36:42 ao Fim (Cartela)

Imagem: Ilustração de um mapa múndi em tom azul claro ao fundo. E, em primeiro plano, duas imagens de capítulos posteriores a esta aula com o cabeçalho “Veja Também” em azul escuro. No rodapé, o texto: “Conheça mais em www.redeitausocialdeavaliacao.org.br”.

Áudio: Trilha moderna percussiva.