Ir para conteúdo

Biblioteca

Encontro Virtual Avaliação Econômica de Projetos Sociais

Encontro Virtual sobre Avaliação Econômica de Projetos Sociais, mediado por Antônio Bresolin, Coodenador da área de Avaliação Econômica de Projetos Sociais.

Ir para a transcrição do vídeo

Transcrição

00:00 a 00:11 (Vinheta de abertura)

Imagem: Vinheta de abertura. Sobre fundo com tons laranja, a logomarca da Fundação Itaú Social aparece sendo formada ao centro. Quando a animação se completa, o fundo muda sua cor para um tom rosado leitoso.

00:12 a 9:49 (Em estúdio)

Imagem: Antônio Bresolin, Coordenador da área de Avaliação Econômica de Projetos Sociais da Fundação Itaú Social, conversa com a Elaine Pazzelo, avaliadora de projetos, e Michele Farias, ex- aluna do curso de avaliação. O tema discutido é: “A experiência da avaliação do Projeto Serviços de Convivência e Fortalecimento de Vínculos”. Eles estão em um estúdio de gravação. As duas convidadas estão sentadas, ao lado de um telão com conteúdos, e o apresentador está de pé, atrás de um púlpito.

Áudio Apresentador: O meu nome é Antônio, eu trabalho na Fundação Itaú Social com o programa de Avaliação Econômica de Projetos Sociais. Esse programa existe desde 2004 e tem dois principais objetivos: um é disseminar conhecimentos e conteúdos relacionados à avaliação econômica de projetos sociais e o outro é estimular a prática desta metodologia para avaliação de projetos sociais e políticas públicas. A gente enfrenta, hoje em dia, um desafio muito grande na frente de estimular a prática e a realização das avaliações econômicas por parte dos gestores de projetos sociais e de políticas públicas. A gente entende que essa metodologia pode contribuir com o aprimoramento dos projetos e das ações que são desenvolvidas. E, através da prática, a gente precisa conhecer cada vez mais formas dessa avaliação contribuir para a melhoria dos projetos. A gente entende que, para conseguir estimular a realização das avaliações, é preciso conhecer os desafios, as dificuldades e pontos que a gente precisa trabalhar para que essa prática seja cada vez mais recorrente e mais realizada pelos gestores de organizações não governamentais e de políticas públicas. Para isso, o programa de avaliação econômica ele tem uma frente, que está sendo estruturada, para dar dicas, para possibilitar a troca de informações, trocas de experiências, aprofundamento de conhecimentos de conteúdos e organização de informações complementares. A gente parte de uma formação inicial dentro da frente de disseminação, com os cursos que a gente organiza pelo Brasil afora, e a gente está organizando uma rede, que é um espaço virtual para a contribuição, para a discussão, para oferecer ferramentas que contribuam para a realização de avaliação econômica. Então, antes de a gente dar continuidade para esse encontro que a gente marcou aqui com vocês hoje e que tem mais ou menos uma hora de duração, eu gostaria de complementar a explicação para vocês do que é essa rede. Ela é um espaço virtual. Qualquer pessoa que é aluna do curso de avaliação econômica ou ex-aluna que já passou pela formação pode acessar de um computador, não importa a localidade. Ela é um espaço virtual e que busca então oferecer diferentes formas para vocês manterem contato com o tema de avaliação econômica e estimular a prática dessa metodologia de avaliação. Esse é o segundo encontro formativo que a gente está fazendo nesse módulo virtual e a ideia é continuar em contato com os alunos que pedem dicas, apoios, sugestões e formas de manter o assunto na pauta de vocês, que são ex-alunos, gestores de programas e que estão interessados em fazer a avaliação dos projetos que vocês acompanham. O encontro de hoje é fundamentado numa ação que a gente começou no ano passado, que é um edital para ex-alunos do curso de avaliação econômica. Como vocês sabem, a gente está com uma edição do edital aberta e vocês podem submeter os projetos de vocês até o dia 8 de dezembro de 2014. Mas, a gente vai usar o resultado do edital de 2013, que foi realizado entre 2013 e 2014, para compartilhar algumas experiências, alguns conteúdos e fazer essa troca de informações com vocês para estimular a prática da avaliação econômica. Então, hoje o encontro vai ser baseado nas experiências da avaliação que a gente fez com o edital do Projeto “Serviço de Convivência e Fortalecimento de Vínculos”, do CAMP Guarujá. E, para isso, a gente conta com a participação de mais duas pessoas nesse encontro: a professora Elaine Pazzelo e a Michele Farias. Eu vou passar a palavra para que elas se apresentem.

Áudio Convidada 1: Meu nome é Elaine Pazzelo. Eu sou professora de Economia, na Faculdade de Economia Administração e Contabilidade, da USP de Ribeirão Preto. Especialmente eu estou aqui porque eu já tenho trabalhado há bastante tempo com o pessoal da Fundação. Primeiramente, nos cursos de avaliação, como professora; e agora, especificamente nessa nova abordagem do edital, onde a gente, de fato, põe a mão na massa para fazer as avaliações dos projetos sociais.

Áudio Convidada 2: Eu sou a Michele Farias. Sou formada em Matemática. Sou assistente de RH, em formação humano profissional, do CAMP Guarujá. Fui ex-aluna do curso de avaliação e o nosso projeto foi contemplado com o edital. Então, nós fizemos uma avaliação e a gente está aqui para partilhar as nossas experiências.

Áudio Apresentador: Perfeito. Eu gostaria de agradecer a participação da Elaine e da Michele. A ideia é que a gente tenha muitas oportunidades de trocar experiências. Então, a gente vai fazer uma conversa baseada no processo de avaliação deste projeto, que foi feito pela edital dos ex-alunos, buscando também conversar sobre as principais dificuldades, quais foram os desafios que foram enfrentados na realização dessa avaliação e o que a gente pode sistematizar como aprendizagem. Eu gostaria de reforçar com vocês que estão acompanhando o encontro de que vocês podem baixar alguns materiais durante as apresentações. O primeiro material que eu fazer referência aqui é um relatório que a gente fez sobre as aprendizagens e práticas da realização das avaliações econômicas, que foram feitas no edital. Além dessa avaliação, houve outras duas avaliações, que foram feitas por meio do edital de 2013. Uma delas foi uma avaliação feita em Uberlândia e a outra avaliação foi feita no Rio de Janeiro. No Rio de Janeiro, a Elaine também participou. Foi a avaliação do CIEE. E em Uberlândia, foi o Projeto “Emcantar”. Então, vocês podem baixar esse relatório que tem dicas, tem aprendizagens, tem sugestões práticas, derivadas dessas avaliações feitas no edital, sistematizando alguns pontos importantes, tanto para quem é gestor de projetos e quer avaliar o seu programa quanto para quem é avaliador de projetos e está fazendo as avaliações. Então, para a gente é muito importante contar com a participação de vocês, tanto com o feedback em relação a esse relatório que está sendo disponibilizado quanto para interagir com as questões que vão ser trabalhadas e trazidas pela Elaine e pela Michele ao longo desse nosso encontro. Nessa uma hora de conversa, a gente escolheu alguns assuntos específicos para serem trabalhados com mais profundidade. Então, mais especificamente falando do conteúdo que a gente vai trabalhar aqui com vocês, a gente vai falar sobre a escolha do grupo de tratamento e do grupo controle; e também, sobre a estruturação e uso de dados cadastrais para a avaliação econômica de projetos sociais. Eu gostaria de repassar com vocês então alguns combinados. Este encontro está acontecendo ao vivo, mas a gente gostaria de acessar as perguntas e os comentários que vocês podem passar para a gente pelo chat. Para a gente, é muito importante contar com as considerações, dúvidas e sugestões, que vocês podem mandar pela ferramenta que está disponível online. Além dessa interação ao vivo, esse conteúdo está sendo gravado e ele vai ser disponibilizado na rede também, caso você queira ver depois com calma, compartilhar com outras pessoas, rever alguma parte que será trabalhada aqui. Então, além dessa transmissão ao vivo, o conteúdo vai ser gravado e disponibilizado depois para acesso no momento em que vocês acharem oportuno e tiverem interesse. Para a gente, seria muito legal conhecer quem está aí do outro lado, quem está acessando esse espaço, para a gente poder interagir. Então, quem quiser pode mandar o nome, a cidade onde fez o curso, quem foi o professor que ministrou e, se ainda lembrar, qual foi o ano da turma que você realizou o curso. A gente estava brincando aqui, porque este curso é oferecido desde 2004. Então, a gente sabe agora, ao vivo, tem pessoas da turma de São Paulo e de Belo Horizonte acompanhando a nossa discussão. Conforme vocês forem mandando essas informações, a gente vai conversando e interagindo com vocês. O pessoal do Rio de Janeiro também está presente. Se houver pessoas de outras praças, mandem a sua informação, que a gente vai falando aí com vocês ao vivo, interagindo com vocês. Bom, além disso, a gente sabe que existem alunos que passaram pelo curso há algum tempo. Então, a gente entende que é importante, antes de entrar no conteúdo específico, retomar alguns conceitos que serão trabalhados pela Elaine e pela Michele. Então, para isso, a gente vai passar agora para vocês um vídeo que é curto e que fala sobre conceitos relacionados à avaliação econômica que vão ser trabalhados logo em seguida pela Elaine e pela Michele. Bom vídeo para vocês!

9:50 a 14:19 (Vídeo)

Imagem: Animações gráficas de ícones juntamente com algumas palavras ou textos curtos, na cor branca, rodiziam-se na tela sobre fundo laranja ou verde ou azul. Ao final, sobre fundo laranja, a logomarca da Fundação Itaú Social se forma ao centro da tela.

Áudio: Todos os anos, milhares de políticas públicas e projetos sociais são implantados no país, mas dúvidas persistem. Como confirmar se eles estão transformando realidades? Como medir a eficiência destes programas e projetos? Como assegurar que os recursos estão sendo bem aplicados? A avaliação é um caminho para encontrar essas respostas. Quem avalia atribui valor ou mérito a um determinado projeto social, a partir de algumas referências estabelecidas. É importante para medir os impactos que cada programa gera e os resultados que alcança. Um processo contínuo que contribui para a melhoria da gestão, consolida conhecimento, auxilia na viabilidade e na consistência de programas e projetos. Existem muitos modelos e tipos de avaliação. E cada formato apresenta respostas alinhadas com o que se pretende avaliar, com a maneira que se escolhe para analisar o projeto. A Fundação Itaú Social acredita na importância da avaliação para aprimorar a ação social. Por isso, desde 2004, desenvolve o Programa de Avaliação Econômica de Projetos Sociais em parceria com a área de avaliação de investimentos do banco, trazendo competências da área econômica para o campo social. Com o objetivo de disseminar a cultura e a prática desse tipo de avaliação, são organizados cursos, seminários, oficinas e outros eventos voltados para gestores de projetos sociais de ONGs, fundações empresariais e órgãos públicos. Além disso, também realiza avaliações econômicas dos projetos desenvolvidos pela Fundação, parceiros e políticas públicas. A Fundação Itaú Social valoriza a produção e sistematização de conteúdos, contribuindo para a disseminação de conhecimento sobre o tema. A avaliação econômica é uma ferramenta capaz de medir o impacto e a taxa de retorno de um conjunto de ações. Por meio da metodologia aplicada pela Fundação Itaú Social, é possível verificar se o projeto atingiu seus objetivos e gerou impacto social, ou seja, se fez diferença para os participantes. Assim, com uma análise quantitativa e objetiva de dados do projeto, é possível contribuir na realização de ajustes e aperfeiçoamentos. Na avaliação econômica, são realizadas duas análises: a avaliação de impacto e o cálculo de retorno econômico. Primeiro, verifica-se qual foi o impacto do projeto na vida dos participantes; e depois, se os resultados obtidos são realmente causados pelo projeto. Para isso, é feito uma comparação seguindo método científico entre os participantes do projeto, chamado grupo tratamento; e um grupo com características bem parecidas, mas que não foi beneficiado pelas ações sociais, chamado grupo controle. Com esse método, é possível analisar se a mudança observada nos indicadores se deve à participação no projeto e estimar o que teria acontecido com os participantes caso as ações realizadas não tivessem acontecido. O retorno econômico compara o investimento no projeto com os benefícios monetários gerados pelo projeto ao longo da vida de seus participantes. Trata-se, portanto, do retorno social da iniciativa, uma medida econômica relevante para a gestão do projeto e também para a comparação de resultados entre projetos sociais. Quer saber mais? Acesse o site da Fundação Itaú Social e informe-se sobre cursos, seminários e eventos. Conheça os materiais sobre a avaliação econômica de projetos sociais e políticas públicas. E aprofunde os seus conhecimentos!

14:20 a 1:23:58 (Em estúdio)

Imagem: Antônio Bresolin, Coordenador da área de Avaliação Econômica de Projetos Sociais da Fundação Itaú Social, conversa com a Elaine Pazzelo, avaliadora de projetos, e Michele Farias, ex- aluna do curso de avaliação. O tema discutido é: “A experiência da avaliação do Projeto Serviços de Convivência e Fortalecimento de Vínculos”. Eles estão em um estúdio de gravação. As duas convidadas estão sentadas, ao lado de um telão com conteúdos, e o apresentador está de pé, atrás de um púlpito.

Áudio Apresentador: Pessoal, eu espero que esse vídeo tenha ajudado a trazer vocês para o clima do conteúdo que a gente vai abordar nos próximos minutos. Pediram para eu reforçar que existe também um pessoal em Porto Alegre acompanhando esse nosso encontro. Então, mais uma vez eu reforço: qualquer dúvida, qualquer comentário, qualquer sugestão, são todos muito bem-vindos! Passem pelo chat, que a gente vai conseguir interagir com vocês. Então, para dar continuidade aqui, eu vou passar a palavra para a Michele, que vai contar um pouco para vocês sobre o programa que ela atua lá no Guarujá.

Áudio Convidada 2: Então, como eu falei, eu represento o Centro de Formação Profissional CAMP Guarujá. Somos uma entidade que já estamos no mercado desde 1968, ou seja, são 46 anos de estrada. É uma associação de direito privado, que atua na área da assistência social, sendo utilidade pública tanto nas esferas municipal, estadual e federal. Nosso objetivo maior é desenvolver o serviço de convivência e fortalecimento de vínculos, a formação humana e profissional e socioaprendizagem para adolescentes e jovens em vulnerabilidade ou risco pessoal e social, defendendo e garantindo seus direitos, além de promover ações socioassistenciais à família e à comunidade, na perspectiva da proteção social e o pleno exercício da cidadania. O nosso serviço tem como base dois grandes pilares, dois grandes programas. O início começa no Programa Integração, construindo o cidadão para o mundo do trabalho. É a porta de entrada do jovem na entidade e é um pré-curso indispensável, que a gente oferece gratuitamente a adolescentes entre 14 e 16 anos em situação de vulnerabilidade social ou pessoal. Ele visa a formação do ser integral. Então, a gente qualifica o jovem em vulnerabilidade, estimula a sua permanência no ensino formal e a gente consegue com isso garantir condições de igualdade para a integração dele e permanência no mundo do trabalho. Isso é bastante importante. Aqui tem algumas fotos, algumas atividades, eles fazendo práticas administrativas, eles também têm um acompanhamento nutricional. O segundo pilar é o Programa Aprendiz Integral, da integração no mundo do trabalho por meio da socioaprendizagem. São adolescentes que concluíram o programa Integração. Eles são convidados a fazer parte deste programa e a gente os integra no mundo do trabalho, na qualidade de aprendiz. Então, quando passam por essa fase, eles continuam tendo aulas teóricas e práticas lá no CAMP e continuam recebendo todo o apoio psicossocial, tanto o adolescente quanto a sua família. Além disso, continua-se o acompanhamento sistemático da escola. Então, eles continuam precisando frequentar a escola, manter bom rendimento e boa frequência. E a gente faz uma supervisão contínua das atividades práticas na empresa. Então, a gente tem parceria com as empresas onde a gente insere este adolescente. E, periodicamente, a gente faz visitas para fazer esse acompanhamento e receber o feedback de como está o desenvolvimento dele. Aqui temos algumas fotos: adolescentes desenvolvendo a aprendizagem profissional, uma pessoa do acompanhamento fazendo a supervisão junto com o responsável da empresa. Além destes dois pilares que eu comentei com vocês, nós temos também vários outros projetos que envolvem tanto os adolescentes quanto a família e a comunidade, justamente para fortalecer esses vínculos comunitários e familiares. Então, a gente procura trazer para o espaço da entidade a comunidade ao redor, a família desse adolescente e o próprio adolescente, que vai desenvolver outros projetos que visam essa sua capacitação.

Áudio Apresentador: Michele, eu queria agradecer a sua apresentação e parabenizar o trabalho que vocês desenvolvem. Com certeza, existem outras pessoas que estão assistindo a gente e trabalham com projetos do mesmo tipo de natureza, com formação de jovens, inserção no mercado de trabalho. Eu acho que a experiência do processo de avaliação que a gente está começando a compartilhar pode ser interessante também para esses outros gestores de programas que atuam numa área parecida. Então, agora eu vou passar a palavra para a Elaine para a gente começar então a falar sobre o processo de avaliação mesmo do programa que a Michele apresentou para a gente.

Áudio Convidada 1: Legal! Bom, primeiramente vamos deixar claro uma coisa. A Michele colocou aqui os objetivos dos dois projetos. Essa avaliação, na verdade, a gente teve como foco os dois programas. Então, é o Integração mais o Aprendiz. A gente está avaliando o impacto dos dois programas. E a gente está avaliando o impacto sobre o quê? Quais são os indicadores de impacto que a gente escolheu? Aqui, nessa tela, tem esses indicadores relativos à empregabilidade do jovem, ou seja, se ele está ocupado não; indicadores relativos à qualidade do emprego, ou seja, se ele tem carteira de trabalho assinada ou não, salário recebido e jornada de trabalho; e, por último, indicadores relativos à escolaridade, ou seja, se ele frequenta escola ou não e se ele frequenta o ensino superior. Eu até queria que a Michele comentasse um pouquinho, porque, na verdade, escolher esses indicadores foi um dos desafios. Não era uma dificuldade, foi um desafio, porque a gente queria olhar para um monte de coisa. Mas, a gente teve que fechar a nossa avaliação em cima dos dados que a gente tinha e também em cima de coisas que fossem mais quantitativos para a gente medir.

Áudio Convidada 2: Com certeza. Isso que a Elaine falou é muito verdadeiro. Quando surgiu a oportunidade de fazer a avaliação, a gente queria saber tudo, até onde vai, se realmente o jovem consegue ser inserido no mercado de trabalho, se ele está satisfeito com esse posto de trabalho que ele conseguiu ou não... A gente tem muitas ações ligadas à cidadania. Então, se ele se torna realmente um cidadão diferenciado ou não. Então, quando a gente sentou para conversar, a lista de indicadores era imensa, era vasta, na verdade. E ter feito o curso de avaliação colaborou no sentido de a gente identificar o que dava para ser mensurado e o que não dava. Então, isso foi bastante positivo. Até nas nossas conversas, nas reuniões que houve lá no CAMP. Quando se inicia esse processo, a gente quer descobrir até onde vai o nosso impacto. Quando, na verdade, a gente sabe que nem tudo consegue ser mensurado.

Áudio Convidada 1: Tem uma restrição dos dados até.

Áudio Convidada 2: Justamente. Aí, a gente foi riscando e conseguimos chegar nesses, que vão de encontro, de fato, com que a gente quer saber. Eu falei lá no início: a gente pensa na permanência do jovem no mercado de trabalho depois, se ele está empregado ou não, a qualidade desse emprego, se ele consegue realmente ter um emprego com carteira assinada, o salário que ele vai receber, se a jornada dele é compatível ou não. Quanto à escolaridade, a gente estimula muito essa questão da formação escolar. E aí, a gente tinha ali outros indicadores também sobre rendimentos e sobre frequência que é algo que a gente também acompanha, mas que a gente teve que escolher. Então, saber se realmente ele está indo para o ensino superior, se ele continua frequentando a escola ou não. Esses indicadores que a gente escolheu vão traduzir muito os nossos objetivos.

Áudio Convidada 1: Exatamente. Bom, escolhidos esses indicadores, vou mostrar agora para vocês o desenho do que a gente está fazendo nessa avaliação. A gente vai trabalhar especificamente com o pessoal que passou pelo Integração em 2010. Então, eles participaram do processo seletivo em 2009 e, em 2010, eles participam do Integração. O pessoal do CAMP recebe duas turmas, uma começando no início do ano e outra começando no segundo semestre. A gente está olhando para todos esses jovens que iniciaram o Integração. Depois, em 2011 e 2012, eles estão passando pelo Aprendiz. São dois anos de Aprendiz e agora passou para 15 meses. Mas, nessa versão aqui ainda eram dois anos de duração. E depois, a gente vai olhar esses jovens, que são o grupo de tratamento, de novo lá em 2013. No segundo semestre de 2013, a Michele e a equipe dela pegaram o telefone e fizeram contatos com esses jovens, que fizeram Integração em 2010 e que fizeram o Aprendiz nos dois anos, ou seja, completaram toda a etapa do serviço.

Áudio Apresentador: Essa avaliação olha para as duas ações do programa, para a parte do Integração e do Aprendiz.

Áudio Convidada 1: Exatamente. A gente está olhando para essa turma que fez o Integração em 2010, participou do Aprendiz em 2011 e 2012 e que foram vistos novamente depois, lá no segundo semestre de 2013. Nesta ocasião, esses jovens tinham entre 18 e 20 anos de idade, pensando que eles começaram com 14 a 16 anos de idade. Em 2013, então, a Michele e a equipe dela ligaram para esse pessoal para saber onde eles estavam, o que estavam fazendo... Aí, eu queria que a Michele falasse um pouquinho dessa coleta de dados, que é uma das coisas bastante trabalhosas aqui da avaliação.

Áudio Convidada 2: Antes, só para acrescentar um pouquinho, a escolha dessa turma de 2010 foi justamente porque era a última turma que tinha passado por toda etapa, por todo o serviço, tanto o programa Aprendiz, o Integração e os projetos complementares. Aí, como a gente mencionou, a integração deles no mercado de trabalho é por meio da lei de aprendizagem. Até aquela época, eles poderiam ficar 24 meses. Hoje, não mais. Eles só podem ficar até 15 meses. E a gente, mesmo ciente disso, decidimos pegar esse grupo para tentar identificar. E aí, nós tínhamos muitos dados em fichas, mas muitas delas estavam desatualizadas. Então, a gente teve que pegar ficha por ficha, identificar cada adolescente, ligar para cada um deles. Então, teve um custo alto para a entidade. Até porque muitos contatos eram de telefones celulares. Aí, a gente ligava, não encontrava o jovem ou não era mais aquele telefone. Quando não encontrava, a gente tentava ligar em outro horário. Houve gente que a tentamos ligar umas cinco vezes! Insistimos porque a gente precisava desse dado. Inicialmente, no processo seletivo, a gente tinha um grupo de 460 adolescentes. No final, esse grupo foi reduzido para 245 adolescentes. Então, a gente já perdeu muita gente.

Áudio Apresentador: Ao longo da formação ao longo, algumas pessoas foram saindo do programa.

Áudio Convidada 2: Justamente. A gente tinha um universo de 245 jovens para ligar. E aí, quando a gente começou a ligar, não conseguimos encontrar todos. A gente ainda perdeu mais algumas pessoas. O nosso grupo de tratamento foi reduzido para 145 jovens.

Áudio Apresentador: O que eu acho que é legal complementar com a informação que a Michele está trazendo, até porque quem está participando do nosso encontro também pode vivenciar esse tipo de situação, é a questão da evasão dos programas, que acontece e faz parte das atividades. Só que, além disso, dependendo da forma como a gente faz o cadastro e o acompanhamento das pessoas que participam das ações, você pode ter um contato continuado com esses jovens de uma maneira mais fácil ou mais difícil. E acho que isso não é um problema ou uma dificuldade que só você enfrentou, mas a gente sabe que muitas vezes os cadastros dos projetos são feitos manualmente, não estão digitalizados, e eles não passam por uma atualização. A gente acha que, quando vai precisar da informação, vai achar ela lá anotada no caderno. Mas, na hora em que você realmente vai usar, a forma como a informação está sendo cadastrada, armazenada e atualizada impossibilita o uso desses dados para fazer as avaliações.

Áudio Convidada 1: Acho que a grande dificuldade é essa coisa do tempo. Você captou uma informação cadastral e aí você ligou para os jovens 2 a 3 anos depois.

Áudio Convidada 2: É importante destacar que muitos contatos estavam atualizados, porque, entre aqueles projetos complementares, a gente algo que se chama Projeto Eterno Aprendiz. Então, quando ele está saindo, a gente faz essa atualização de dados. Mas, de 2012 para o final de 2013, os telefones, principalmente o celular, acabou mudando bastante. Então, houve essa perda no caminho.

Áudio Apresentador: Se alguém, que está acompanhando, tiver alguma dica, alguma sugestão, e quiser compartilhar alguma experiência de como que faz esse registro e atualização de cadastro de beneficiários do programa, enviem aí os seus comentários e suas ideias.

Áudio Convidada 1: Perfeito. Então, voltando aqui. A gente está trabalhando com os tratados que participaram do Integração em 2010 e do Aprendiz em 2011 e 2012. Estamos vendo esses jovens lá em 2013 de novo. Beleza! Mas com que grupo a gente vai comparar? Quais são os dados do grupo de controle? Quem é aquele grupo que vai representar os tratados na ausência do tratamento? Nesse caso, poderíamos ter algumas ideias. A gente poderia trabalhar, por exemplo, com os jovens que estão na lista de espera. A Michele chama 460 jovens para fazer o curso, mas, na verdade, ela tem um conjunto muito maior de jovens interessados. Poderíamos pegar jovens que moram ali na redondeza, no mesmo bairro desses jovens que frequentam o programa. Enfim, existem várias possíveis ideias. Em todos os casos, a gente também teria que ir a campo. A gente teria que ligar para esses jovens, lá em 2013, para saber o que estão fazendo, se estão frequentando escola, se estão trabalhando ou não. O que a gente fez de diferente nessa avaliação? E isso eu quero enfatizar bastante aqui. A gente usou uma fonte externa de dados para representar o grupo de controle. Quais as vantagens e as desvantagens de se usar uma base externa? A primeira vantagem é óbvia, porque os dados já estão prontos lá para a gente. Existe todo esse sofrimento que a Michele contou de ligar e etc. Ela, na verdade, não teve nada disso com relação ao grupo de controle. Os dados estão prontos e disponíveis para a gente usar. A grande desvantagem é que, justamente pelo fato de a base estar pronta e disponível para nosso uso, a gente não tem qualquer espaço para intervenção. Não tem jeito de você colocar uma pergunta lá no questionário se o jovem está satisfeito com o emprego dele! A gente não consegue inserir coisas diferentes. Então, a gente fica restrito ao questionário da pesquisa. Outra desvantagem também é a questão da abrangência geográfica. A pesquisa tem uma cobertura e, na verdade, ficamos restritos a essa cobertura. Mas, a grande vantagem, na verdade, é que esses dados estão prontos para gente poder usar. A gente trabalhou especificamente com os dados da PME, Pesquisa Mensal de Emprego, do IBGE. Trabalhamos com os microdados. Depois, eu quero enfatizar esse microdados aí, um pouquinho lá na frente. Então, essa foi a primeira das bases externas que a gente usou para fazer a avaliação. Aqui tem um pouquinho da descrição da PME. O mais importante que eu queria enfatizar aqui é, como o próprio nome dela sugere, ela é uma pesquisa mensal. E a gente tinha dados disponíveis justamente para esse período que a Michelle foi lá entrevistar o grupo de tratamento, que é o segundo semestre de 2013. Então, a gente conseguiu pegar, na PME, jovens que não passaram, a princípio, pelo tratamento. Essa é a grande vantagem da gente trabalhar com a PME. Ela tem informações sobre o mercado de trabalho e sobre escolarização dos indivíduos. A abrangência geográfica é que acabou atrapalhando um pouco, mas a gente deu um jeitinho também. Porque, ela só cobre as regiões metropolitanas do Brasil. Na verdade, são essas seis regiões metropolitanas: Recife, Salvador, Belo Horizonte, Rio de Janeiro, São Paulo e Porto Alegre. Uma das coisas interessantes também da PME que ajudou bastante a gente é o fato de ela voltar no mesmo domicílio. Ela entrevista um domicílio por quatro meses, fica oito sem ver e depois volta mais quatro meses na casa do indivíduo. Com isso, a gente conseguiu recuperar algumas informações do passado desses indivíduos que foram bastante úteis aqui para a gente. Por que eu falei em microdados? Nessa pesquisa PME, o IBGE vai no domicílio das pessoas. Então, a gente está trabalhando com microdado, com o dado que foi obtido de acordo com a unidade de coleta mesmo, que é o domicílio. Especificamente, a gente está trabalhando com jovens, que moravam nesses domicílios e que foram entrevistados entre Agosto e Novembro de 2013, para dar conta do tempo da Michele. Eram indivíduos que tinham idade entre 18 e 20 anos, que é justamente o corte aqui que a Michele está olhando. E que tinham, pelo menos, o Fundamental completo. Um dos requisitos para participar do programa do CAMP é ter a oitava série. Então, a gente fez esse recorte aqui também. O que a gente está tentando fazer aqui? Aproximar o perfil desse grupo de controle ao perfil do tratamento. Bom, e aí com quais regiões que a gente iria trabalhar? O PME sobre regiões metropolitanas e esse programa da Michele é no Guarujá! Então, como é que a gente iria fazer, nesse caso? Vamos escolher São Paulo, já que Guarujá está dentro de São Paulo? Mas aí, São Paulo é muito dinâmico e etc. Enfim, o que a gente resolveu fazer então? O grupo de controle, pensando na sua definição, é um grupo que tem que representar os tratados na ausência do tratamento. Então, eu precisava que esses indivíduos estivessem em regiões parecidas com a do Guarujá! Ainda mais porque a gente estava interessado especificamente em indicadores de mercado de trabalho!

Áudio Apresentador: Tem que ter uma dinâmica parecida!

Áudio Convidada 1: Exatamente. O controle representa os tratados na ausência do tratamento. Então, tem que ser alguma coisa bem próxima disso. E aí, qual foi a nossa ideia para se escolher essas regiões metropolitanas? Bom, decidimos escolher aquelas que eram mais parecidas com o Guarujá em termos dessa dinâmica. E como a gente pôde fazer isso? Aí, a gente foi para os dados do Censo Demográfico do IBGE, que foi a segunda base externa que a gente está olhando nessa avaliação.

Áudio Apresentador: Elaine, deixa eu ver se estou entendendo o que vocês fizeram. Parte-se da PME e começa a se procurar um conjunto de pessoas que poderiam ter participado da formação que o projeto da Michele ofereceu no Guarujá. São pessoas que estão em outras regiões ou em outras cidades, mas que têm um perfil muito parecido, mas que certamente não participaram da formação que ela ofereceu. Além disso, você precisa garantir que essas pessoas estejam em uma cidade com uma dinâmica de mercado de trabalho e um perfil de empregabilidade parecido com quem participou do programa da Michele para, daí sim, poder comparar e garantir que eles são mais parecidos possível. Você parte da PME e pega algumas pessoas que têm essas características parecidas com quem participou do programa da Michele. E, para refinar ainda, para deixar eles ainda mais parecidos em relação à dinâmica do mercado de trabalho, que é um dos indicadores de resultado do programa, você complementa com outra base de dados, que é o Censo do IBGE de 2010 pra restringir ainda mais o seu grupo de comparação e deixar ele mais parecido ainda. É isso?

Áudio Convidada 1: É exatamente essa a ideia. Foi exatamente isso que a gente fez. Sobre o Censo Demográfico, o que eu mais quero enfatizar como principal característica é o fato de ele ser censitário, como o próprio nome sugere. O ideal é que você consegue falar de municípios. Então, eu consigo falar do Guarujá. Eu consigo comparar o Guarujá com região metropolitana de São Paulo, do Rio de Janeiro, de Recife e assim sucessivamente.

Áudio Apresentador: Eu só queria trazer uma pergunta de uma pessoa que está acompanhando aqui a nossa discussão. Ela quer saber se, para dar consistência na pesquisa, quando se usa essa base de dados externas, é necessário partir do questionário da base externa para construir o seu questionário de pesquisa. Como você faz essa relação entre a base de dados, o questionário e as suas questões?

Áudio Convidada 1: Excelente questão. Se você decidiu que você vai trabalhar com a PME, o ideal é usar o questionário da PME. A Michele teve que ligar para as pessoas. E ela pôde fazer as mesmas perguntas e da mesma forma que foram feitas na PME!

Áudio Apresentador: Para garantir que a resposta vai ser dada da mesma forma.

Áudio Convidada 1: Excelente pergunta. É isso aí mesmo. O que a gente não consegue é fazer o contrário! (risos). Infelizmente. Mas, perfeito! É essa a ideia. O ideal é isso mesmo. Se escolheu a base, já monta o seu campo, porque você vai ter que colher dados dos seus tratados, tendo por base essa outra pesquisa.

Áudio Apresentador: Obrigado, Dalton, pela sua participação!

Áudio Convidada 1: A informação sobre população brasileira é mais a título de curiosidade. Depois, as pessoas podem dar uma olhada. Só uma coisa que me chamou a atenção é que, lá em 2010, éramos 190 milhões. E agora, isso é de ontem, a gente já tem 203 milhões de pessoas vivendo no Brasil. O site do IBGE trás uma atualização e online da população brasileira. É bem legal. Está bem na cara dos site. Você entra no site e está lá. Só a título de curiosidade. E aí, como é que a gente fez essa escolha? Pegamos o Censo e construímos vários indicadores. Aqui estão os indicadores que a gente construiu. São 12 indicadores, olhando para as pessoas de 18 a 20 anos de idade e também olhando para as pessoas com 10 anos ou mais. Então, para a população como um todo e para a faixa específica que a gente estava interessado. E a gente calculou todas essas coisas aí: proporção de pessoas ativas, taxa de desemprego, salário no trabalho principal, porcentagem de pessoas desempregadas que tinham carteira de trabalho assinada, distribuição pelos setores de atividade econômica (agricultura, indústria e serviços diversos). Enfim, diversos indicadores para o Guarujá e todas as seis regiões. Aí, a gente escolheu aquelas regiões que tinham os indicadores mais próximos aos do Guarujá. As regiões que a gente escolheu foram: Rio de Janeiro, São Paulo e Recife. Eu queria até que a Michele comentasse um pouquinho isso, porque foi uma das coisas que a gente decidiu juntas.

Áudio Convidada 2: No início, a gente tinha concordado que iria usar os dados da PME. Beleza, tudo ok. E aí, de repente, falou-se que a gente teria que usar os dados do Rio de Janeiro, São Paulo e Recife! Aí eu disse: “Como assim? Por quê?”. E aí depois, a Elaine mostrou para a gente todas as comparações que ela fez para validar essas três regiões, com base naqueles indicadores. E aí, de fato, quando as comparações foram sendo feitas, a gente percebeu que essas três cidades realmente eram parecidas e que mais se aproximavam com o Guarujá. Mas, quando a gente falou no início, causou-se bastante estranheza. A gente ficou confuso.

Áudio Apresentador: Isso que vocês estão contando é uma coisa que eu acho interessante. Com certeza, a familiaridade e o conhecimento que os gestores dos programas têm deste tipo de base de dados são pequenos. A gente não trabalha com isso no nosso dia a dia. Por outro lado, quando você vai conversar com o avaliador ou com o pesquisador, que está acostumado a trabalhar com esse tipo de informação, consegue-se mostrar a importância, porque a informação é boa para se usar ela na avaliação de seus projetos... Mas, acho que também traz o outro lado, de que a Elaine fala. Não adianta ela sentar lá e fazer um relatório. Às vezes, vocês também podem dar uma dica: “isso aqui está parecido, mas você considerou essa outra questão aqui?”.

Áudio Convidada 1: “Esses indicadores são suficientes para garantir que as regiões sejam parecidas?”

Áudio Apresentador: Isso. Acho que isso é muito bacana. Eu queria só reforçar uma coisa: como a gente não vai entrar a fundo nos indicadores e na questão dos resultados, a ideia aqui desse encontro é focar na questão da escolha do grupo de tratamento e do grupo de controle. E a gente também propôs aqui um exercício aplicado para quem está acompanhando nosso encontro. Então, vou pedir para a gente ir finalizando essa parte da escolha dos grupos de tratamento e de controle da avaliação, para a gente entrar no exercício.

Áudio Convidada 2: Antes da Elaine dar prosseguimento, só um comentário quanto a isso que foi falado. É muito importante mesmo porque, de fato, a gente não tinha conhecimento a fundo da pesquisa. E ter passado pelo curso é bastante importante. Senão, a gente não conseguiria nem saber o que nós queríamos nessa avaliação, não é verdade? A gente estava até conversando hoje. Se a gente não tivesse feito o curso de avaliação, a gente não saberia nem o que esperar e por onde começar. Então, até para escolher o grupo de tratamento e o grupo de controle, a contribuição da entidade ao trabalho da Elaine... Isto tudo só foi possível pelo conhecimento que foi adquirido durante o curso.

Áudio Convidada 1: Isso facilita bastante a conversa e a gente fica em uma mesma sintonia.

Áudio Apresentador: Só vou reforçar muito pontualmente que o relatório, que deve ser finalizado ainda neste mês, estará disponível na rede assim para quem quiser ler e entender outras partes e outras questões que estão nesse processo de avaliação. As pessoas vão poder acessar, fazer download, ler com calma e mandar sugestões, dúvidas e comentários. Então, esse relatório vai ser disponibilizado na rede para quem quiser baixar. Ele ainda não está finalizado, mas isso vai acontecer até o final do ano. Então, quem quiser voltar e ver outras questões como os principais indicadores e os principais resultados encontrados pode acessar o relatório.

Áudio Convidada 1: Perfeito. Então, dentro dessa ideia, a gente trouxe aqui um exercício bastante simples de como a gente faz para tirar aquelas informações da ficha de cadastro e transformar isso em um banco de dados para você poder usar e trabalhar com aquela informação. Muitas das informações que a gente usou aqui na avaliação vieram, inclusive, desse cadastro inicial da Michele. Acho legal falar isso. Depois, a gente teve que coletar, obviamente, os indicadores atuais. Mas, muitas coisas foram usadas desse cadastro inicial. Bom, o que a gente propôs aqui de exercício? Pegamos a ficha cadastral que a Michele usa para fazer a seleção dos jovens, que está no papel. Então, como é que a gente pode passar essa ficha para o Excel?

Áudio Apresentador: Foi um exercício que, na verdade, a avaliação também começou desse processo, de ver as informações que estavam disponíveis e decidir como usar, né?

Áudio Convidada 1: Exato. De como digitar essas informações para a gente poder manipular esses dados. Então, é um exercício de como se faz essa transição, do papel para o Excel. A ideia é trabalhar esse aspecto com vocês. Como construir um banco de dados. Aqui na tela, está a ficha. Na verdade, são trechos da ficha que a Michele usa para fazer o processo de seleção dos jovens. Neste exemplo, são os meus dados, de mentirinha. Eu não nasci em 99, infelizmente! (risos). Nasci só um pouquinho antes! Então, são as primeiras informações. Lembrando que essa ficha também está sendo disponibilizada para vocês fazerem download e acompanharem esse exercício à distância. Então, vamos começar por aqui: nome e gênero, sexo feminino ou masculino. Vou pegar isso aqui também, o dia, mês e o ano de nascimento. Como é que a gente faria para transformar isso em um banco de dados? A primeira coisa que eu queria chamar atenção é que eu vou construir com vocês um dicionário, que vai ajudar a vocês olharem para essas variáveis que a gente vai construir e depois vocês conseguirem ler e entender essas variáveis. Então, isso aqui é o nosso dicionário. Depois, eu vou mostrar para vocês como seria a carinha disso no Excel.

Áudio Apresentador: É como se fosse um índice do banco que você vai montar no Excel.

Áudio Convidada 1: Exatamente. Então, as duas primeiras informações que aparecem na ficha nem tem aqui. Mas, elas são importantes! Seria o ano da coleta, ou seja, quando você está fazendo esse levantamento. No caso da Michele, existe uma diferença aqui, porque ela coleta essas informações ano anterior ao ano que os jovens começam o Integração. Como eu mostrei naquele slide, o processo de seleção foi em 2009 e os jovens começaram o Integração em 2010. Então, a coleta da informação em um momento do tempo. Essa informação vai servir para quê? Para que o jovem confirme a sua pretensão de participar, porque não necessariamente ele vai ser selecionado. Aqui é só a inscrição ainda. Então, eu deixei essas duas informações do ano de coleta e o ano em que o jovem pretende participar do Integração. Na primeira coluna, são nomes que você poderia dar para essas variáveis. Pode ser uma definição, sem qualquer menção àquilo que cada um significa. Poderia ser simplesmente colocar questão 1, questão 2, questão 3 e questão 4. Ou pode-se dar nomes, como estes do exemplo: “Dia Nascimento”, “Mês Nascimento”, “Ano Nascimento”. São dois exemplos possíveis. Um seria um nome mais neutro, vamos dizer assim; e o outro, um nome que tem mais a ver com o que aquela variável significa.

Áudio Apresentador: Um apelido!

Áudio Convidada 1: Apelido. E, na terceira coluna, o que de fato ela é, a descrição, nome e sobrenome da variável. Não tenha preguiça de escrever, porque isso só vai te ajudar. A gente acha que a gente vai lembrar de tudo, mas a gente não vai lembrar de tudo.

Áudio Apresentador: Às vezes, não é nem a gente que vai usar, né?

Áudio Convidada 1: Vamos facilitar a vida da pessoa que vai usar os dados! Exatamente. Eu coloquei uma outra coisa aqui, ao lado do nome. Eu até coloquei uma estrelinha do lado, porque a Michele não tem essa informação e é uma coisa que a gente sempre tem que se preocupar. A linha no Excel identifica uma pessoa. O nome pode ser essa identificação, mas nome é uma coisa, às vezes, complicada. Pode haver homônimos, pessoas com nomes iguais. Então, é sempre interessante você ter uma forma de identificar de forma única aquele indivíduo. Por exemplo, o jovem começa no Integração e depois vai para o Aprendiz. Não existe informação desse jovens ao longo do tempo e a Michele quer relacionar essas informações. Só que ela coleta bancos separados. Como é que ela faz para juntar tudo isso? Se houver o CPF do jovem, facilitou a vida dela.

Áudio Apresentador: Na prática, como vocês faziam, Michele?

Áudio Convidada 2: Neste momento, muitos deles não têm CPF. Não têm nem RG.

Áudio Apresentador: Porque são jovens, né?

Áudio Convidada 2: Justamente. Aí, eles chegam com o protocolo, mas nem sempre o protocolo tem esse registro. Depois, no outro momento, aí ele já tem o documento, porque se ele trouxe o protocolo, ele vai retirar aquele documento em algum momento. Aí sim, a gente alimenta o banco de dados. Mas, na ficha, não existe esse dado porque muitos não têm. Às vezes, quando a gente fala que ele vai precisar de um documento para a inscrição, ele vai lá e retira o documento.

Áudio Convidada 1: Aí, a dica de colocar essa informação no banco de dados. Por mais que não se tenha coletado isso no momento da inscrição, você coleta depois. Então, alimente o seu banco de dados. Sua vida vai ser mais fácil.

Áudio Apresentador: Vai facilitar você acompanhar ele, ao longo dos anos, tendo o CPF como a forma de identificar cada pessoa. exata

Áudio Convidada 1: Exatamente. Então, esse é o primeiro ponto importante de se enfatizar, que é a identificação do sujeito. Aí depois, vieram as perguntas de sexo e a data de nascimento. No caso de sexo, eu vou atribuir um número ao invés de escrever “homem” ou “mulher”. Imagina que você está digitando isso! Imagina escrever “mulher” em 800 fichas! O que você vai fazer você? Você vai criar um código. Neste caso, você atribui 1 para “homem” e 2 para “mulher”. Uma outra forma de a gente fazer isso é gerar uma variável para cada. Então, 1 para “homem” e 0 para “mulher”, por exemplo. Se eu construo a variável desse jeito e eu faço uma média dessa variável, eu tenho aqui exatamente a porcentagem de homens. Isso pode facilitar a minha vida. Tanto faz aqui. O que é importante é vocês não escreverem “homem” ou “mulher”, porque aí vocês vão perder mais tempo.

Áudio Apresentador: Então, eu acho que aqui é legal reforçar que o exercício que a gente está fazendo é a transformação das informações que estão em uma ficha cadastral preenchida no papel para um banco de dados. Esses slides que a gente está trabalhando aqui ainda não são o banco de dados, é o índice. É um dicionário do que vai ser o banco de dados. Então, primeiro você identificou, inseriu o ano de coleta inseriu a informação de quando que uma pessoa pretende participar do projeto, dados cadastrais e tal. Daí, algumas informações você já começa a coletar da sua ficha cadastral e aqui você está contando como se deve descrever na hora que for lançar lá no banco. Isso aqui ainda não é o banco.

Áudio Convidada 1: Não é o banco. Esse outro aqui que é o banco. Isso aqui é o Excel. Quanto à questão do dia, mês e ano de nascimento, não ponham isso numa única célula! Quebrem essa informação! Fica muito mais fácil trabalhar depois. Muito mais fácil! Então, em linhas separadas, voc6e coloca dia, mês e ano de nascimento. Depois, eu até coloquei, nos slides mais à frente, uma formulazinha fácil para calcular a idade da pessoa, que é simplesmente o ano atual menos o ano em que ela nasceu. A gente só quer saber se ela fez aniversário ou não. Isso é simples. Então, trabalhem desse jeito. E o mais importante: sempre tenha uma identificação para quem não respondeu à pergunta! Para quem deixou em branco! Neste caso aqui, 99 significa “não declarou”. Vamos ver agora a questão do estado civil, que eu descrevi como “situação conjugal”. Então, 1 se é casado, 2 se é solteiro, 3 se mora com o companheiro e 99 se a pessoa não declarou.

Áudio Apresentador: Dialogando com a pergunta que a gente recebeu, você poderia ter essa mesma informação coletada de uma outra forma, né? Talvez usando como essa pergunta lá na própria PME ou no Censo, com as mesmas alternativas e formas de perguntar.

Áudio Convidada 1: Poderia. Olha que interessante o que você colocou! Essa informação, por exemplo, não existe na PME. Não se pergunta o estado civil da pessoa. Eu até conseguiria, por inferência ou olhando o banco de dados, saber se ela tem um cônjuge ou não. No Censo Demográfico, existe essa pergunta. Na PNAD, que é uma pesquisa anual que alimenta o Censo, passou a ter agora. Não tinha até a década passada, mas passou a ter a partir de 2012 ou 2013. E a informação quanto a filhos? Neste caso aqui, a pessoa respondeu “sim”. Podia ter acontecido de uma outra pessoa ter respondido “2 filhos “. Então, o que é legal aqui? É se quebrar essa informação. Primeiro, tem filhos ou não tem filhos? E depois, dado que tem filhos, quantos filhos a pessoa tem? Se a gente quebra isso, consegue-se trabalhar melhor. Por exemplo, a gente podia estar interessado somente em saber quantos por cento têm filhos, independente da quantidade. Então, aqui a ideia foi fazer essa quebra.

Áudio Apresentador: Ou se poderia perguntar só a quantidade de filhos! Se é 0, 1 ou 2!

Áudio Convidada 1: Ali, pergunta-se se tem filhos! Então, 1 se tem, 0 se não tem e 99 se não declarou. Sempre, tem que ter o 99! E quanto ao número de filhos, 0 se ele não tem filhos e 999 se ele não declarou. Acho difícil alguém ter 99 filhos! (risos). Pode ter 9 filhos, mas 99!! Então, para não ter erro, eu coloquei 999. Bom, aí vamos trazer tudo isso para o banco de dados. No caso de se ter filhos, neste exemplo aqui, a pessoa respondeu que tinha filhos mas não informou quantos. Então, eu sei que ela tem filhos, mas eu não sei quantos filhos ela tem. Então, por isso que ficou assim desse jeito: “tem filhos? Sim. Quantos filhos? Não sei”. Então, eu coloquei código 999 de “não declarou”. Não quer dizer que ela tenha 999 filhos! É que a gente não sabe quantos filhos ela tem.

Áudio Apresentador: E não quer dizer que ela tenha 1 filho, também. O número 1 aí quer dizer que ela tem filhos.

Áudio Convidada 1: Exatamente! Por isso, do dicionário! Imagina se você põe isso na mão de alguém sem dicionário! Você pode atrapalhar a vida dessa pessoa.

Áudio Apresentador: O que você está fazendo é transformando aquelas respostas escritas em texto em números e códigos. É uma codificação.

Áudio Convidada 1: Exatamente. Essa é a ideia de se usar números, porque depois fica mais fácil para a gente trabalhar. A Michele fez Matemática e sabe bem o que eu estou falando! (risos).

Áudio Apresentador: Michele, não sei se vocês já tinha usado as informações da ficha cadastral de uma maneira mais sistematizada, com um uso mais específico!

Áudio Convidada 2: Assim não.

Áudio Apresentador: Eu acho que isso também é interessante, porque, conforme o seu uso, você vai dando sentido. Muitas vezes, vai-se recolhendo informação e não necessariamente se dá um uso específico. E se não existe essa necessidade, não se entende a importância daquela informação.

Áudio Convidada 1: Aliás, isso é uma das primeiras coisas. Tudo que está aqui tem uma servidão. Tudo tem um porquê. Isso tem. O porque de aquelas perguntas estarem ali.

Áudio Convidada 2: O que a gente conversava bastante sobre o que faltou foi justamente juntar esses dados, organizá-los melhor. Isso é o que a gente tem buscado depois da avaliação.

Áudio Convidada 1: Exatamente. Até porque as informações ainda estavam no papel!

Áudio Professor: Elaine, tem uma perguntinha para você, que é assim: se a pergunta não está na base externa que você vai usar depois para o grupo de comparação, o que a gente faz com ela na avaliação de impacto ou na construção dos indicadores?

Áudio Convidada 1: Infelizmente, a gente não consegue usar. Se a gente não tem informação para os dois grupos, para o tratamento e para o controle, a gente não consegue trabalhar com essa informação.

Áudio Apresentador: O máximo que se consegue fazer é tabular e ver como está o seu grupo de tratamento.

Áudio Convidada 1: Exatamente. Isso eu posso fazer sempre. Mas não para usar para a avaliação de impacto como indicador. Por exemplo, a Michele tem controle de frequência dos indivíduos na escola. Olha, que legal se a gente pudesse ver isso! Mas, na PME não tem informação da frequência escolar. Então, a gente só conseguiu avaliar se frequenta ou não frequenta. Na verdade, a gente acaba perdendo parte da informação. Bom, dando sequência aqui. A outra informação era sobre religião. De novo, podemos quebrar isso aqui, perguntando tem ou não tem. E se tem, qual é a religião. Aqui, vale uma dica. É sempre legal, quando a gente for tabular, já pensar em possíveis respostas. Imagina que não existe uma pessoa só digitando. É um monte de pessoas digitando! Então, vamos facilitar a vida. Possíveis respostas: não, sim e não declarou. Depois, a pergunta “qual a religião?“. Aqui, eu coloquei algumas coisas. Longe de se querer exaurir todas as possibilidades. Se a gente já faz algum tipo de categorização desse tipo, ficará mais fácil para digitar. Por exemplo, você não vai escrever “católica”. Vai escrever 1. Tem que se pensar isso aqui. Eu até busquei no Censo Demográfico, mais o negócio é muito grande. Eu não saberia especificar todas as possibilidades aqui.

Áudio Apresentador: Às vezes, o próprio gestor do projeto tem clareza de qual é o nível da informação que é importante e de que ele precisa.

Áudio Convidada 1: Existem algumas religiões, por exemplo, em que a pessoa não trabalha de sexta-feira. A pessoa guarda sexta ou sábado, por exemplo. A Michele gente precisa saber disso, porque depois ela vai colocar esse menino para trabalhar. E aí, ele não vai trabalhar? Continuando aqui. Olhem essa pergunta da parte debaixo: “você faz já fez ou faz serviços voluntários? Quais? Onde?”. Isso aqui são três perguntas diferentes e que a gente tem que quebrar! Primeiro, fez ou não fez. Depois, quais foram esses serviços voluntários e, depois, onde foi feito. Então, de novo, a gente quebrou. Neste caso, a pessoa disse: ”sim, no meu trabalho”. Mas, ela não especificou quais serviços voluntários ela fez! Então, na verdade, aqui haveria um pouco de restrição de informação. E o que a gente fez foi isso. A gente quebrou a informação em: fez ou não fez, quais serviços e onde os serviços foram feitos. A mesma coisa para as outras variáveis que têm aqui, relacionadas à prática esportiva, passatempos e atividades culturais. É sempre a mesma ideia. Primeiro, pergunta-se se tem ou não tem. Depois, abre-se para perguntar quais são as opções e qualificar um pouco mais. Eu vou passar especificamente para esse ponto aqui da escolaridade das pessoas. Eu acho que é um ponto importante também para a gente perguntar.

Áudio Apresentador: Legal! E aí, na sequência, a gente encaminha porque a gente tem mais 10 minutos. Está bom?

Áudio Convidada 1: Está bom! Então, a questão da escolaridade. Aqui, ela tinha feito a pergunta sobre a série que o indivíduo está frequentando. Aqui, de novo, é aquela ideia. A gente já sabe as possíveis respostas. Esses meninos, quando estão fazendo a inscrição, ou estão na oitava série ou no primeiro ano do Ensino Médio. Então, a gente já abre as categorias de acordo com que se espera ouvir de resposta. Aqui, eu abri desse jeito: está na sétima série do Ensino Fundamental, está na oitava série do Ensino Fundamental e até abri umas outras possibilidades aqui. Mas, neste caso, a Michele já sabe que a maior parte das pessoas estão concentradas na sétima ou oitava. Por isso, que a gente não está colocando aqui desde a primeira série!! (risos). Depois, aquelas outras questões. Aí, a pergunta: “teve bolsa? Sim ou não?”. Ou ele teve ou não teve. Mas aí, tem sempre que se preocupar com as outras possibilidades. Essa pergunta não faz sentido para quem não estudou em escola particular! Então, eu usei o código 9 aqui se essa pergunta, na verdade, não era aplicável para o indivíduo. Se ele não estudou, por que então ele vai responder? E isso é diferente de uma pessoa que estuda na escola, mas não respondeu se tem bolsa. Os dois vão deixar em branco. O papel da pessoa que está construindo esse banco de dados é justamente saber fazer essa diferenciação, identificar essa diferenciação. Gente, isso aqui é: como eu faço para sair do papel e ir para o Excel! São formas de facilitar a nossa vida depois. Essa era a ideia. Eu vou deixar esse finalzinho aqui para vocês. A gente vai disponibilizar o Excel bonitinho, com todas as linhas feitas. Mas, tentem depois fazer sozinhos.

Áudio Apresentador: É um exercício.

Áudio Convidada 1: É um exercício. Só para finalizar, eu queria destacar algumas coisas aqui que eu acho que são importantes, para a gente fazer um fecho. Pensem em como vocês vão usar aquela informação depois. Vou usar o exemplo da religião. De repente, ali para a Michele, era importante apenas identificar as pessoas que eram adventistas, por exemplo. Que são as pessoas que guardam o sábado. De repente, ela podia colocar informação desse jeito: 1 se é adventista e 0 se não é. Estou dando um exemplo. Então, pensem em como vocês vão usar a informação na hora em que vocês forem digitar. Segundo, pensem em todas as possíveis respostas que o entrevistado pode dar.

Áudio Apresentador: Não só na hora em que você for digitar, mas na hora em que você for perguntar!

Áudio Convidada 1: Exatamente. Que é um outro ponto que eu ia falar. Tentem sempre já dar opções! Mostrem as categorias para as pessoas, porque vai ajudar muito.

Áudio Convidada 2: A gente fez isso quando fala sobre o curso. Quando a gente questionava se fez algum outro curso, muitas vezes eles deixavam em branco ou falavam que não. E a gente ia estimulando: “nem Inglês? Nem Informática?”. Aí, alguns respondiam: “Ah, eu fiz esse!”. Então, a gente passou a colocar algumas opções.

Áudio Convidada 1: Antes, não havia. A gente perguntava: “fez algum outro curso?”. Aí, simplesmente deixava-se em branco.

Áudio Convidada 2: A gente ficava realmente na dúvida: “será que ele não fez ou ele não declarou?”.

Áudio Convidada 1: Exatamente. Então, tentem sempre fazer as perguntas com as possíveis respostas já discriminadas em categorias, ou seja, tentem montar o questionário já com as categorias. Se não fez assim, já era! Quando você for digitar, você tenta fazer isso, tenta transformar as respostas já em categorias, que vai ficar muito mais fácil para se trabalhar depois. Não deixem de construir um dicionário. A gente falou disso. Não somente porque você vai esquecer, mas porque uma outra pessoa possa usar. A gente pode ajudar as outras pessoas a trabalhar mais fácil com os dados. É só a gente fazer um dicionário. Identifiquem sempre respostas não declaradas. Eu enfatizei bastante a questão do 99. É diferente uma pessoa que não respondeu de uma pessoa para qual aquela pergunta não se aplica! Por exemplo: “você trabalha? Sim ou não? Qual o seu salário?”. Se a pessoa respondeu “sim, eu trabalho” e ela deixou em branco o salário significa que ela não quis dizer quanto ela ganha. O que é completamente diferente de uma pessoa que responde “não, eu não trabalho”. Essa pessoa não tem salário! São coisas diferentes e têm que se dar um jeito de identificar isso na sua base. Esse é o ponto. E, por último, a coisa da identificação. Procurem sempre ter um identificador único para os seus entrevistados. Se não for um CPF, só existe então o nome da pessoa. Muito cuidado com esse nome! É esse nome que está identificando a sua linha, o seu indivíduo. Então, muito cuidado! Justamente para poder juntar informação depois. Se não, vai ficar muito trabalhoso depois você fazer essa compatibilização das informações. Eu acho que era isso mesmo.

Áudio Apresentador: Quanto ao compartilhamento dos principais resultados da avaliação, ouvindo vocês falarem me vêm três coisas, que é legal também reforçar. A primeira é que a gente estava falando de dois olhares que são complementares. Uma coisa é o olhar do gestor, que precisa de informações sobre quem participa do projeto e informações cadastrais, que são informações importantes para a gestão do seu programa; o outro olhar é o olhar do avaliador, o uso que se vai dar para essas informações e a forma como essas informações são registradas e sistematizadas para que elas possam ser utilizadas no processo de avaliação. Esses dois olhares não disputam entre si, mas eles também não acontecem naturalmente. Então, tem que ter essa conversa, tem que ter esse planejamento, para que a informação, que é importante para o gestor ter acesso, esteja registrada e sistematizada de um jeito, que depois o avaliador também possa se apropriar e usar essas informações.

Áudio Convidada 1: Esse é o melhor dos mundos. É bom para todo mundo.

Áudio Apresentador: Chegar a uma linguagem, a uma sistematização, a uma forma de perguntar e de registrar que diga tanto para o gestor quanto para o uso futuro possível de uma avaliador. Outra questão que surge para mim é a ficha. Ela é um instrumento vivo. Se você fez a ficha uma vez, não quer dizer que você vai voltar para ela nunca mais! Tem que se ver as informações que ela gera, se as informações estão bacanas, se elas te ajudam na gestão do seu programa. A Michele contou esse caso, quando ela perguntava se o jovem fez alguma formação e ninguém dizia nada. Daí, quando se começou a estimular e oferecer alternativas, vinha cursos de Inglês, de auxiliar administrativo... Então, a ficha, uma vez feita, precisa-se estar sempre em contato e vendo se as informações estão bacanas e se existe alguma outra forma de perguntar a mesma informação. E aí, disso vem um terceiro ponto, que a gente já falou aqui também. Às vezes, dependendo da situação, você pode se inspirar em questionários que existem. Pode-se ir no próprio questionário da PME, do Censo ou de outras bases de dados que são públicas, disponíveis e que foram estruturadas pensando em um uso futuro e que podem inspirar e facilitar a sua forma de fazer perguntas.

Áudio Convidada 1: Esse ponto é muito legal, Antônio. Esses órgãos fazem pesquisas há muito tempo! Então, vamos copiar o que eles estão fazendo! Vamos olhar lá o questionário e ver como eles estão perguntando. Isso só vai facilitar a nossa vida.

Áudio Apresentador: Copiar literalmente talvez não seja o sentido. Você pode se inspirar.

Áudio Convidada 1: Eu digo copiar porque não há problema nenhum. Na verdade, é a forma mais correta de você fazer a pergunta porque eles já testaram isso! Dependendo da ordenação das perguntas, as respostas podem ser diferentes. Há coisas muito doidas! Então, vamos olhar para quem sabe fazer e pegar as experiências mesmo.

Áudio Apresentador: Bom, então agora a gente está indo para os encerramentos. Primeiramente, vamos compartilhar os resultados da avaliação.

Áudio Convidada 1: Na verdade, aqui é só para dar um gostinho.

Áudio Apresentador: Estimular para que depois o pessoal baixe o relatório completo.

Áudio Convidada 1: Exatamente.

Áudio Apresentador: E também tem um pouco a referência dos usos que a gente fez de todas as informações.

Áudio Convidada 1: Isso. Como entrou o Censo Demográfico, o PME... Exatamente. Bom, então bem rapidamente, eu vou enfatizar os resultados nos indicadores que foram positivos. A gente não encontrou resultados para os outros indicadores que a gente colocou aqui. Eu só estou enfatizando o que a gente encontrou de positivo, mas foi muito bom! Certo, Michele? Então, primeiramente, a gente observou que de fato o projeto tem um impacto importante sobre a probabilidade de emprego desses jovens. Parece que os jovens que passaram pelo CAMP estão empregados em uma proporção maior relativamente aos jovens do grupo de controle. Essa diferença em termos de probabilidade de emprego é de 20 pontos percentuais, ou seja, os jovens do CAMP têm 20 por cento a mais de probabilidade de serem empregados após o serviço. Só para dar um exemplo, 60 por cento dos jovens do grupo de controle têm um emprego. O que mostrou a nossa avaliação? Que, no caso das pessoas do grupo de tratamento, 80 por cento delas estavam empregados! Que são os 20 pontos de diferença. E a outra coisa importante também foi que as estimativas indicaram um resultado positivo para as chances de o jovem estar frequentando o Ensino Superior, o que foi um resultado bastante legal. E esse resultado é um resultado muito forte. A gente estava comparando com Recife, São Paulo e Rio de Janeiro! Eu não contei para vocês, mas a gente tem um monte de possibilidades de testes. Ao todo, tinham-se 20 estimativas, só para vocês terem uma ideia. No caso do Ensino Superior, as 20 foram positivas, estatisticamente diferente de zero. Inclusive, a partir desse resultado aqui de impacto sobre Ensino Superior é que a gente construiu o retorno econômico. Em função dessa maior escolaridade, esses jovens vão ter maiores salários no futuro. Então, a gente está comparando isso com os salários que esses jovens teriam, caso não tivessem passado pelo programa, ou seja, caso tivessem uma escolaridade menor. A gente também fez algumas simulações diferentes e a taxa ficou ali entre 6 e 9,5 por cento ao ano, que também é um resultado bastante legal. Quero enfatizar dois detalhes aqui de quão poderosas as bases externas de dados podem ser. O pessoal ingressa no Ensino Superior. É o que a gente está estimando hoje. Mas, a gente não sabe quantos vão terminar. Não serão todos possivelmente. Aí, a gente foi lá no Censo da Educação Superior, do INEP, buscamos uma taxa de conclusão e aplicamos essa taxa de conclusão para os dados da Michele. A gente disponibiliza isso no relatório, tudo legal. Uma outra coisa é que a gente precisava calcular os fluxos de salários desses jovens. Então, são cenários que a gente está construindo. Porque esses jovens tiveram uma maior escolarização, eles têm maior salário. Mas, que salário é esse? Precisa-se de valores. Aí a gente usou PNAD. Então, a gente usou quatro bases externas na nossa avaliação. A gente trabalhou com a PME, Censo Demográfico, Censo da Educação Superior e PNAD. Com isso, a gente mostra que elas podem ser muito úteis. Só pra finalizar, existe um material que também está sendo disponibilizado e que tem um pouquinho de descrição dessas bases.

Áudio Apresentador: Elaine e Michele, a gente vai então encerrar o nosso encontro. Antes de passar a palavra para vocês fazerem as considerações finais, eu queria reforçar para quem participou do nosso encontro pelo computador que tem um espaço para fazer uma avaliação para declarara se gostou ou não, para mandar comentários e sugestões. Para a gente é muito importante para pensar os próximos encontros e aprimoramento desse formato. Além disso, reforçar a mensagem de que a gente está com o edital de 2014 aberto. Então, quem foi aluno do curso de avaliação econômica, quer se inscrever e participar de um processo de seleção para receber uma consultoria de um especialista em avaliação, trabalhando em parceria com o consultor, entra na rede e se inscreva no edital. A gente prorrogou as inscrições até o dia 8 de dezembro de 2013. Então é isso. Eu queria agradecer a participação de vocês e saber suas considerações e comentários finais.

Áudio Convidada 1: Ai, eu só quero agradecer também a oportunidade. Eu acho esse trabalho de fazer avaliação bastante legal, porque realmente é uma coisa importante. Quando eu dava as aulas no curso de avaliação, eu sentia isso. As pessoas gostavam daquilo, porque aquilo pode ser uma ferramenta muito legal para o gestor. Só de ter que fazer, por exemplo, a estatística descritiva do tratamento e do controle, sem fazer mais nada, isso já é um avanço. Então, eu acho que os insights que saem desse ferramental de avaliação econômica podem ser bastante úteis para o gestor. Então, é isso. Minha dica é apostem nisso, busquem informação sobre isso, porque eu acho que vale. E agradecer a oportunidade.

Áudio Convidada 2: Nós também temos muito a agradecer pela oportunidade que nós tivemos, até para que a gente tivesse essa avaliação mesmo. Muitas vezes, nossa avaliação fica muito no subjetivo. A gente acredita que está desenvolvendo um bom trabalho e, por meio de uma metodologia, saber que há resultados positivos. Quando o programa se iniciou, a gente não sabia que poderia dar esses resultados. E ter certeza, saber que vai dar alguma coisa é o primeiro passo, até para gente saber se está no caminho certo. Se sim, a gente prossegue. Se não, corrige. São 46 anos, como eu falei no início. Então, isso era importante neste momento até para a gente saber que caminho precisa-se seguir para virem mais 46 anos pela frente! Então, foi muito bacana. Aconselho todos os alunos que tiverem oportunidade de inscrever os seus projetos. Não é uma tarefa fácil, vai demandar muito tempo de vocês, vão ter que colocar isso dentro do dia a dia, mas que vale bastante a pena! Então, é isso.

Áudio Apresentador: Então, agradeço mais uma vez a participação de vocês nesse processo todo, desde a seleção, da estruturação, da discussão dos desenhos. A Michele traz um ponto também importante: para a avaliação realmente contribuir para o aprimoramento do projeto, é importante a disponibilidade e a participação efetiva dos gestores em todo o processo de avaliação e sempre em parceria com o avaliador que está executando a avaliação. Quero reforçar, então, que a Fundação Itaú Social, dentro do programa de avaliação econômica, com a frente de disseminação dos cursos, a gente está procurando estruturar diferentes ações para subsidiar a prática da avaliação econômica e para estimular que os gestores que participam dos nossos cursos consigam fazer a avaliação dos projetos. A rede é um espaço que está centralizando diferentes ações para isso. E edital é uma dessas ações. No ano que vem, a gente chega com outras novidades. Além do o edital, a gente está pensando em uma consultoria online, um curso à distância. Então, quem tiver interesse, acompanhe as novidades que estão por vir aí nessa frente de estímulo à prática da avaliação de impacto. Tudo será compartilhado na rede de alunos e ex-alunos do curso. Para encerrar, vou falar de novo que todo o material disponibilizado, apresentado e discutido aqui com vocês vai ficar disponível na nossa rede, assim como o conteúdo que foi transmitido. Ele foi gravado também vai ficar disponível online no endereço www.redeitausocialdeavaliacao.org.br. Obrigado pela sua participação. Espero que vocês tenham gostado e até o próximo!

1:23:59 ao Fim (Vinheta de Fechamento)

Imagem: Vinheta de Fechamento. Sobre fundo com tons laranja, a logomarca da Fundação Itaú Social aparece sendo formada ao centro. Quando a animação se completa, o fundo muda sua cor para um tom rosado leitoso.