Ir para conteúdo

Biblioteca

Avaliação de Projetos e Políticas Sociais

Aula sobre Avaliação de Projetos e Políticas Sociais ministrada por Luiz Scorzafave.



Avaliação de Projetos e Políticas Sociais - Parte 01

Apresentação e Etapas de Avaliação

Ir para a transcrição do vídeo

Transcrição

00:00 a 00:11 (Vinheta de abertura)

Imagem: Vinheta de abertura. Ilustração de um mapa múndi na cor azul clara ocupa toda a tela. A logomarca da Fundação Itaú Social aparece ao centro e alguns ícones na cor branca aparecem formando um círculo central ao redor da logomarca. A logomarca desaparece, dando lugar ao texto em azul escuro: “Curso Avançado de Avaliação de Políticas Públicas e Projetos Sociais”. Na sequência, os textos são substituídos por um retângulo grande azul escuro na parte central da tela. Dentro dele, está escrito: “Avaliação de Projetos e Políticas Sociais, Professor Luiz Guilherme Scorzafave, 12 de Janeiro”. Abaixo do retângulo, também em azul escuro, o texto “Apresentação e Etapas de Avaliação”.

Áudio: trilha moderna percussiva.

00:12 a 30:21 (Luiz Guilherme Scorzafave)

Imagem: Professor Luiz Guilherme Scorzafave, da Fundação Itaú Social, está à frente de uma sala de aula com um telão e lousa verde atrás dele. Ele está de pé e apresenta os conteúdos olhando para a turma.

Áudio Professor: Bom, gente! Bom dia a todos! Meu nome é Luiz Guilherme, sou professor da FEA, lá de Ribeirão Preto. Hoje, a gente vai dar uma aula para vocês um pouco de colocar a mão na massa. Esse curso é um curso que tem bastante coisa das técnicas, um aprofundamento das técnicas de avaliação. E o objetivo da aula de hoje é mostrar um pouco como a gente traz esse conhecimento que a gente desenvolve, das técnicas de avaliação na prática. E a gente vai ver muitas dos desafios, das dificuldades, das ideias que tem que ter para a gente pegar aquilo que se estuda. Muitas vezes ali na teoria ou um exemplo de um banco de dados que já está ali meio prontinho... E a gente vê que, na prática, as coisas são um pouco mais desafiadoras. Então, isso é um pouco a ideia da aula de hoje. Eu venho trabalhando aqui com o pessoal da Fundação em algumas avaliações de impacto de projetos deles. O objetivo é a gente trabalhar em cima desses exemplos de avaliações a gente tem conduzido junto à Fundação Itaú Social. Então, qual é o escopo dessa nossa aula aqui? A gente tem, nos últimos 20 anos, um aumento das avaliações de impacto no Brasil. Então, se a gente pensar uns 15 anos atrás, 20 anos atrás, pouco se falava de avaliação de projetos, tanto na área pública no governo, quanto nas ONGs. E a Fundação Itaú Social tem um papel bastante importante na disseminação da importância da avaliação no setor público. É uma trajetória bastante grande. Enfim, você já devem conhecer um pouquinho. São mais de 10 anos de disseminação dessa cultura de avaliação, por uma série de atividades que eles fazem. Esse curso avançado é uma dessas atividades. Tem os cursos para os próprios gestores... E uma coisa que a Fundação também faz é a avaliação própria. Então, alguns projetos que eles escolhem para ser feita uma avaliação de impacto, tanto com a equipe da Fundação Itaú Social em parceria também com uma área do Banco Itaú, que também tem essa expertise, como também esse edital para a seleção de projetos, que é onde a gente vai pegar os nossos exemplos da aula de hoje. Qual é a ideia aqui? Existe aquele curso para gestores de ONG e para o pessoal do setor público, que é um curso mais ou menos de 60 horas, se eu não me engano, em que são passados as ideias: o que é uma avaliação econômica, a importância da avaliação econômica. Então, se dá um grande panorama da avaliação econômica para a sensibilização dos gestores para a importância da avaliação. E aí, eles começaram a perceber que, em várias situações, os gestores faziam esse curso, mas não colocavam em prática a ideia de se fazer a avaliação. Então, eles achavam super legal o curso, terminavam querendo mais. Mas aquilo, em muitos casos, não virava uma prática, não gerava uma mudança de atitudes dentro das instituições. Então, para tentar estimular isso, eles criaram esse edital para a seleção de projetos em que ex-alunos desses cursos pudessem submeter propostas. Então, eles apresentavam, através de um formulário padrão, a proposta de avaliação e isso era julgado por uma equipe da própria Fundação Itaú Social, tanto em termos de pertinência do projeto, como também principalmente em termos de factibilidade. E aí, esses projetos, uma vez selecionados, recebiam acesso a uma assessoria técnica para a realização da avaliação econômica. Então, nesta parte que eu entrei, de dar assessoria em alguns desses projetos. Bom, então são esses exemplos do primeiro e do segundo edital de seleção de projetos que a gente vai estar discutindo aqui. Vocês vão ver que terão trabalhos que já estão concluídos, avaliações que estão feitas do começo ao fim, e tem avaliações que ainda estão em andamento. Enfim, a ideia da Fundação é essa, de tentar superar os obstáculos porque as ONGs não fazem avaliação ou quais são as dificuldades de se fazer avaliação e tentar.. Então, tem essa cultura de avaliação nas instituições, tá? Pessoal, qualquer dúvida que vocês tiverem, qualquer comentário, por favor podem interromper, fiquem muito à vontade e a gente vai caminhando. Então, esse é o objetivo da aula de hoje. Como já falei, é apresentar algumas dessas avaliações. E aqui, o objetivo nosso é detalhar a operacionalização de fato. Então, são as escolhas que a gente teve que fazer, em cada caso especificamente, para levar a cabo essa avaliação. E é claro que são escolhas que têm consequências do ponto de vista de validade. No fundo, a gente quer inferir feitos causais dos projetos. E a gente vai ver que tem uma série do percalços e de desafios que a gente tem que superar. E aí, a gente vai tentar dar ênfase a essas boas ideias que vão aparecendo neste processo associadas com as avaliações e também essas dificuldades que a gente teve para a realização dessas avaliações. Então, qual é o resumo do que a gente vai fazer hoje? Primeiro, falar um pouco das etapas do processo de avaliação econômica. E aqui vai ficar um pouco claro, porque eu vou falar num contexto um pouco mais amplo do que especificamente falar das técnicas econométricas de avaliação econômica. E aí, na segunda parte, vamos falar dessas três avaliações aqui. E na parte final do curso, a gente fala um pouco das conclusões e tem os resultados do exercício que eu vou pedir para vocês trabalharem. Se vocês olharem aqui, são três projetos que estão ligados mais ou menos à mesma temática. São projetos de qualificação profissional. E aí você pode pensar: “poxa, mas você vai falar de três projetos que fazem mais ou menos a mesma coisa, que trabalham com o mesmo perfil de jovens, inserção no mercado de trabalho etc!” Além de a gente trabalhar nessas avaliações, por que eu não peguei outras coisas? Justamente para mostrar que, dentro de uma mesma temática que a gente vai falar aqui, o desenho dos projetos é muito diferente. Vocês vão perceber! E as técnicas que a gente vai utilizar para trabalhar as dificuldades de acesso à informação, por exemplo, e os desafios são bastante distintos entre eles. Então, acho que fica interessante trabalhar na mesma temática e, depois no final da aula, a gente perceber os desafios diferentes que existem em cada uma das diferentes realidades aqui, ok? Então, a gente vai falar primeiro desse programa aqui, que é o programa de qualificação profissional, que é uma avaliação que ainda está em andamento. Depois eu vou introduzir um pouco aqui desse projeto de qualificação profissional. E falar depois um pouquinho do CAMP, que é o serviço de convivência e fortalecimento de vínculos, está bom? Então, vamos lá. Vamos falar um pouquinho dos elementos do processo de avaliação. Então, a gente pode esquematizar ou dividir o processo de avaliação em sete etapas. A primeira e a segunda etapa, a gente diz que estão nas mãos da ONG ou do gestor público ou daquela pessoa que está demandando a sua avaliação. Então, a primeira coisa que a gente vai falar é em uma formação de uma equipe de acompanhamento e avaliação. Depois, da elaboração desse documento de referência. E a parte do avaliador, que é mais a nossa praia aqui, começa a partir da parte 3, que é: o planejamento da avaliação, a definição da estratégia de avaliação, que é o desenho; coleta e análise de dados, análise de impacto e retorno econômico. E depois, no final da apresentação e discussão dos resultados para o contratante, para a ONG. Então, vamos falar um pouquinho de cada uma dessas partes aí. Esse é um aspecto bem importante e que pode diferenciar uma boa avaliação de uma avaliação que não é tão bem sucedida. Por que? O que acontece? Muitas vezes, uma instituição, seja um órgão do governo ou uma ONG, eles demandam uma avaliação, mas quem está demandando efetivamente aquela avaliação não é a instituição! É uma pessoa que está lá dentro. Ou uma pessoa que fez o curso aqui do Itaú Social. Ou uma pessoa que se interessa... Então, ela pode não ter o respaldo, de fato, da instituição. Às vezes, a pessoa fala: “legal, vamos fazer!”. Mas, no fundo, eles não estão comprometidos com aquilo. E isso é uma receita muito certa de que as coisas não vão funcionar direito. Por isso é importante que haja na instituição uma equipe de acompanhamento de avaliação. A gente percebe muito claramente quando tem esse respaldo institucional e tem uma equipe que está preocupada em pensar a avaliação, a coisa funciona muito melhor do que quando existe um ator lá isolado. De repente, aquela pessoa troca de instituição e a ideia de avaliação morre naquela instituição. Então, no terceiro setor, o pessoal troca muito de instituição. Então, acontece muito isso de você perder todo aquele aprendizado, toda aquela tentativa de implantar uma cultura de avaliação. E o que a gente precisa? Uma vez tendo esse respaldo de uma equipe, a gente sempre precisa ter uma pessoa de referência. Sempre tem que ter uma pessoa da instituição, que vai ser o gestor geral daquele projeto e que é aquela pessoa que é responsável por tocar as atividades daquele projeto. E ela vai ser a pessoa que vai ficar mais próxima da gente como avaliador, nosso ponto de contato. Muitas vezes, tem que se demandar da instituição, no decorrer da avaliação, uma série de informações. E é muito importante a gente sempre canalizar, para um uma pessoa específica, todas as nossas demandas, até para a gente depois poder cobrar também! E não ficar assim: manda email para um, manda email para outro, manda email para outro... E, muitas vezes, as instituições também não estão muito acostumados com isso. A pessoa fala: “ah, eu não entendo nada de computador! Você não pode mandar email para o fulano?“. Então a gente precisa tentar centralizar porque senão a gente acaba se perdendo, não recebe a informação e não sabe porque não recebeu! Então, esse gestor é esse nosso ponto focal. E as equipes do projeto, que vão participar desse processo de avaliação fornecendo as informações mais detalhadas. Mas, em geral, é através desse gestor que vai passando as informações para a gente. Obviamente, se eu tenho um cara, que é o gestor do projeto e está isolado, ele vai ter dificuldades para conseguir informações que não são ali da área dele, especificamente do projeto dele. Por exemplo, informações de custos dos projetos. Então, se ele não tem esse respaldo, já dificulta um pouco essa parte aqui. Depois, a gente tem, como eu falei, o gestor da organização. Seria o cara que está na cabeça ali que tem exatamente que participar desse processo, dar um apoio estratégico para essa iniciativa, comunicar para o corpo diretivo o que está sendo realizado... A gente percebe muito isso, quando a gente vai conversar a primeira vez com a instituição. Na conversa com esse gestor da organização, a gente já percebe um pouco o que vai acontecer. Se ele realmente está comprometido, se está envolvido, se ele chamou pessoas importantes da instituição para conversar com você... ou seja, demonstra a importância que ele está dando para aquela atividade que vai ser realizada. E é o cara também que, às vezes, pode ter essa interface com a gente. É importante que ele entenda o projeto, a ideia da avaliação... se existem novas informações necessárias para a avaliação... Então, eu vou dar alguns exemplos depois, mais práticos, das avaliações que a gente está fazendo, de como o papel desse gestor da organização é importante em várias etapas. Então, e isso aí é dentro da instituição ainda. Aí, a segunda etapa seria o quê? A própria organização fazer um documento de referência para a contratação da avaliação. Muitas instituições têm uma série de projetos e é importante ter uma reflexão interna para saber o que a gente vai querer avaliar. “A gente tem 13 ou 14 projetos, o que a gente vai querer avaliar? Por que a gente vai querer avaliar aquele projeto?”. Então, é um exercício de você parar, refletir e colocar no papel o que você exatamente quer avaliar, para que você possa depois fazer uma proposta técnica ou comercial para fazer uma avaliação daquele projeto especificamente. Então, se eu tenho uma equipe de acompanhamento de avaliação, ela vai fazer provavelmente a validação ou a própria execução desse documento. Por exemplo, em algumas ONGs que tiveram pessoas que fizeram curso de avaliação econômica aqui, montou-se essa equipe. E aí, você percebe na conversa com eles que você consegue falar essa linguagem, “grupo de tratamento”, “grupo de controle”... e ninguém fica te olhando de nariz torcido. Então, eles já estão um pouco mais familiarizados com essa nossa metodologia. Então, essa seria a segunda etapa. A terceira envolve a parte do planejamento da avaliação. E aí sim, entra um pouco a nossa parte como avaliador, com apoio e validação do gestor. Q que é isso? Você vai receber provavelmente um documento elaborado pela instituição. ”O meu projeto é isso, faz aquilo, a gente quer avaliar, a gente quer saber se está funcionando ou se não está..”. E aí, você vai fazer o quê? Vai montar um projeto do que vai ser a sua avaliação. Detalhado! Quais são seus objetivos, as etapas que a gente vai realizar? Quais são essas ações? Um cronograma das atividades! Isso é bem importante. A questão de orçamento, pontos de atenção e resultados esperados. Essa é a proposta de avaliação. Então, você vai dizer assim: “para avaliar isso, eu precisaria de informações a respeito das fichas de inscrição dos jovens para esses cursos... vou precisar fazer uma pesquisa de campo para saber o que está acontecendo com eles hoje.. essa pesquisa de campo vai ser feita oito meses depois do término do curso... então, a gente só vai ter o resultado dessa avaliação daqui a um ano e meio...”. Então, tudo isso precisa estar claro na proposta de avaliação. Esse é um ponto muito sensível para as instituições, essa “demora” que a avaliação econômica tem para te dar um resultado. Por exemplo, vamos fazer a avaliação de um curso que está começando agora em 2016. O curso tem que acontecer, mas tem que dar um tempo para as pessoas entrarem no mercado de trabalho. E daí você vai fazer a pesquisa de campo, depois as análises. Ou seja, provavelmente lá em meados do segundo semestre 2017 que você teria um resultado para dar na mão desse cara! Então, não é um tempo curto. E, às vezes, por causa da ansiedade ou da necessidade das instituições, eles querem uma resposta mais rápida. Então, é muito importante que isso esteja bastante claro e validado com o gestor. Porque se não ele fala: “mas, eu achei que você ia me dar uma resposta mais rápida!”. Então, tem que estar muito claro. Esse é um ponto que acho que é muito importante. É essa questão de sempre a gente estar validando o que a gente está propondo junto ao gestor. A gente tem que lutar o máximo contra uma ideia de que é assim: ”olha, a gente está vendo aqui com conhecimento técnico para aplicar no seu projeto e as coisas têm que ser assim porque tem que ser assim!” Então, tem que tentar traduzir, na linguagem do gestor, a necessidade de se fazer determinadas análises ou de não se fazer outras. Não pode ser simplesmente um argumento de autoridade, senão você perde totalmente a confiança deles. Isso parece meio óbvio, mas, na prática, não é tão simples de se fazer. Então, é muito importante que a gente tenha essa consciência. Porque daí, o gestor vai falar: “agora entendi porque precisa ser assim”. Ele tende a dar mais importância para o trabalho de avaliação que está se fazendo. Se ele não entender direito aquilo tudo, provavelmente ele vai dar menos valor, menos importância para tudo aquilo que vai só dar resultado para ele daqui a um ano e meio! Agora, se pelo contrário, você consegue mostrar a importância, ele vai falar: “bom, apesar de demorar para sair o resultado, vale a pena eu esperar. Está claro para mim que eu vou ter uma informação que é mais fidedigna do que simplesmente eu passar um questionário no final do curso para ver o que as pessoas acharam e chamar isso de avaliação de impacto do projeto”, por exemplo. Ou sair perguntando para as pessoas: “fiquei sabendo que alguém está empregado?”. Uma coisa assim mais informal, ok? Então, é muito importante que a gente tenha em mente ao realizar uma avaliação. A gente tem que tentar entrar um pouco na pele, vestir a camisa da instituição, tentar entender como eles funcionam, como é a cultura da organização... A gente não está muito acostumado a pensar, não é? A gente tem que mergulhar na instituição que a gente vai estar avaliando. Bom, aí na quarta etapa, que é a definição da estratégia de avaliação, tem mais familiaridade para vocês. Primeiro, construir a pergunta de avaliação. Escolher os indicadores de impacto que vão ser utilizados. Medir impacto em quê? Qual é a metodologia que a gente vai utilizar, de acordo com o processo de seleção dos participantes e também da disponibilidade de dados? A gente vai definir assim: “olha, aqui eu vou conseguir fazer uma metodologia ‘diferenças em diferenças’!”. Ou, “aqui eu consigo fazer uma aleatorização ou uma regressão com descontinuidade”. E assim por diante! Quem vai ser o grupo de controle? Também vai ter muito a ver com a disponibilidade de informações dos dados. Isso é uma coisa importante também, que é a própria elaboração dos instrumentos de coleta de dados, dos questionários. Às vezes, você vai fazer uma pesquisa de campo para coletar informação do período depois do projeto. Então, como é que a gente faz para montar esse instrumento de coleta de dados, de coleta de informação? Então, existem algumas dicas para se montar um bom instrumento. Eu vou falar um pouquinho para vocês sobre isso também. A apresentação do desenho da avaliação para a equipe de acompanhamento e parceiros. Isso aqui também é bastante importante, porque uma vez que você montou a proposta e envia para a instituição, você também tem que ir lá e falar: “olha, vamos fazer assim, a ideia é comparar esse grupo com esse...” Explicar! Para tentar validar com eles o que você está pensando em colocar. E, como sempre, vão ocorrer ajustes, em geral, após a apresentação desse desenho. Então, eles falam assim: “legal o que você está falando, mas eu queria também saber qual é o perfil do jovem que está saindo melhor empregado”. Uma pergunta mais específica. Então, são coisas que podem ter o interesse específico da instituição e que você, em um primeiro momento, não contemplou na sua proposta. Por isso que é importante essa validação. E aí, o que você tem como produto? Isso é o que a gente chama do desenho da avaliação validado pela equipe, que a gente chama de desenho da avaliação. No fundo, é o seu mapa, o seu caminho das pedras que você vai seguir até chegar ao final da avaliação. Então, isso é muito importante que seja bem refletido e bem pensado para que se consiga ter êxito na hora de fazer essa avaliação. É muito importante que, validado o desenho, todos estejam felizes com o mesmo. E é verdade, entendeu! Tem que estar todo mundo satisfeito com aquele resultado, porque senão a coisa não funciona bem. Se começar errado aqui, a tendência de terminar errado é muito grande, tá? Aí depois, se não der impacto, vão falar que você fez um serviço ruim! Então, você tem que ter claro que, se não deu impacto, é que deve ter algum problema no projeto, alguma questão envolvida, consideradas as limitações de cada metodologia. Então, isso aqui é bastante importante que seja feito. O pessoal da Fundação dá bastante ênfase. Eu, como avaliador, nas primeiras experiências, não tinha muito essa coisa de sempre validar com o gestor. E a gente foi aprendendo como é importante fazer essa validação. Aí, essa é a parte chave: coleta e análise de dados. Em geral, o que acontece? Têm-se pesquisas de campo em que vão se pegar as informações do período, em geral depois da realização do projeto. Em geral, faz-se isso com uma empresa de pesquisa, que tenha uma expertise para isso, para fazer entrevistas domiciliares ou por telefone. Aí, depende um pouco do desenho. Mas, tem que ter uma supervisão bem próxima do avaliador. Não dá para contratar uma empresa e dizer: “agora vocês se virem!”. Tem que estar sempre em cima para tentar entender. “Ah, não consegui localizar determinadas pessoas!”. Vai-se tentar entender porque não conseguiu. Vai-se tentar ajudar para ver se consegue, por outros mecanismos, encontrar as pessoas. Também tem que ter o apoio do gestor do projeto, porque, muitas vezes, essa empresa vai ligar, vai entrar em contato na casa das pessoas por causa do projeto. Existem muitos casos em que a pessoa recebe uma ligação da empresa e fala-se assim: “a gente está fazendo uma pesquisa relacionada ao projeto ‘X’ “. E a pessoa: “Ah, não estou sabendo de nada”. Daí, a pessoa pede para ligar no dia seguinte, liga na instituição e fala: “olha, recebi uma ligação aqui. É de vocês mesmo?”. Então, tem que estar tudo muito alinhadinho com o gestor do projeto, para ele falar: “a pesquisa está rolando. É nesta semana etc”. E, além da pesquisa de campo, que em geral envolve os dados depois do projeto, tem essa parte de obtenção e consolidação dos dados da própria instituição. Muitas vezes, os dados da própria instituição têm que ser utilizados como insumo para se realizar as avaliações. E a gente vai ver pode ser um problema ou um desafio grande. Essa questão de como se pega uma massa de informações que está lá em um formato meio estranho! Para quem aqui já está pensando que está mexendo com um software, onde se abre uma planilha e os dados estão lá: cada coluna é uma variável, cada linha é um indivíduo... está tudo com os números, está tudo pronto pra você rodar os modelos.... Aí, você chega na instituição, o cara te mostra uma caixa de papelão, com um monte de papel amarelado das fichas de inscrição de cinco anos atrás! Então, como você lida com essas questões? Ou ele mostra simplesmente um modelo do que é a ficha de inscrição dele: “meu modelo é esse aqui!”. Aí a ficha de inscrição é perfeita! Tem tudo o que você queria perguntar para alguém. Mas aí, pode ser que, na hora de preencher na hora da inscrição, só se pega um nome, o telefone e o resto fica tudo em branco! Então, se você só se ver o modelo da ficha, você fala: “nossa, vou fazer um desenho de avaliação aqui que vai dar uma econométrica!”. E aí você vai ver na hora em que preenche e aí é só tem um nome e telefone... Então, são detalhes mas que são super importantes para o sucesso ou não da avaliação. E aí, o que a gente faz? Quando se faz todo esse processo de pesquisa, obtenção e consolidação dos dados, monta-se um banco de dados consolidado e faz um relatório com a análise descritiva. O que vai nesse relatório com a análise descritiva? Vai um pouco do que é o perfil da sua amostra, se você teve perda de indivíduos ao longo do processo, entre o processo de inscrição e agora a pesquisa de campo... se você tem atrito e se esse atrito tem seletividade... Então, essas pessoas que você está perdendo, elas são muito diferentes das que ficaram? Esse atrito é diferente entre o tratamento e o controle? Então, são informações que vão te ajudar a fazer uma avaliação de impacto mais consolidada! Porque daí eu sei os limites do que eu posso estar fazendo aqui e o que eu não posso, do que eu posso estar falando e do que eu não posso. Então, já te dá uma ideia do perfil da amostra e também um pouco da qualidade da pesquisa de campo. Aí, entra a parte que vocês estão desenvolvendo bastante aqui, que é fazer a análise de impacto. Então, é chamar os modelos, depois fazer as análises de retorno econômico... E aí, você elabora um relatório final mais completo em que você tem todas essas informações. E depois também, um sumário executivo mais resumido, com os principais achados da sua avaliação. E aí, esse relatório é importante que ele seja apresentado para a instituição, para apresentação e discussão dos resultados. E essa é também uma etapa meio crítica! Principalmente quando você faz uma avaliação e não dá impacto! Quando se faz a avaliação e dá o impacto, essa reunião é muito tranquila. A instituição fica feliz porque o projeto está indo bem etc. Agora, quando você tem um resultado que não dá impacto e você vai apresentar, você chega lá e está o presidente, os diretores, os conselhos... Daí você tem que dar a má notícia. Aí, tem que ter bastante cuidado nessa reunião para ver qual a maneira que vai se comunicar esse resultado e que lições de um resultado negativo ou de ausência de impacto essa instituição pode tirar. Então, é muito importante também se pensar. Não é simplesmente chegar e falar assim: “fiz aqui a técnica, rodamos o modelo, não tem estrelinha nenhuma, tudo não significativo, tchau e até a próxima!”. Não! Então, a a gente vai tentar mostrar para eles alguns elementos de porquê a gente acha que não está tendo impacto, o que pode ser melhorado. Às vezes, na própria questão da disponibilidade de informação. “São dificuldades que a gente poderia ter feito uma avaliação melhor se a gente tivesse essa e essa informação...”. Às vezes, usar a própria estatística descritiva que se levantou lá atrás para mostrar um pouco o perfil: “está vendo esse perfil do jovem que tem aqui? Vocês estavam imaginando que era um determinado perfil de jovem que estava tendo mais facilidade de sair empregado e não é”. Então, é usar um pouco as informações que você utilizou para a avaliação de impacto para também dar mais subsídios para eles repensarem a própria prática da instituição. Então, é esse o exercício que tem que se fazer um pouco. Não pensar só na avaliação! Acho que ficou claro, não é? Mas, é sempre um momento de quando não dá um resultado positivo.

30:22 ao Fim (Cartela)

Imagem: Ilustração de um mapa múndi em tom azul claro ao fundo. E, em primeiro plano, duas imagens de capítulos posteriores a esta aula com o cabeçalho “Veja Também” em azul escuro. No rodapé, o texto: “Conheça mais em www.redeitausocialdeavaliacao.org.br”.

Áudio: Trilha moderna percussiva.