Ir para conteúdo

Biblioteca

Curso de Avaliação Econômica de Projetos Sociais

A metodologia do curso de Avaliação Econômica de Projetos sociais apresentada por Rafael Camelo, avaliador e consultor e Marina Ferraz, da equipe de Avaliação da Fundação Itaú Social.



Curso de avaliação econômica de projetos sociais - Parte 05

A metodologia do curso de Avaliação Econômica de Projetos sociais apresentada por Rafael Camelo, avaliador e consultor e Marina Ferraz, da equipe de Avaliação da Fundação Itaú Social.

Ir para a transcrição do vídeo

Transcrição

00:00 a 00:10 (Vinheta de abertura)

Imagem: Animação de uma vinheta gráfica. Sobre fundo com degradê laranja, de cima para baixo, um efeito que parece rabisco de lápis de cor desenha um quadrado azul escuro, que se transforma na logomarca da Fundação Itaú Social. Na sequência, sobre um papel amarelo claro amassado, o texto escrito em azul: ” Quais os principais resultados?”.

Áudio: trilha percussiva

00:11 a 5:02

Imagem: cenas variadas dos avaliadores da Fundação Itaú Social, Rafael Camelo e Marina Ferraz, que aparecem escrevendo em papeizinhos adesivos e conversando, como se estivessem em um workshop. Eles estão em uma sala onde há uma estante com muito livros ao fundo.

Áudio Rafael: No final das contas, nós constatamos que 90 por cento das organizações do grupo de controle, ou seja, que não fizeram curso, diziam que praticavam avaliação econômica; enquanto que 80 por cento das organizações que fizeram curso declararam que praticavam avaliação econômica. Ou seja, o impacto, no final das contas, comparando os dois grupos, era negativo. Tínhamos menos práticas de avaliação declaradas entre as organizações que fizeram o nosso curso. Agora, esse resultado negativo, a princípio, poderia ser muito mal interpretado no sentido de que o curso poderia ser como algo inútil ou algo que até prejudica a prática de avaliação. Nós fizemos uma reflexão muito grande sobre o que estaria por trás desses resultados. E, em um primeiro entendimento que nós chegamos foi que, muito provavelmente, esse resultado estaria associado, na verdade, a uma diferença de conhecimento sobre o assunto dos dois públicos. Ou seja, na medida em que as organizações que passam pelo curso da Fundação entendem mais o que é uma avaliação econômica, o que se precisa ter para realizar uma avaliação econômica, elas têm mais consciência de que aquilo que elas praticam não é avaliação econômica. Ao contrário de organizações que não tiveram acesso a esse mesmo conhecimento. Por outro lado, a nossa a avaliação de retorno econômico, ou seja, a nossa avaliação sobre a disposição a pagar mostrou que as organizações que fizeram curso dão um valor muito significativo para o curso, ou seja, um valor muito próximo até do custo médio do curso. O que isso significa? Se o curso fosse oferecido no mercado, ele daria um retorno positivo para quem oferecesse. Dito de outra forma, isso quer dizer que as organizações que recebem esse curso valorizam ele o suficiente para que ele seja pago, se ele fosse pago. Isso abriu para a gente uma nova frente de que, de fato, apesar do curso não influenciar a mudança de prática, ele, de alguma forma, era muito valorizado pelas organizações. A gente teria que então investigar o que estava por trás dessa valorização, apesar da não mudança de prática. Essa avaliação específica do curso de avaliação tinha um limitador, que a gente tinha consciência desde o início, que é a dificuldade de você medir mudanças de práticas nas organizações. Mesmo considerando esse limitador, a gente chegou a um resultado negativo, que a gente interpretou como uma diferença de conceito entre as organizações que passaram pelo curso e as que não passaram. Mas aí, vem um outro limitador, que é um limitador geral das avaliações econômicas. As avaliações econômicas conseguem dar uma resposta muito clara, muito objetiva, sobre o que o projeto está causando. Então, nesse nosso caso, ele não estava causando mudança de prática. Mas, ela se limita a esse tipo de resposta. Para a gente entender um pouco mais o que está por trás do que a avaliação econômica mostra, a gente precisa adotar outros tipos de metodologia. Quando a gente decidiu avaliar o curso de avaliação, a gente tinha diferentes questões de diferentes naturezas. A gente entendia que era importante usar uma complementaridade de métodos, tanto qualitativo como quantitativo. Então, a gente realizou uma avaliação qualitativa. A gente fez entrevistas em profundidade com alunos que passaram pelo curso e com alunos que não passaram pelo curso. A avaliação quantitativa deu um impacto negativo. Nosso resultado foi negativo. E a gente não conseguia entender o porquê do resultado negativo. Então, foi por isso que a gente utilizou a avaliação qualitativa. Os resultados que a avaliação qualitativa trouxeram para a gente é que os alunos tinham dificuldade de implementar a metodologia de avaliação. Eles não conseguiram aplicar sozinhos. E que não existia um apoio institucional que reconhecia a importância da avaliação dentro do contexto da organização. E, por fim, a avaliação qualitativa também mostrou que os alunos tinham uma sobrecarga de trabalhos, porque alguns eram gestores. E a gestão do projeto já demandava tempo suficiente que os gestores não tinham para poder se dedicar a um processo de avaliação. É só após essa segunda etapa, depois dos porquês, que a gente consegue voltar para a nossa prancheta e redesenhar o nosso projeto.

5:03 ao Fim

Imagem: Vinheta de Fechamento. Efeito de transparência azulada sobre logomarca do Itaú, que aparece desfocada. No canto superior direito, o texto “Veja Também” acompanha duas imagens de outros episódios dessa série de vídeos sobre avaliação econômica de projetos sociais. No canto inferior direito, os dizeres: “Conheça mais em www.redeitausocialdeavaliacao.org.br”.

Áudio: trilha percussiva com violão.