Ir para conteúdo

Biblioteca

Oficina de Aprendizagens

A Fundação Itaú Social realizou, no dia 30 de maio de 2014, a oficina de prática de avaliação com alunos e ex-alunos dos cursos de Avaliação Econômica de Projetos Sociais.



Oficina de Aprendizagens: Prática de Avaliação (maio/2014) - Parte 2

A Fundação Itaú Social realizou, no dia 30 de maio de 2014, a oficina de prática de avaliação com alunos e ex-alunos dos cursos de Avaliação Econômica de Projetos Sociais. Durante o encontro os participantes puderam compartilhar experiências e impressões sobre a metodologia de avaliação econômica. Assista a discussão e se aprofunde no tema.

Ir para a transcrição do vídeo

Transcrição

00:00 a 02:24 (Vinheta de abertura)

Imagem: Vídeo com animação gráfica. Sobre fundos que variam de cor entre azul, laranja e verde ao longo do vídeo, várias ilustrações relacionadas ao universo da educação e textos na cor branca aparecem na tela, criando composições na tela. Ao final, sobre um fundo com tons de laranja, aparece o endereço de internet www.fundacaoitausocial.org.br, ao centro e escrito em branco. A seguir, aparece o endereço da Fundação no Facebook (www.facebook.com.br/itausocial) e, por fim, o endereço do site www.redeitausocialdeavaliacao.org.br. Os dizeres se dissipam e aparece os dizeres: “Avaliação Econômica de Projetos Sociais e Políticas Públicas”. Os elementos somem da tela e um traço branco forma ao centro da tela a logomarca da Fundação Itaú Social, que depois aparece nas suas cores originais, azul e amarelo.

Áudio: ... valoriza a produção e sistematização de conteúdos, contribuindo para a disseminação de conhecimento sobre o tema. A avaliação econômica é uma ferramenta capaz de medir o impacto e a taxa de retorno de um conjunto de ações. Por meio da metodologia aplicada pela Fundação Itaú Social, é possível verificar se o projeto atingiu seus objetivos e gerou impacto social, ou seja, se fez diferença para os participantes. Assim, com uma análise quantitativa e objetiva de dados do projeto, é possível contribuir na realização de ajustes e aperfeiçoamentos. Na avaliação econômica, são realizadas duas análises: a avaliação de impacto e o cálculo de retorno econômico. Primeiro, verifica-se qual foi o impacto do projeto na vida dos participantes e, depois, se os resultados obtidos são realmente causados pelo projeto. Para isso, é feito uma comparação seguindo método científico entre os participantes do projeto chamado “grupo tratamento”; e um grupo com características bem parecidas, mas que não foi beneficiado pelas ações sociais, chamado “grupo controle”. Com esse método, é possível analisar se a mudança observada nos indicadores se deve à participação no projeto e estimar o que teria acontecido com os participantes, caso as ações realizadas não tivessem acontecido. O retorno econômico compara o investimento no projeto com os benefícios monetários gerados pelo projeto, ao longo da vida de seus participantes. Trata-se, portanto, do retorno social da iniciativa, uma medida econômica relevante para a gestão do projeto e também para a comparação de resultados entre projetos sociais. Quer saber mais? Acesse o site da Fundação Itaú Social e informe-se sobre cursos, seminários e eventos! Conheça os materiais sobre a avaliação econômica de projetos sociais e políticas públicas e aprofunde seus conhecimentos.

02:25 a 36:24 (Estúdio)

Imagem: Três alunos do Curso de Avaliação Econômica, um homem e duas mulheres, estão reunidos em um estúdio de gravação, debatendo o tema em questão. Eles são: Alan Borges, que é avaliador da Fundação Itaú Social (Aluno 1), Ana Carolina Francisco, ex-aluna do Emcantar (Aluna 2) e a Anna Carolina Bruschetta, da Fundação Itaú Social (Aluna 3). Ao fundo, um telão onde é exibido o conteúdo.

Áudio Aluno 1: Então, eu acho que deu para relembrar um pouco qual que é a ideia da avaliação e da importância do grupo de controle. Se nós não tivermos um grupo de controle, é impossível fazer qualquer tipo de avaliação. E aí relembrando: como foi selecionado o grupo de controle nessa avaliação de Uberlândia? A ideia, então, foi pegar pessoas semelhantes, mas que não participaram do “Ideias Incontidas”. Como foi feito isso? Nós não tínhamos os dados do grupo de controle de Uberlândia. Nós não tínhamos dados nenhum. Então, assim, inicialmente não existiria avaliação, ok? O que foi feito então? Entramos em contato com as escolas. São sete escolas de Uberlândia. E para essas sete escolas, nós pedimos para os diretores e secretários selecionarem pessoas, que não eram os tratados, que seria possível entrevistar essas pessoas para poder formar o grupo de controle. Então, foi a ideia de entrar em contato com o staff da escola (os funcionários da escola) para poder ajudar a gente a selecionar essas crianças.

Áudio Aluna 2: Nós orientamos que fosse, também, alunos das mesmas faixas etárias, das mesmas turmas. A ideia inicial era fazer dois grupos de controle, um com alunos da mesma escola, da mesma turma; e outro, de uma escola que, até aquele momento, não havia participado do projeto, era parceiro a partir de 2013, que era um ano que a gente não estava avaliando. Então, a ideia inicial era montar esses dois grupos de controle: de alunos da mesma escola, às vezes da mesma turma, com idades semelhantes; e essas mesmas informações, de série e idade, em uma escola que não havia participado do projeto.

Áudio Aluno 1: Perfeito! E, assim, nós não conseguimos seguir essa ideia. Posteriormente, a gente explica porque, tá? Então, relembrando “tratamento” e “controle”. “Tratados”, pessoas que estavam no “Ideais Incontidas”; “controle”, pessoas que não estavam no “Ideias Incontidas” e que foram selecionados pelos diretores da escola, ok? A partir disso, foram selecionados os indicadores. Nós fizemos esses indicadores. e eu queria mostrar pra vocês quais características de “aluno”, “família”, “docente” e “escola” foram selecionados. É hiper importante, pessoal, vocês perceberem que a seleção dessas variáveis foi realizada com base na literatura econômica, na literatura de avaliação relacionada a projetos educacionais; e também, com a ajuda do “Emcantar” e da gestora. Eu não teria conseguido fazer tudo sozinho, por mais que eu conheça a literatura econômica. Então, por exemplo, quais foram as características? Gênero, idade, raça, participação de outro projeto na escola e pré-escola. Essas foram as características do aluno. Então, qual que era a ideia? Nós acreditamos que essas características afetam os indicadores de interesse e também afetam os dois grupos. Ora, se isso é verdade, nós deveríamos incluir isso na nossa avaliação. Características da família e do responsável? Então, escolaridade do responsável, responsável católico, responsável trabalha, renda familiar e se a família participa de outro projeto governamental. Existe um caso aqui muito curioso, que é esse caso do “responsável católico”, tá? Por que utilizar “responsável católico”? Inicialmente, assim, o cara ser católico ou não afeta a nota dele? O responsável dele? Então, se o pai é católico, se o pai é protestante, se o pai é de qualquer tipo de religião afeta o desempenho escolar dele? A grosso modo, não! Na verdade, não afeta. Nós não temos evidências relacionadas a isso. Então, por que nós colocamos “responsável católico”? E aí entra a parte da Ana, junto com o “Emcantar”. Para validar essas variáveis, nós precisamos fazer uma reunião na instituição. E, a partir dessa reunião, a gente sinalizou: “eu acho que representa sim o ‘Ideias Incontidas’ ou não, não representa, por mais que eu tenha lido a literatura econômica”. E aí, o que acontece? Surgiu uma questão que todas as pessoas do “Emcantar“ levantaram que era que, a participação do aluno talvez seja interrompida ou ele não chegue a entrar no projeto social devido à religião. Como assim? O “Ideias Incontidas”, ele faz algumas oficinas relacionadas a... É melhor ela explicar! (risos)

Áudio Aluna 2: É que, no caso da história do “Emcantar”, a gente trabalha com a questão do patrimônio cultural imaterial, que inclui manifestações populares. E nós já tivemos casos de alunos que não puderam continuar por conta disso. Não que isso tenha acontecido especificamente no “Ideais Incontidas”! Mas, comentando no trabalho o que a gente estava fazendo, nós levantamos que historicamente havia ocorrido alguns casos assim e nós achamos melhor colocar para identificar se tinha um não interferência.

Áudio Aluno 1: Perfeito! Então, que tipo de manifestação cultural deste tipo e que poderia atrapalhar a nossa avaliação? Como, por exemplo, dança de congado, ok? É uma manifestação cultural e alguns grupos religiosos não aderem, não gostam dessa dança de congado. E como ficaram sabendo, poderiam retirar a criança do projeto ou não deixaram ela entrar. Então, para o que eu estou tentando chamar a atenção? Isso afeta a seleção do indivíduo. Dado que afeta a seleção do indivíduo, também nós precisamos levar em consideração. Isso foi hiper legal! A gente só conseguiu fazer isso com a contribuição da Ana e do próprio “Emcantar”. Se não fosse, nós não teríamos colocado essa variável e os resultados consequentemente estariam enviesados e inconsistentes. Por fim, as características relacionadas à docente. Ah, detalhe! Essas características que eu mostrei aqui, elas vieram da pesquisa de campo, tanto responsável quanto família. Então, foi a pesquisa de campo que gerou isso, ok? Agora, as variáveis relacionadas aos dados secundários! De onde nós tiramos esses dados secundários? Censo de 2012. Então, foi uma combinação de base de dados. Aí, as características do docente. Foi semelhante a do responsável e aluno. Gênero, raça, ensino superior etc. Então, a grosso modo, gênero, raça, escolaridade do docente. E as características da escola, como por exemplo, se ela é estadual ou municipal. Existiam só essas duas unidades, não existia escola federal. E um índice de estrutura da escola. Isso foi muito legal porque você meio que pega a riqueza da escola. E aí, se existia laboratórios, o número de computadores, se existia quadra e coisas do tipo. Só um parênteses sobre essa história da infraestrutura da escola: quando você vem fazendo essas pesquisas, a gente fica meio condicionado ao que tem na base de dados. E nós não temos nem ideia do que acontece na realidade. Posteriormente, nós vamos explicar, que nós tivemos que ir até a escola. Eu fui até a escola para coletar alguns dados juntamente com a Ana, que é a gestora. E aí, assim, é muito impressionante a diferença de escola. Existe muita diferença entre escola municipal e estadual; e a infraestrutura da escola também é muito diferente! E eu não tinha nem ideia disso. Por mais que a base dados mostre para gente, você ver a realidade é uma outra coisa! Então, foi hiper enriquecedor pra mim! Para eu poder ver isso e tentar levar isso na pesquisa, tá? E por fim, os indicadores. Lembrem lá! Nós temos indicadores relacionados aos objetivos culturais e educacionais. Então, nós temos indicadores educacionais e culturais, socialização e convivência, alocação do tempo e, além disso, pergunta sobre projeto... de participação no projeto e evasão, tá? Vou falar um pouco mais sobre isso. Nós tínhamos, eu não lembro exatamente o número total, mas mais de 40 indicadores... acho que bem mais, né? Nós tínhamos muitos indicadores! E por que isso? A pesquisa de campo, quando você vai fazer, é uma coisa que você vai trabalhar a base de dados na internet: já está pronta. A pesquisa de campo é um momento único. Você não tem condições de voltar lá depois. Ou então, você pergunta tudo que você acredita que seja um indicador ou acabou! Voltar depois, não existe essa possibilidade! Então, nós coletamos bastante indicadores, acho que eram mais de cinquenta indicadores. E vocês vão perceber que nem todos geram impacto, tá? Então assim, imagina que nós fizemos apenas duas perguntas sobre indicadores. E aí, nenhum dos dois gera impacto! Acabou! A gente ia ficar sem saber qualquer outra dimensão. Então, nós coletamos uma quantidade maior. E aí, o nosso impacto foi uma quantidade menor de variáveis. Essa última pergunta aqui sobre o projeto e evasão escolar, eu acho hiper importante, na minha avaliação, não saber só o impacto, mas conhecer melhor o projeto. O “Jovens Urbanos” fez um pouco isso também na Fundação, o projeto social da Fundação Itaú. Ela conheceu um pouco mais e pôde reestruturar o projeto. Aqui, é a mesma coisa. Então, às vezes, perguntas do tipo “por que você abandonou o projeto social? Por que você está no projeto social ainda? Foram realizadas perguntas, por exemplo, para o responsável. O que ele achava do projeto social! Então, são críticas importantes para tentar reestruturar. Imagina: seria um negócio muito difícil, mas poderia acontecer, por exemplo, o pai falar: “eu detesto esse projeto social”. Você teria que saber o porquê. E ele cita o porquê. Por mais que o cara fala que deteste ou que goste, é importante a instituição saber o porquê que o pai gosta ou não desse projeto. Curitiba está perguntando, daqui há pouco eu volto aqui. Curitiba está perguntando: “como é que fica o viés de seleção do diretor?” Eu utilizei inicialmente... não está aqui, mas eu utilizei características dos diretores para tentar controlar isso. O censo escolar têm características do diretor. Não foi significante, não foi relevante. Eu tinha um problema aqui, na verdade, que eu não poderia incluir características infinitas, porque minha base de dados é muito pequena e não permitia isso. Quanto menor a base de dados, eu não posso aumentar a quantidade de variáveis, ok? É um negócio mais técnico, enfim. O tal dos graus de liberdade, para quem deseja entender. Mas, eu não teria condições de fazer isso, tá? Mas, eu coloquei características dos diretores e não foi significativo. Além disso, poderia sim existir um viés de seleção do diretor, mas aí, a Ana, que está aqui e ela não deixa eu mentir sozinho... (risos) Mentira, ela não me deixa mentir! A Ana acompanhou todo o processo de seleção dessas pessoas e nós acreditamos que foi aleatória a seleção, não é, Ana?

Áudio Aluna 2: Nós fizemos um processo de orientação e de envolvimento no sentido de o diretor entender o porquê que a gente estava pedindo esses dados, o que a gente queria com essa avaliação... justamente, para tentar evitar isso. E de orientar isso. Então assim: “os tratado são esses. Que turma que ele está? Me passa o nome do aluno da turma que ele está!”. Para tentar que os dados chegassem de todas as escolas, da mesma forma. E confiando também na parceria, no entendimento da escola sobre o processo.

Áudio Aluno 1: Isso! Perfeito! Além disso, poderia ocorrer, por exemplo, nessa história do viés de seleção, que o diretor selecionasse os melhores alunos para a pesquisa, ok? Imagina: você é diretor, você não sabe direito o que está acontecendo, e chega uma pessoa na escola: “eu queria fazer uma pesquisa com seus alunos!”. O medo do diretor de mandar um aluno ruim é muito grande. “Não, não vou mandar um aluno ruim pois isso pode aparecer em algum lugar e o cara vir aqui me cobrar”. Qual foi a orientação que foi passada para a Ana e a Ana selecionou isso muito bem junto com os diretores? “Seja aleatória a escolha”. Então, abriu o livro de presença? Pinça um cara! Foi isso que aconteceu.

Áudio Aluna 2: E assim, acho que uma coisa que foi muito importante a gente ressaltar com eles foi o seguinte: eu não estou avaliando a sua escola. A ideia aqui não é avaliar se sua escola é boa ou se a outra é melhor que a sua! Nós estamos avaliando um projeto, que a gente faz em parceria, para ver se ele está legal, se ele não está... para a gente ajustar. E como o grupo já estava sólido nesse sentido de trabalhar em parceria, esse entendimento, a gente percebeu que ele foi ok. Todo mundo se engajou. Não teve essa preocupação de: “nossa, minha escola está sendo avaliada!”. Acho que isso é muito importante e tem a ver com esse envolvimento dos demais atores, que nós vamos falar daqui a pouco também.

Áudio Aluno 1: Pessoal, muito bom! Continuem participando, mandem as perguntas. Na medida do possível, eu vou respondendo, tá? Caso eu não consiga responder de pronto assim, no final, a gente conversa mais! Então, voltando aqui. Qual é a ideia? Nós tivemos vários indicadores, nós estamos levando em consideração as outras variáveis e, aí, a gente vai ver o resultado que ocorreu agora. Ah, só um detalhe! No relatório completo, pessoal, tem essa parte de perguntas sobre o projeto e evasão. É hiper legal! Tem uns gráficos hiper bonitinhos e que vale a pena dar uma olhada, tá? Aqui, eu não podia apresentar porque o tempo é curto. Mas, depois vocês deem uma olhada lá! Então, o que nós vamos ver agora? Os resultados de impacto! Ok? Então, o que nós temos? Olha, impacto sobre indicadores relacionados a desempenho escolar e atividades. Várias pessoas, no desempenho escolar, falaram nota. A gente tinha alguns probleminhas com nota. Nós coletamos algumas notas. Aliás, as notas que nós conseguimos, na verdade, tanto com tratado quanto com o controle. Só que, não houve impacto em nota, ok? Inicialmente, talvez seria frustrante. Mas, a gente tem que admitir isso. Nem tudo vai ter impacto. E esse é o resultado. Isso é hiper importante. Esse processo de admitir o que teve impacto ou não. A gente não pode ter medo de mostrar, tá? E, além de tudo, é um conhecimento da própria instituição. Então, o que nós temos aqui? A probabilidade do aluno fazer a lição de casa no ano de 2012. Aquele numerozinho aqui no canto, 0,14, o que significa? Para quem participa do “Ideias Incontidas”, a probabilidade de fazer a lição de casa no ano de 2012 aumenta em 14 pontos percentuais. É uma probabilidade hiper alta! Você está usando todas as variáveis para filtrar. Só está sobrando realmente, digamos assim, o efeito do “Ideias Incontidas”, o impacto do “Ideias Incontidas”. Então, isso aqui é o resultado da intervenção da instituição da Ana, da “Ana-gestora”. Então, é o efeito da intervenção da Ana na vida da criança. Ok? Por exemplo, lição de casa em 2013, o que nós temos? 0,16! O que significa isso? Para quem participa do “Ideias Incontidas”, a chance de ele fazer a lição de casa em 2013 aumenta em 16 pontos percentuais. Reparem que, de 2012 para 2013, aumenta a chance de ele fazer a lição de casa. Assim, não é 100% correto o que eu vou falar agora, mas a gente pode tentar inferir algumas coisas com isso. Primeiro, a chance de a pessoa fazer a lição de casa, de 2012 para 2013, aumentou. O que seria importante destacar, então? Será que existe um efeito de longo prazo nessa história? Será que, se a gente medir em 2014, também afeta a chance de ele fazer a lição de casa? Seria um negócio legal. Obviamente, nós não vamos fazer isso, porque não dá, não tem tempo, não tem dinheiro também. Mas, poderia ser uma coisa interessante, não é? Além disso, nós não tivemos impacto em desempenho escolar de Português e Matemática. Mas será que, no longo prazo, com essa história do menino aumentar a chance de fazer a lição de casa, será que, no longo prazo, nós teríamos um impacto positivo? Tipo, o cara que faz muita lição de casa, talvez ele melhore em Português e Matemática, estude melhor. Será que a gente consegue medir isso no longo prazo? Então são incentivos para a gente continuar uma possível avaliação, de a própria instituição continuar isso depois. Frequência de atividade cultural? 0,04. O que significa isso? Para quem participa do “Ideias Incontidas”, a chance da pessoa frequentar atividade cultural aumenta em 4 pontos percentuais. Dando só um resuminho dessa tabela e aí eu vou passar mais rapidamente nos outros resultados, porque eu acho que vocês entenderam razoavelmente. Reparem que o que teve impacto aqui. Assim, lição de casa, que faz parte do desempenho escolar e também frequência atividade cultural. São exatamente os eixos de atuação do “Ideias Incontidas” e do “Emcantar”. Achei isso muito legal! Os resultados não mentem, né?! (risos). Está exatamente tocando na parte de educação e cultura, que são os dois eixos. Então, acho que é um aprendizado muito legal e os resultados mostram isso. Se não mostrasse também, teria que saber explicar! Mas está bem nos eixos que estávamos esperando. “Uso do Tempo”. Aí eu vou passar um pouco mais rapidamente. O que acontece com as pessoas que participam do “Ideias Incontidas”? Elas aumentam a probabilidade de tomar conta de indivíduos, estudam em casa usando o computador e dedicam algum trabalho comunitário assistencial. Então, assim, o que esses resultados mostram? A interpretação dos números é a mesma da anterior, tá? Parece que a pessoa estuda mais; e além de estudar mais, parece que ela se socializa um pouco melhor com a família e com a comunidade. Então, nós temos: ela toma conta de indivíduos. Este indivíduo pode ser, por exemplo, o irmão, pode ser tio, avó, pode ser o vizinho... Isso acontece lá, também, não é, Ana? Eu já tinha conversado isso antes e isso acontece lá. Então, está refletindo que realmente atende a comunidade. O cara dedica-se mais a projetos sociais. Então, ele também está mais engajado também a trabalhos da sua comunidade; o que também é meio que trabalhado indiretamente lá na instituição. O uso do tempo, quando comparado ao ano de 2012... Então, você está em 2003. “Olha, em 2012, se eu pedir pra você falar sobre seu filho, o que acontece? Aumentou, reduziu ou manteve, por exemplo?” Então, olha só: quando compara o ano de 2013 com 2012, os responsáveis acreditam que o estudo em casa usando o computador aumentou devido ao projeto “Ideias Incontidas”. Leu consulta de jornais e revistas, participa de aulas de formação complementar e dedica-se a algum trabalho comunitário assistencial. Então, assim, esses três caras aqui são basicamente relacionados a desempenho, também! Então, o cara estuda mais, ele lê mais e participa de aula de formação complementar. A leitura é fortemente trabalhada nos “Ideias Incontidas”. E esse resultado foi bem legal! Está bem relacionado à leitura! O uso do tempo aí de novo: o cara fica mais motivado também! Então, tem uma motivação extra classe maior, costume de ato de leitura também aumenta... então, de novo, é uma parte muito trabalhada lá, tem contação de histórias etc. Ele passa a ler mais! E informações de cultura geral adquirida para criança! Então, de novo, a parte de cultura afetando aí, ok? E, por fim, o último resultado e foi um resultado meio curioso: interação com os colegas! Então, para quem participa do “Ideias Incontidas”, com está negativo esse número aqui, reduz a interação com os colegas. Isso é um resultado, para mim, não esperado! Depois a Ana vai comentar um pouco. A gente teve que explicar isso, o que eu entendi com esse resultado e depois a Ana pode criticar. (risos). Mas o que acontece? O cara aumenta o uso do tempo dele. Por exemplo, em estudar, em participar de atividades culturais, dedica a cuidar de pessoas semelhantes etc. E o dia só tem vinte e quatro horas! É fixo o horário do dia. Como é fixo, se ele está aumentando o tempo em algumas coisas, ele vai ter que diminuir em outras. Infelizmente, não tem jeito. A não ser aquele carinha lá do (filme) “De Volta para o Futuro” e consegue fazer algumas coisas, na nossa realidade, não é possível aumentar o tempo do dia, não é? (risos) Então, como nós somos condicionados ao tempo fixo de vinte e quatro horas, é uma restrição de horas, ele acabou reduzindo o tempo de interação com os colegas. Eu particularmente não sei se a avaliação é uma coisa boa ou ruim. Mas, a gente tem aquela história de escolha entre lazer e trabalho, não é? Então, ele está aparentemente reduzindo o tempo de lazer para trabalhar um pouco mais, relacionado à educação. Então, eu só vou finalizar a parte de retorno e a gente discute um pouco os resultados. Por fim, tinha a parte de retorno. Só lembrando, acho que vocês viram um pouco no vídeo. O que é avaliação econômica? Avaliação econômica está pautada em dois pilares: nós temos a parte de impacto, que foi apresentado; e a parte de retorno econômico. As duas coisas conversam. Então, qual é a ideia? Você faz a parte de impacto primeiro. Dado que alguns indicadores tiveram impacto, você utiliza esses indicadores para calcular o retorno. Então, as duas coisas andam juntas. É obrigatório calcular o retorno? Não. Não é obrigatório. Só se você quiser saber. Qual é a ideia do retorno? A grosso modo, o retorno econômico basicamente compara benefícios e custos. Então, nossa pergunta seria o seguinte: “será que a quantidade de benefício que eu tive foi justificada mediante os custos que ocorreram no projeto social?” É essa resposta que nós estamos procurando. Existem vários indicadores de retorno econômico. Para quem já fez o curso ou ainda está fazendo, vocês vão ver aí, existe, por exemplo: valor presente líquido, taxa interna de retorno, razão custo-benefício e razão custo-efetividade. Nós poderíamos utilizar qualquer um destes. Vocês viram aí a quantidade de indicadores que deram impacto. O que acontece? Para cada indicador, nós teríamos que transformar aquele “numerozinho” em benefício monetário para comparar com custo, porque todos têm que estar na mesma medida. Seria difícil. Então, imagina: eu tenho gasto aqui, sei lá, por exemplo, de vinte reais. Como eu vou comparar a frequência cultural a esses vinte reais? O negócio é meio difícil. Inicialmente, não dá pra fazer isso. Eu teria que fazer esse exercício para cada um. Então, eu teria que arrumar um jeito de transformar frequência atividade cultural em dinheiro para poder comparar isso aos custos. Dada essa dificuldade e a quantidade de indicadores que nós tínhamos, nós utilizamos um único indicador de retorno, que não carece de mudança para benefício monetário, em dinheiro. Que é a razão custo-efetividade. O que é a razão custo-efetividade? É basicamente a divisão do impacto, aquele número que vocês viram ali anteriormente, pelo valor total dos custos. Só isso, mais nada. É uma medida muito simples e vai te dar algumas intuições. Vamos lá para o que a gente encontrou no “Ideias Incontidas”! Aqui, são as inscrições dos cursos do “Ideias Incontidas” que a Ana forneceu para a gente. E, aí, o que eu tenho? Os cursos da instituição para as pessoas que participaram em 2012 e o curso da instituição para as pessoas que participaram em 2013. E a última coluna, que é a variação de um ano para o outro. Só queria ressaltar duas coisas aqui. A primeira, uma coisa interessante, nós não estávamos medindo isso, mas surgiu. Reparem que o custo de um ano para o outro caiu 7,54 por cento. Então, você está gastando menos com as pessoas. Aí, intuitivamente, o que se esperaria? “Poxa, estou gastando menos com as pessoas e tal!” O projeto não vai ser tão legal assim. Ou talvez, eu vou ter que atender menos pessoas. O que aparece para a gente aqui? Teve um aumento na quantidade de pessoas atendidas. Então, o que nós tínhamos aqui? Em 2012, a instituição atendeu cento e duas pessoas. Em 2013, cento e quarenta e oito. Ou seja, você atende mais pessoas com menos recursos. Negócio hiper legal! Parece que o programa é eficiente. Nós não estamos medindo eficiência, mas dá uma intuição disso. Então, se atende um público maior e... aí a gente obviamente espera que não tenha caído a qualidade! (risos) Mas a gente manteve a qualidade e gastando menos! Então, isso é desejável para todas as instituições, para qualquer nível. E aí, a última linha aqui, que é a outra coisa que eu queria ressaltar, é o custo per capita. Então, o custo por aluno em 2012 foi dois mil reais. Então, para cada pessoa que participou ali, foram gastos dois mil reais. Em 2013, em torno de mil e seiscentos reais. Caiu o custo per capita também, em 36,27 por cento. O que foi feito então? Eu utilizei esse custo per capita de 2013 e o custo per capita de 2012 para gerar essa tabela. O que nós temos aqui? O custo per capita de 2012 vezes a quantidade de entrevistados, cento e sessenta e um mil. O custo de 2013 vezes a quantidade de entrevistados, dezoito mil. Somando as duas coisas, cento e setenta e nove mil reais. Então, isso aí é o custo total. E aí, o que nós fizemos? Então, para ter a medida de retorno, simplesmente aqueles números do impacto divididos pelo custo total. É o que nós tínhamos. Os resultados são imensos. Assim, imenso que eu falo são muitos indicadores. Então, deu uma tabela bem grande e tal. Se eu falasse um por um, iria ficar aqui até meio dia falando. Então, aqui eu trouxe alguns exemplos. Vocês podem entrar no site. Posteriormente, vai estar disponível, no site da Fundação Itaú Social, o relatório completo e vocês podem verificar todos os resultados. O que nós temos aqui? Então, a lição de casa. Só alguns exemplos para finalizar: a cada cem mil reais gastos, a chance da pessoa fazer a lição de casa aumenta em 7,9 pontos percentuais. A lição de casa em 2013 aumenta para 8,9 pontos percentuais. Era esperado que em 2013 fosse maior. Então, a cada cem mil reais gastos, estudar em casa usando o computador aumenta em 8,75 pontos percentuais. E assim por diante, tá? Então, para cada “numerozinho” que vocês verem na tabela, lá no relatório, para cada cem mil reais gastos, aumenta a quantidade de qualquer em fazer aquela atividade. Então, é a medida razoável de retorno. Nós não temos uma medida padrão, tipo, isso é bom ou ruim; mas, apenas os números, ok? E aí, o seguinte: dado esses resultados, eu acho de suma importância discutir isso com a instituição. E aqui, quem está como instituição é a Ana! (risos). Quem representa a instituição é a própria gestora do programa! E aí, a gente meio que queria saber assim, não é?

Áudio Aluna 3: Isso! Quais foram os resultados esperados? O que não estava esperado? Porque é isso, não é? Às vezes, a gente fala em avaliação e fala: “puxa, de repente, apareceu um resultado que ficou negativo. E aí, o que eu faço com esse resultado? Isso vai ficar mal se eu contar para as pessoas? Sento e choro? Põe embaixo do tapete? Não conto para ninguém? E como é que eu faço também com esses resultados que deram resultados?” Então, contar um pouquinho. O que foi receber esse retorno e também o desafio de escolher. Aqui foram apresentados alguns. Mas esse desafio de escolher esses indicadores e também variáveis de controle. E tem uma dúvida aí: perguntas de avaliação! Como é difícil fazer esse processo com essas perguntas de avaliação...

Áudio Aluna 2: Comentando primeiro os resultados, rapidamente. Foi aquilo que o Alan comentou. Foi interessante ver que os resultados apontam para as dimensões que são trabalhadas. Fala: “olha, está surtindo o efeito do trabalho”. A questão da leitura e a questão da frequência dos dados culturais, foi bacana de ter esse recibo. O uso do computador também foi uma questão bacana, porque a gente estimula isso nas oficinas. Então, foi bom de ver que estão usando o computador também pra ler, também para se informar. Resultados não esperados: um negativo, que foi a questão da interação com os colegas, porque isso, na oficina, no projeto, é muito trabalhado. Então, foi realmente uma surpresa e que eu acho que essa explicação do Alan a gente pode investigar por aí. E a questão do trabalho social, que foi uma coisa que a gente não via as crianças comentando sobre isso nas oficinas e está tendo impacto. Então, isso é muito bacana. Sobre as dificuldades, eu acho que tem a ver com a questão principal que é a complexidade do projeto. Como é um projeto que está localizado na educação e na cultura, e a gente chama isso formalmente de educação integral, como definir indicadores foi um trabalho tão complexo! A nota não apareceu ali. De certa forma, a gente até pode considerar que isso é normal. Porque, a educação integral não está focada na melhoria da nota. A gente colocou esse indicador porque é um dado possível de se obter. E a gente achava que poderia ter alguma influência. Mas, acho que a grande questão, nesse caso, foi como definir os indicadores. Se a gente está falando de um trabalho complexo, a gente fala de mudança de comportamento... Eu acho que os itens que a gente escolheu, a gente foi feliz. Porque, por exemplo, fazer as lições de casa é um comportamento. Então, a gente conseguiu mensurar essa questão comportamental. E aí essa questão da nota fica para a gente refletir mais inclusive sobre isso! Qual é realmente o papel da educação integral nesse desempenho quantitativo? E outra coisa: como que as escolas medem isso? Cada escola mede de um jeito. Às vezes, estamos estimulando a leitura no meu projeto, mas a visão da Língua Portuguesa na “Escola x” é uma lição gramatical! Então, realmente, a nota é um indicador possível, mas também é complexo. Acho que, resumindo, é um pouco isso.

Áudio Aluna 3: Obrigada! E aí, acho que isso que você trouxe é para a gente ver o quanto a avaliação impacta na gestão do programa. Porque a gente fala em resultado, em retorno econômico... mas a gente está avaliando só para isso? Não! O processo de avaliação colabora muito também nisso, na gestão do programa, nas melhorias e depois nas ações para os atendidos, os beneficiados... Então, não vai impactar só em contar quais foram esses resultados. Vai impactar em todo o processo da gestão. E aí, o processo do edital trouxe uma série de experiências, de aprendizagem. E uma dessas aprendizagens foi identificar papéis e responsabilidade de todos os envolvidos na avaliação. Então, cada ator demanda um processo de envolvimento e comunicação específicos. A gente vai falar um pouquinho sobre isso e o Alan vai trazer um exercício, vai contar um pouquinho para que a gente possa compartilhar essas experiências e falar mais sobre esses atores, não é Alan?

Áudio Aluno 1: Isso. Eu estou doido para falar sobre essa parte do programa. (risos) Foi uma surpresa para mim. Eu fiquei muito surpreso quando fui fazer isso. É muito diferente entre você pegar uma base de dados, por exemplo, do IBGE para fazer na sua sala qualquer tipo de estimação e resultado e você ir a campo. Eu já fui a campo algumas vezes. Dessa vez, foi muito diferente para mim. Eu nunca passei por situações que nós passamos. Foi bem diferente. E aí, eu descobri que cada agente tem um papel diferente na composição da avaliação. E isso aí, a gente vai ter que lidar da melhor maneira possível. As pessoas que estão em Belo Horizonte, Curitiba, São Paulo e em qualquer outro lugar do Brasil, as pessoas que estão acompanhando online, se já passaram por pelo menos uma tentativa de fazer uma avaliação, vocês perceberam que precisavam pedir autorização para alguém, precisavam coletar dados que dependiam de outra pessoa... E isso nem sempre você vai conseguir tudo o que você espera e a gente precisa tocar as coisas da melhor maneira possível. Aí o que eu queria propor para vocês aí em São Paulo, Curitiba e Belo Horizonte? Eu queria que vocês formassem grupos de três a quatro pessoas. Tem um material aí nas salas onde vocês estão, em cada praça onde vocês estão. E eu queria que vocês fizessem a leitura desse material e classificassem conforme o quadro que tem aí na sala de vocês. Então, por exemplo, eu vou tentar desenhar aqui. Eu não me dou bem com isto ! Se eu não passar vergonha, está tudo certo. Vocês têm aqui, por exemplo, um círculo. Por exemplo, o avaliador eu vou chamar de “A”. Então, do lado de cá, você tem um avaliador. E, do lado de lá, você tem a gestora do programa. Então, do lado esquerdo aqui, por exemplo, esse lado representa o avaliador; e o lado direito, o gestor. Vocês têm aí, em cada sala, uma série de atividades que podem pertencer ao círculo do gestor. Se pertence ao círculo do gestor, coloque a atividade aqui (dentro do círculo). No ciclo do gestor, se você acha que aquela responsabilidade pertence ao gestor, coloque a atividade no círculo do gestor. Agora, vocês podem achar também que essa atividade pertence aos dois, é responsabilidade tanto do avaliador quanto do gestor. Se isso é verdade, coloque na interseção, ok? E, por fim, para ser bem democrático: talvez, vocês acreditem que aquela responsabilidade não pertença nem ao avaliador, nem ao gestor e a nenhum dos dois também. Então, coloquem (a atividade) fora do círculo e, se possível, indiquem para quem pertence essa avaliação. Vocês vão ter quinze minutos para fazer isso e depois retornamos para saber as respostas e discutir um pouco.

36:25 a 47:13

Imagem: Fundo com textura que se assemelha a papel. Ícone azul de um cronômetro com a palavra “Intervalo” na cor laranja, tudo no centro da tela. No rodapé, logomarca da Fundação Itaú Social à esquerda.

47:14 ao 47:47 (Estúdio)

Imagem: Aluno 1, Alan, sentado e olhando para a câmera, à frente do telão.

Áudio Aluno 1: Olá, pessoal! Nós estamos aguardando vocês acabarem de discutir. Vocês têm mais cinco minutos. São Paulo, Curitiba e Belo Horizonte, discutam bastante e enviem para a gente! Nós estamos recebendo aqui algumas considerações e eu espero que vocês consigam elencar essas atividades e mandarem para a gente. Vocês receberam uma série de atividades. Tentem listar da melhor maneira possível. O que vocês tiverem dúvida também e acharem que não encaixa em nenhum lugar, não coloquem em nenhum dos dois círculos, ok? Estamos aguardando. Vocês têm mais cinco minutos! Até daqui a pouco!

47:48 a 52:51 (Intervalo)

Imagem: Fundo com textura que se assemelha a papel. Ícone azul de um cronômetro com a palavra “Intervalo” na cor laranja, tudo no centro da tela. No rodapé, logomarca da Fundação Itaú Social à esquerda.

52:52 a 53:08 (Vinheta)

Imagem: Vinheta com ilustrações de gráficos na cor laranja, que entram e saem da tela sobre fundo acinzentado que lembra papel reciclado. Ao final, uma mão humana entra em cena e desenha com lápis de cor a logomarca da Fundação Itaú Social. Ao final, fundo fica todo laranja.

Áudio: Trilha animada em piano.

53:09 ao Fim (Estúdio)

Imagem: Três alunos do Curso de Avaliação Econômica, um homem e duas mulheres, estão reunidos em um estúdio de gravação, debatendo o tema em questão. Ao fundo, um telão onde é exibido o conteúdo.

Áudio Aluna 3: Olá, pessoal! Então, retomando as nossas atividades! Eu até entrei aqui, porque eu fiquei sabendo que estava enviesando aqui, sabe? Que era só Belo Horizonte! Eu falei: “deixa eu entrar aqui para fazer, antes de passar para o Alan retomar o exercício, para falar que nós estamos ouvindo todos vocês, viu? Eu já falei aqui pra ele que nada de ficar só pedindo o de Belo Horizonte, viu?!

Aluna 2: Mas olha só! Você tem que entender que a característica da naturalidade do gestor e do avaliador influencia! A gente aprendeu mais uma coisa aqui! (risos). Nós somos mineiros! Nós temos que falar de “Bê Agá”, ora! (risos).

Áudio Aluna 3: Alan, hora de retomar com as perguntas que vêm de todos os lugares, hein! (risos)

Áudio Aluno 1: Isso! É que é a minha cidade natal, né? (risos). Então tá! Me perdoem, por favor. Eu tenho coração pra todos! (risos). Olha só, está chegando aqui para gente, por exemplo... eu estou com a minha “colinha” aqui porque eu não lembro de todos, obviamente! As cidades falaram assim: “as responsabilidades do gestor seriam: decisão da composição da equipe de avaliação, revisão dos objetivos de metodologia do projeto, divulgação dos resultados e incentivo ao uso dos resultados da gestão do projeto”. Vou falar meio em geral e depois a gente faz um comentário. Interseção, que é a participação tanto do gestor quanto do avaliador: “elaboração do desenho de avaliação, construção de perguntas da avaliação, construção de indicadores e critérios de avaliação, discussão dos resultados com públicos interessados, análise dos resultados finais, estudos acadêmicos, promoção da aprendizagem a partir da avaliação, formação de avaliadores, planejamento da coleta de informações, discussão de resultados parciais e, por fim, construção dos instrumentos”. As três cidades falaram também que é o papel do avaliador! Se puder voltar... não? Tá, eu perdi! Mas enfim. Tinham mais uns pontos ali que eram papel do avaliador. A gente queria comentar... ah, voltou! Obrigado! Qual que era o papel do avaliador então? Era: “curso sobre avaliação, elaboração do relatório e treinamento da equipe de campo”. Eu queria fazer um comentário e bater um papo com a Ana sobre o que aconteceu. Eu acho que o Marco Tury (?), que está lá em Curitiba, talvez não concorde comigo mas pense só um pouquinho assim semelhante. Inicialmente, eu achava que o papel do avaliador era muito grande, não é, Ana? Eu falava assim: “o avaliador precisa fazer tudo e tal. A Ana vai me ajudar assim”. Porque o maior conhecimento técnico é do avaliador, querendo ou não. E eu falava: “poxa, então já que eu tenho conhecimento maior, vou ter que pegar tudo e a Ana vai me ajudar parcialmente”. E logo na primeira semana de fazer a coisa eu pensei: “não vai dar pra fazer sozinho. É impossível”. Por alguns motivos. Primeiro, somente a Ana conhece o projeto a fundo! Então, não tem jeito de você fazer avaliação. Vocês podem ler artigos nacionais, artigos internacionais, o que vocês quiserem... Só o gestor sabe o que está acontecendo no próprio projeto. E aí o papel da Ana foi fundamental para tentar entender melhor o projeto social. Eu lembro que eu ficava no telefone direto! “Ana!” E tal. Ligava de madrugada... de madrugada é mentira! (risos). Mas ligava tarde da noite: “Ô, Ana! Não estou entendendo isso aqui! Me ajuda!” Então assim, o que eu gostaria de elencar: a interação entre avaliador e gestor é muito importante. Muito importante! E aí, qual foi a quebra de paradigma que eu tinha? Antes, eu achava que a maioria das funções era minha. Hoje, eu acredito que a maioria das funções é compartilhada. Então, não tem como eu tomar decisão sozinho! Na verdade, todas as decisões tomadas foram de ambos. Só uma coisa que não foi de ambos: a escrita da metodologia. Mas, implicitamente, a Ana estava ali. Só a escrita da metodologia que não foi de ambos, porque é muito técnico, na verdade!

Áudio Aluna 2: Eu acho, que uma coisa para comentar, é o seguinte: é um conhecimento específico, técnico. E aí, a presença do avaliador é muito importante, se não imprescindível! Então, mesmo tendo feito o curso, eu não conseguiria ter feito. Não pelo curso, mas por conta do domínio da metodologia, o domínio das ferramentas. Mas eu ainda acredito que o gestor do projeto precisa entender disso. Então, eu acho que para uma instituição que quer fazer um trabalho desse, fazer o curso que a Fundação oferece é essencial! Porque eu conseguia dialogar. Eu acho que o papel do gestor, como em qualquer outra dimensão do projeto, é um integrador. O gestor é aquele que integra.