Ir para conteúdo

Biblioteca

Oficina de Aprendizagens

A Fundação Itaú Social realizou, no dia 30 de maio de 2014, a oficina de prática de avaliação com alunos e ex-alunos dos cursos de Avaliação Econômica de Projetos Sociais.



Oficina de Aprendizagens: Prática de Avaliação (maio/2014) - Parte 4

A Fundação Itaú Social realizou, no dia 30 de maio de 2014, a oficina de prática de avaliação com alunos e ex-alunos dos cursos de Avaliação Econômica de Projetos Sociais. Durante o encontro os participantes puderam compartilhar experiências e impressões sobre a metodologia de avaliação econômica. Assista a discussão e se aprofunde no tema.

Ir para a transcrição do vídeo

Transcrição

00:00 a 27:43 (Estúdio)

Imagem: Três alunos do Curso de Avaliação Econômica, um homem e duas mulheres, estão reunidos em um estúdio de gravação, debatendo o tema em questão. Eles são: Alan Borges, que é avaliador da Fundação Itaú Social (Aluno 1), Ana Carolina Francisco, ex-aluna do Emcantar (Aluna 2) e a Anna Carolina Bruschetta, da Fundação Itaú Social (Aluna 3). Ao fundo, um telão onde é exibido o conteúdo.

Áudio Aluno 1: Os livros e manuais são escritos por pessoas muito boas, só que são genéricos. Quando você vê que a realidade não é a mesma coisa que o livro, e aí? O que você faz? Você chora? Pede ajuda? Reza? Tem que dar um jeito.

Áudio Aluna 2: Faz tudo ao mesmo tempo!

Áudio Aluno 1: Faz tudo ao mesmo tempo! Chora, pede ajuda e reza! (risos). Mas, é isso. Não desanimem! Nem avaliador e nem gestor! É possível fazer. Obviamente, acho que vai do bom senso dos dois. É possível fazer dadas as limitações. Agora, se houver muitas limitações que invalidem os resultados, a minha sugestão é não fazer a avaliação. Informar uma coisa inválida, enviesada ou inconsistente não é nada bom! Se você acredita que está certo, está seguindo a teoria e as hipóteses, ok! Se não, troque de metodologia, faça uma avaliação qualitativa e não quantitativa... mas informe os resultados corretos! Acho que isso é o recado mais importante para os futuros avaliadores ou quem quiser trabalhar com coisas do tipo.

Áudio Aluno 3: Esses dois aqui têm muita história para contar, hein gente? Se a gente ficar aqui com eles, vamos ficar o dia inteiro só ouvindo essas histórias. Então primeiro, obrigada pelas exposições, pelo compartilhamento dessas histórias, dessas experiências. E agora a gente quer, na verdade, abrir o microfone para as cidades. Então, a gente vai passar por Belo Horizonte, Curitiba e São Paulo. A gente vai querer ouvir vocês. E como vai funcionar? A gente não consegue fazer esse diálogo como a gente faz aqui. Mas, a gente abre o microfone e vocês fazem uma consideração ou questionamento sobre como foi hoje, sobre alguma dúvida de como foi todo esse processo. Daí, a gente passa para eles aqui fazerem esse diálogo. Primeiro, chamarei Belo Horizonte e eles dois aqui fazem as considerações. Depois, chamo Curitiba. E, por último, São Paulo. Então, Belo Horizonte! Estão preparados aí para trazerem um comentário ou consideração aqui para a gente? Quem vai falar com a gente?

Áudio Belo Horizonte: Pessoal, bom dia! Eu sou o Milton, da RESE, Escola de Empreendedores Sociais. É muito bonito ver a sintonia da Ana com o Alan. Deu para perceber que cresceram juntos nesse trabalho. No trabalho em grupo, 60 por cento do trabalho do avaliador é a participação dele junto com o gestor. E, vocês falaram que a primeira conclusão foi a apropriação de conhecimento do ex-aluno. Então, como é que a Fundação poderia nos ajudar nesse processo, já que agora estamos em campo, muito lá no operacional? Avaliar é muito estratégico e não temos muito tempo para isso. Como a Fundação pode disponibilizar alguns avaliadores com esse nosso processo? Existem todas as dificuldades do grupo de controle, do processo em si. E a gente tem essas dificuldades operacionais hoje em dia.

Áudio Aluna 3: Obrigada, Milton! Você quase me colocou em uma saia justa aqui! A gente tem um edital exatamente para isso. A Ana está aqui hoje porque foi contemplada pelo edital. No final do ano, a gente vai ter um novo edital. E aí, quem sabe, a sua organização possa ser contemplada também nesse processo?!

Áudio Aluno 1: Além disso, a avaliação é completamente financiada pela Fundação Itaú Social. Só para vocês terem uma ideia, viagens que eu precisei fazer até Uberlândia ou que a Ana precisou ir a outros lugares, como São Paulo, pesquisas de campo e o custo do avaliador são 100 por cento financiados. Todos os custos envolvidos são financiados pela Fundação. E o que resta ao gestor? Acompanhar da melhor maneira possível. Então, nesse ano foi o terceiro edital. O primeiro foi em 2012 em que foram selecionados três projetos. Em 2013, foi lançado novamente um edital e acho que foram selecionados cinco projetos, se eu não estou enganado. É isso? Acho que sim. Em 2014, o edital vai ser lançado novamente e serão selecionados alguns. Esse ideia do projeto é uma estratégia da Fundação para apoiar os projetos e mostrar para as próprias instituições, que participaram ou não, de que é possível fazer avaliação. Nós esperamos que, a partir dessa ideia do edital, vocês e todas as pessoas que participaram se apropriem do conhecimento e possam tocar novas ideias daí por diante.

Áudio Aluna 3: Ok, obrigada Alan. Agora, vamos ver Curitiba! Quem vai falar com a gente aí de Curitiba?

Áudio Curitiba: Meu nome é Louise. Eu sou do Poder Público, do Estado do Paraná. Sou do IPARDES, que é uma fundação parecida com a SEAD. Eu tenho três perguntas. A primeira pergunta é: com todo esse processo de aprendizado que vocês tiveram com a avaliação, modificou-se a parte de inscrição das pessoas ao projeto? Porque ela já tinha um viés de alta seleção, as pessoas se inscreviam. Depois que vocês aprenderam alguma coisa dentro do projeto, viram se havia a possibilidade de modificar essa forma de o jovem ser inserido no programa? Essa é a primeira pergunta. A segunda tem a ver com os benefícios monetários. Aqui, na nossa turma, estávamos com uma grande expectativa de ver algum exemplo da conversão de impacto em benefício monetário. E vocês comentaram muito pouco porque não fizeram. Então, eu gostaria de saber se foi tentado, pelo menos um? Qual foi realmente o que mais impediu de fazer essa parte? E a terceira pergunta. Depois que você falou sobre a forma como vocês agregaram o grupo de tratamento, surgiu uma dúvida nossa se pode misturar, na mesma amostra e na mesma avaliação, duas turmas que entraram de formas diferentes, em tempos diferentes, e, portanto, com características diferentes. Já se tinha o problema de achar um grupo de tratamento parecido. Como é que a gente resolve esse problema de misturar as turmas? Se eram pessoas diferentes, falar sobre 2012 e depois de 2013 é completamente diferente. Então, a gente queria que vocês comentassem um pouco mais. Obrigada!

Áudio Aluna 3: Obrigada, Louise! Vou passar para o Alan para ele fazer esses comentários técnicos. E a Ana também complementa algumas coisas aqui.

Áudio Aluno 1: O processo de inscrição em si, na ONG, não mudou após a avaliação. A avaliação não mostrou se existia alguma coisa incorreta ou não no processo de inscrição. O que pode ter mudado seria a atualização de cadastro. A gente teve uma lição enorme. Agora, a avaliação não mostrou nada de diferente no processo de seleção das pessoas, de inscrição, que poderia se mudar; nem alguma coisa que impedisse a própria avaliação ou a seleção das pessoas.

Áudio Aluna 3: É mais neste sentido. Acho que tem a ver com essa questão do cadastro mesmo. A gente percebeu que, além de a atualização ser constante, ela é precária, com poucas informações. Estamos começando a fazer alguma mudanças nisso, porque foi um aprendizado do processo. Deu para fazer alguma coisa em 2014.E uma outra questão é a proximidade, porque os alunos vêm para o projeto por meio das escolas. E aí, a gente percebeu a necessidade de estar mais próximo das famílias. Houve algumas questões que aprendemos no processo. Como, por exemplo: os familiares também precisam entender onde o seu filho está participando do projeto, a gente tem que poder ligar e convidá-los para uma entrevista sem parecer que é um coisa de outro mundo. Então, essas foram algumas modificações que a gente já começou a fazer. Mas será em 2015 em que a gente poderá melhorar essa questões.

Áudio Aluno 1: A próxima pergunta da Louise foi em relação aos benefícios monetários. Se a gente tentou fazer a conversão dos impactos dos indicadores em benefício monetário. Eu conversei inicialmente com a Ana sobre isso. Eu confesso que os dois tiveram muita dificuldade de fazer isso. Nós temos uns dez indicadores. Cada indicador é muito único, uma especificidade, uma idiossincrasia muito grande. Dada a unicidade desse indicador, para cada indicador desse nós teríamos que fazer uma transformação de benefício monetário. E, para cada indicador que se fizesse isso, a gente teria uma hipótese diferente que teríamos que assumir. Não sei. Eu tenho muita dúvida em relação a isso. Não sei se seria factível, se seria legal. Se a gente faz várias hipóteses restritivas demais, talvez o resultado não seja tão real! Isso depende de muitas hipóteses. Então, acabei optando por utilizar a razão custo-efetividade. A gente perde um pouquinho nessa história, obviamente. Alguma pessoa tinha me perguntado se seria possível comparar efetividade de vários projetos sociais diferentes. Não é possível. Existem algumas restrições em relação a isso. Nem sempre é possível. Há algumas hipóteses que precisamos seguir. E, aquela consecutividade entre os indicadores não é comparável. Eu não posso comparar consecutividade de “lição de casa” com “acesso a projeto cultural”. Não há como comparar. Existem restrições. Foi uma opção que eu e a Ana utilizamos. Se é a melhor, eu não sei te falar. A gente consegue levantar as restrições que existem. E, dadas as restrições, nós temos esses resultados. Agora, se é possível fazer a transformação? Sim. Se eu tivesse mais tempo, mostraria que é possível. Só que são muitos! Então, complica. Por fim, a Louise também tinha falado sobre 2012 e 2013. Como eu faço com isso, já que entraram pessoas em 2012 e em 2013? A primeira hipótese que estamos assumindo nessa história é que o projeto não mudou. Se houvesse ocorrido alguma mudança no projeto, a gente teria que descartar ou pensar na heterogeneidade. Existe um estimador que se chama “efeito de tratamento heterogêneo”. Aí, daria para se pegar essa heterogeneidade. Mas, como não mudou... O que estamos assumindo? As pessoas só entraram em tempos diferentes. Dado que eles entraram em tempos diferentes, eles estão tomando o mesmo tratamento. É como se fosse o seguinte. Eu tomei Aspirina em 2012 e a Ana tomou Aspirina em 2013. Ok? Seria basicamente isso. Está nos levando ao mesmo resultado. Essa é a primeira hipótese. A segunda hipótese, que talvez seja quebrada e invalidaria um pouco os resultados, é que o tempo em que a pessoa ficou no projeto é diferente. E isso importa muito. Eu tentei fazer uma estimação com essa história do tempo, só que o estimador é restritivo. Ele depende de algumas hipóteses, que não foram validadas. Então, eu descartei o estimador. Existe um estimador que a gente chama de “efeito dose”. Qual é o efeito dose? Uma coisa é eu dar a Aspirina para mim e um comprimido de farinha para a Ana. Isso é uma coisa. Então, nesse caso, eu sou tratado e ela é controle. A outra coisa é eu dar 100 miligramas de Aspirina para mim e 500 miligramas para a Ana. Então, a dose é diferente. Repare que os dois receberam tratamento, mas a dose difere. Eu tentei implementar o estimador, mas ele depende de tamanho amostral. E o nosso tamanho amostral, apesar de não ser muito ruim, era restrito, era pequeno. Dado este tamanho, eu não tinha como implementar. Então, desisti da ideia. O tempo importa? Pode até importar. Mas eu não consegui colocar isso. Eu acredito que importa sim! E os resultados poderiam ser melhores. A gente não sabe exatamente, mas os resultados poderiam ser melhores. E outra coisa: eu coloquei esse tempo como variável explicativa e o resultado foi melhor, na verdade. Só que não era o melhor estimador possível. Ok? Então, eu desisti da ideia.

Áudio Aluna 3: Bom, e por último, falta a gente conversar com São Paulo. O Alexandre está na sala, esperando um tempão para falar com a gente. Alexandre, agora chegou a sua hora. Vamos ouvir você!

Áudio São Paulo: Em primeiro lugar, queria agradecer pelas explicações. Foram boas e deram uma boa esclarecida. Meu projeto tem muito a ver com o de vocês com relação ao tipo de pesquisa que eu vou fazer. Grupo de tratamento e controle. O curso acabou faz uma semana. E eu planejei justamente fazer uma parceria com as cinco escolas mais próximas. E daí, ter essa relação entre projeto social e os representantes das escolas para coletar as informações com eles. Eu tinha algumas outras perguntas, mas que já foram respondidas ao longo da outras cidades. Então, acabei formulando outras duas. Como vocês fizeram em relação ao transbordamento de informação do grupo de controle e de tratamento? Como vocês trataram isso? Isso foi ou não representativo para a realização da pesquisa? E sobre a forma de pesquisa. Vocês fizeram o questionário e as entrevistas também? Ou foi só o questionário? Foram entrevistas individuais ou colocaram todo mundo em uma sala e aplicaram o questionário? Então, como foi feita a pesquisa. Basicamente isso.

Áudio Aluna 3: Obrigada, Alexandre! Vamos passar aqui para o Alan. Acho que essas perguntas são com você!

Áudio Aluno 1: Legal! As duas perguntas! Primeiro, sobre a ideia do transbordamento. Não foi controlado. Poderia ter tentado fazer alguma coisa. Na verdade, vou ser bem sincero: foi problema de tempo! (risos). A gente não tinha mais tempo para fazer. Fazia mais de um ano que a gente estava fazendo a avaliação e daí não conseguimos implementar outras coisas. A gente conversou muito com o pessoal da Fundação Itaú Social, o pessoal que deu todo o suporte para a gente. A base de dados nos permite fazer várias outras estimações e várias outras hipóteses para fazer coisas diferentes. Então, é uma base de dados bem rica. Inclusive, há muitos indicadores que nem foram utilizados. Na verdade, foram utilizados, mas não deram impacto. Então, há bastante coisas que a gente pode tentar ver. Só que, dessa vez, não deu por conta de tempo. Quais as consequências dessa história do efeito de transbordamento? Imagine que você tem um tratado e um controle. Pode-se comparar os dois indicadores e se terá um impacto qualquer. Suponha que o controle não sabe de nada e o tratado recebeu o tratamento. Então, por exemplo, você tem um impacto de 5. Se o controle fica sabendo de alguma coisa, ou seja, se transborda, está se pegando o tratado versus o controle com alguma informação. E esse controle com alguma informação reduz o impacto. Em vez do impacto ser 5, poderia ser 4. Resultado dessa história toda? Se existiu algum tipo de transbordamento aqui, os impactos seriam maiores.

Áudio Aluna 2: Menores!

Áudio Aluno 1: Não, se existiu! Se, do jeito que nós medimos, existiu o transbordamento. O que nós mostramos aqui são impactos menores. Então, se a gente tirar o efeito transbordamento, o efeito dessa informação que esse controle pegou, a tendência é aumentar o impacto. Então, a grosso modo, vai estar enviesado, obviamente. Mas, vai estar enviesado contra a gente.

Áudio Aluna 2: A nossa tentativa foi aquela história que eu comentei, de ter feito dois grupos de controle.

Áudio Aluno 1: Deixa eu só comentar uma história. Inicialmente, na hora em que você vê o relatório final, você verá dois campos: “alunos sorteados para entrevistas” e “alunos efetivamente entrevistados”. Se você vir os sorteados de uma escola, você verá que não tinha nenhum elemento tratado e todos eram controles. Inclusive, era bastante gente. Para a nossa surpresa, quando nós entrevistamos, apareceram tratados nessa escola em que não deveria ter tratados! Por que isso aconteceu? Transferência. O jovem se transferiu para aquela escola. E daí acabou com a nossa história de ter uma escola só de controles para tentar calcular esse efeito transbordamento. Se vocês estiver interessando na história do efeito transbordamento, leia a avaliação da Escola Integrada de Belo Horizonte. Já está disponível no site da Fundação Itaú Social e no da Rede de Avaliação da Fundação Itaú Social. Lá mostra que existe o efeito transbordamento. Lá foi possível se fazer a história de uma escola só como controle. E a literatura amplamente mostra isso. Então, é importante se pensar nessa história. E, por fim, a questão da entrevista. Qual foi a estratégia que adotamos? As entrevistas foram marcados em dias e horários específicos. Foram colocados vários horários: 9, 11, 14 e 15 horas da tarde. Pensando sempre na realidade da região. Aí, dado que foram elencados esse horários, um grupo de pais comparecia ao local. Fazia-se uma reunião com esses pais e o questionário era projetado na sala de aula. Por que foi adotada essa estratégia? O pessoal tinha um pouco de dificuldade de interpretação do questionário. O questionário é muito longo, bem grande mesmo. Então, dado que o questionário era muito longo, a gente acreditou que as pessoas não iriam interpretá-lo da melhor maneira possível. Então, a instituição de pesquisa, que foi contratada para aplicar esse questionário, projetava o questionário na parede e daí falava: “pessoal, questão um, idade. Estão vendo? Todo mundo está na idade? Ok, coloquem a sua idade por favor”. Aí se esperava. Depois: “todo mundo colocou a idade? Estamos ok? Próxima pergunta é renda. Coloquem a renda familiar. Todo mundo colocou a rede familiar? Ok? Próxima pergunta”. E assim por diante. Isso foi muito importante para reduzir o viés. Como é um questionário muito grande, o autopreenchimento poderia causar enviesamento. Não só pelo fato de ser grande, mas pela complexidade das perguntas também. E isso reduziu o nosso viés. Está chegando uma pergunta agora se houve o consentimento da aprovação do comitê de ética local. A Secretaria de Educação tocou nesse assunto.

Áudio Aluna 2: Ela exigiu isso!

Áudio Aluno 1: Se a gente tivesse vontade de ir até a casa das pessoas, teríamos que passar pelo comitê de ética local. Não passou, porque as reuniões foram feitas nas escolas.

Áudio Aluna 2: Mas a gente pesquisou e entramos em contato com o comitê. E, por conta do tipo das perguntas, foi liberado pelo próprio comitê. Porque não se queria avaliar o indivíduo!

Áudio Aluno 1: Isso foi muito importante. A Ana entrou em contato com o comitê. Se não fosse a Ana, a gente nem saberia o que o comitê falaria sobre isso. Além disso, a Secretaria liberou essa nossa estratégia. Então, o acompanhamento da Secretaria, as visita e as conversas com a secretária e subsecretária de Educação possibilitaram a ausência do comitê. Só que a secretária foi bem enfática e clara: “se você não quiser ir à escola, você vai ter que assumir o risco!”. E aí pode acontecer basicamente duas coisas. Primeiro, a pessoa querer te processar porque você está pegando dados dela e indo até a residência dela. Ou então, você ter que ir ao comitê para pegar aprovação para ir na residência das pessoas.

Áudio Aluna 2: Isso seria uma coisa que atrapalharia muito o cronograma, porque o próprio comitê demora e leva um tempo para avaliar. Então, com essa estratégia de ir às escolas, a gente resolveu esse ponto.

Áudio Aluno 1: Isso foi uma surpresa para mim. Na minha concepção, precisa-se do comitê somente quando se está fazendo experimentos com seres humanos ou animais. E a gente não estava fazendo experimentos! Na verdade, o experimento já havia sido feito! Que foi quando eles participaram do “Ideias Incontidas”.

Áudio Aluna 2: Foi essa a questão que o comitê me respondeu. Não estávamos avaliando o indivíduo. Não estávamos fazendo pesquisas científicas com os indivíduos. A gente queria dados, que são do IBGE, do Censo, inclusive. É isso.

Áudio Aluna 3: Bom, pessoal! A gente está caminhando agora para o final do nosso evento. Já que estamos falando de avaliação, a gente também tem uma avaliação para vocês preencherem. Como este foi o nosso primeiro evento, com transmissão simultânea para internet e para vocês aí de Belo Horizonte, Curitiba e São Paulo, peço que preencham essa avaliação. Para nós, será muito importante saber se deu ou não certo, que sugestões vocês têm, como avaliam a nossa participação, a interatividade.. Então, por favor, preencham essa avaliação e entreguem para a equipe de apoio. Eu quero agradecer muito a presença de vocês. Porque, sair de casa nesse friozinho! Não sei como está em Belo Horizonte, mas em São Paulo e Curitiba está frio! Então, muito obrigado por terem comparecido! Para quem acompanhou pela internet, também meu muito obrigado. E, com certeza, podem aparecer mais dúvidas ou pode ser que vocês lembrem de outras coisas durante os próximos dias, no dia a dia ou durante o curso. Podem mandar as dúvidas para a gente através do Fale Conosco da Rede de Avaliação, que responderemos à medida que elas forem chegando. Alan, considerações finais? Agradecimentos?

Áudio Aluno 1: Eu queria agradecer a todos pela paciência que tiveram e pela participação. Eu achei que o dia foi bem produtivo , funcionou razoavelmente bem. Vocês participaram, elencaram perguntas super importantes. E deu para perceber que vocês estão entendendo do assunto! Falaram de efeito transbordamento, de coisas relevantes para a pesquisa, de como foi formado o grupo de controle. Então, achei muito divertido. O que eu posso falar para quem está fazendo o curso ainda é que aproveitem o final do curso e se apropriem da melhor maneira possível o que estão fazendo. E para aqueles que terminaram o curso, minha sugestão é que não desanimem! É super legal fazer avaliação. Acho que deu para notar que foi produtivo tanto para mim quanto para a Ana. Eu aprendi várias coisas novas. Então, toquem para frete o que estão fazendo, aproveitem tudo que podem e tentem saber um pouco mais dos projetos que estão conduzindo. Os maiores interessados são vocês! Não saber se a intervenção do que vocês estão fazendo está dando certo ou não gera frustração. Então, pensem nisso! É um negócio legal. E futuramente, creio que em menos de um mês, a avaliação do “Ideias Incontidas” estará disponível no site da Fundação. Façam o download e leiam por inteiro. Está muito detalhado! Existem várias coisas que não falamos aqui. Então, vale a pena dar uma lida e entender. E a avaliação está bem palatável! Tem uma parte técnica, mas a maioria, mais de 95 por cento, está muito entendível. A parte técnica está entendível também, mas às vezes complica um pouquinho! (risos). E, qualquer dúvida que voc6es tiverem, a Anna Carolina Bruschetta já falou. Entrem pelo site da Fundação, mandem as dúvidas pelo Fale Conosco e o pessoal reporta para a equipe da Fundação.

Áudio Aluna2: Eu acho importante agradecer todo mundo que participou desse encontro de hoje. E agradecer ao Alan, porque não foi só o envolvimento técnico! Houve todo o comprometimento e envolvimento dele. Diante de todos os problemas, a gente resolveu juntos mesmo! Em nenhum momento ele disse: “Ana, resolve!”. Então, muita seriedade, comprometimento, envolvimento. E agradecer a Fundação, pela oportunidade! O curso do qual eu participei lá na turma de Uberlândia já foi uma oportunidade e tanto! E pela oportunidade do edital! Porque acrescentou muito para mim, para a instituição, para o projeto. Então, é isso. Valeu a pena!

Áudio Aluna 3: Obrigada, Ana, por estar aqui hoje! Obrigada, Alan! Pessoal, com a Ana falou, a gente vai ter um novo edital no final do ano. Vocês vão receber essas informações por e-mail, através da Rede. Quero agradecer mais uma vez a presença de vocês. Faço um agradecimento especial ao pessoal do estúdio, pois, sem eles, não estaríamos aqui conversando com vocês! Muito obrigada! Até o próximo encontro! E bom final de semana! Não esqueçam da avaliação! Obrigada, pessoal!

27:44 ao Fim (Vinheta)

Imagem: Vinheta com ilustrações de gráficos na cor laranja, que entram e saem da tela sobre fundo acinzentado que lembra papel reciclado. Ao final, uma mão humana entra em cena e desenha com lápis de cor a logomarca da Fundação Itaú Social. Ao final, fundo fica todo laranja.

Áudio: Trilha animada em piano.