Ir para conteúdo

Biblioteca

Oficina de Aprendizagens

A Fundação Itaú Social realizou, no dia 30 de maio de 2014, a oficina de prática de avaliação com alunos e ex-alunos dos cursos de Avaliação Econômica de Projetos Sociais.



Oficina de Aprendizagens: Prática de Avaliação (maio/2014) - Parte 3

A Fundação Itaú Social realizou, no dia 30 de maio de 2014, a oficina de prática de avaliação com alunos e ex-alunos dos cursos de Avaliação Econômica de Projetos Sociais. Durante o encontro os participantes puderam compartilhar experiências e impressões sobre a metodologia de avaliação econômica. Assista a discussão e se aprofunde no tema.

Ir para a transcrição do vídeo

Transcrição

00:00 a 08:54 (Estúdio)

Imagem: Três alunos do Curso de Avaliação Econômica, um homem e duas mulheres, estão reunidos em um estúdio de gravação, debatendo o tema em questão. Eles são: Alan Borges, que é avaliador da Fundação Itaú Social (Aluno 1), Ana Carolina Francisco, ex-aluna do Emcantar (Aluna 2) e a Anna Carolina Bruschetta, da Fundação Itaú Social (Aluna 3). Ao fundo, um telão onde é exibido o conteúdo.

Áudio Aluna 2: ... porque ele consegue conversar com os vários atores envolvidos. Então, se eu não conhecesse da metodologia, eu acho que não conseguiria ter que ajudado. Por outro lado, tinha questões operacionais. Porque a gente não pode esquecer dos outros atores que estão envolvidos no projeto. Então, se um projeto ele tem stakeholders, e todo projeto tem, como envolvê-los também nesse processo? Então assim, as escolas parceiras: precisou ter um contato tanto de convidá-los a participar desse processo como um acompanhamento sistemático, que aí é mais o papel de gestor. Então, o trabalho é extremamente coletivo, mas é importante ficar claro isso. Tem questões que são de um (gestor) e de outro (avaliador), mas acho que o mais importante é essa troca, essa interação. E não esquecer dos demais atores. Acho que a gente pode até passar para o slide! Lá, a gente conta um pouquinho do que seria então o papel de cada um, para nossa aprendizagem, não é, Alan? O que a gente identificou? Então, o gestor que tem acompanhamento rotineiro e próximo da avaliação, interagindo com o avaliador e facilitando o processo de avaliação. Então, ele faz a ponte. No nosso caso, voltando, como foram sete escolas, quem entrava em contato com a escola, por exemplo, era eu. Então, é isso. Mas a gente já alinhava antes o que seria passado. A própria equipe do projeto que a gente pode considerar: o gestor é a peça chave, mas tem pessoas envolvidas nisso, que participam do processo de avaliação e fornecem informações. Então, a gente tinha dúvidas: “essa menino aqui não está na nossa lista de tratados, mas ele falou na pesquisa que ele era tratado!” Tem que chamar a equipe do projeto e perguntar: “você lembra dele? É isso mesmo?”. Então, querendo ou não, a instituição tem que participar. E aí, o gestor da organização, que participa do processo de avaliação e apoia estrategicamente. Porque, um outro comentário que a gente tem é o quanto de tempo que esse processo demanda. Então, se a instituição não valida essa participação, não entende a importância disso, fica inviável também. E os stakeholders do projeto, que são atores importantes. E aí vai variar de projeto para projeto, mas é importante de envolvê-los e é imprescindível para que o processo aconteça. Foi um aprendizado que a gente teve e nós aproveitamos já mecanismos que o projeto já tinha de comunicação com os parceiros para poder fazer esse movimento. Então, as principais peças são gestor e avaliador. Trabalhando em conjunto, conseguem desenvolver o trabalho. Mas, sem esquecer também de envolver as outras pessoas nesse processo.

Áudio Aluno 1: Eu queria fazer dois comentários. O primeiro é a frase que ela falou: “eu fiz um curso, eu não faria sozinho a avaliação. Mas, se eu não tivesse feito o curso, eu não teria contribuído também”. Isso eu achei muito legal. Por que? Eu já fiz outros trabalhos com pessoas que não tinham nem ideia do que era a metodologia. Era metodologia diferente que eu estava utilizando. Não era a mesma metodologia. Mas não tinham nem ideia do que era a metodologia. E aí, o que acontece? Eu senti uma dificuldade enorme em tentar explicar o que eu estava fazendo. E aí na hora em que eu fui mostrar a tecnologia, mostrar alguns resultados, alguns detalhes, os caras diziam: “não, pula isso porque eu não quero saber!”. E era um negócio tão importante que eu fiquei assim meio chateado, sabe? Mas assim, foi legal sem os caras saberem. E com a Ana, foi diferente! A gente conseguia conversar e foi muito legal porque a gente conversava de igual pra igual. “Sabe o tratamento e tal? As variáveis e não sei o quê?” Então, o curso possibilitou muito a interação e possibilitou conversar das coisas técnicas também!. ”Ana, eu preciso disso e disso!” E ela entendia perfeitamente. Isso foi muito legal. Então, se ela não tivesse feito curso, a gente conseguiria fazer a avaliação? Conseguiria, mas teria sido muito mais difícil o diálogo. Talvez ela não entenderia o que a gente estaria resolvendo, os problemas que estariam sendo resolvidos. Nós gostaríamos de tocar em cada ponto desses que estão distribuídas para vocês nas três praças. Só que é impossível para a gente! São muitos pontos e o tempo é curto... Eu queria só elencar algumas coisas, que aí eu acho que fica meio claro. Nessa avaliação do “Ideias Incontidas”, e aí obviamente com um recorte específico que eu estou fazendo, tiveram alguns atores. E aí, se eu esquecer de algum, você me lembra! A gente teve o avaliador, que sou eu; a gestora, que é a Ana; o “Emcantar”, que é a instituição onde a Ana trabalha, onde o “Ideias Incontidas” é desenvolvido; o governo e o financiador. Então, tivemos esses cinco pontos. Qual é o papel de cada um, a grosso modo? Eu e a Ana, o avaliador e o gestor, eles tocaram em todos os pontos. Então, não teve um ponto único que foi só a Ana ou foi somente eu. Obviamente, a escrita do relatório foi por minha conta porque realmente era função minha. Mas, fora esse relatório, todos os pontos como planejamento, seleção de amostra, seleção de variáveis... tudo o que vocês imaginarem foi feito em conjunto. Então sempre foi pedido a opinião da Ana, até mesmo porque ela que conhece do projeto e ela que saberia resolver os nossos problemas. Então, foi tudo feito em conjunto. E a instituição “Emcantar”? Basicamente, a coisa mais importante foi a abertura da instituição. A instituição basicamente abriu as portas para a gente. Falou: “Peguem os arquivos, peguem o que vocês quiserem”. E também, na validação do desenho de avaliação. Então, não bastava apresentar para a Ana. A instituição teria que saber também o que estava acontecendo. Então, essa abertura de portas e a validação do desenho de avaliação foram muito importantes. Não adiantava nada eu fazer avaliação e, lá no final, a instituição falar assim: “isso não me representa”. Iria ser muito frustrante você gastar tempo e dinheiro com uma coisa que não é representado. Por fim, eu vou falar do cara que financia o projeto e depois eu falo do governo. Instituição pública, na verdade. O financiador em si, o papel dele foi um pouco menor, mas ele esteve presente. Isso é hiper legal também, não é? Quando nós fizemos o desenho de avaliação, a instituição que financia o projeto, que é uma instituição de fora do “Emcantar”, ficou como interessada na própria avaliação. Inclusive, ajudou em alguns pontos. Teve alguns pontos que a Ana não pode ir e o financiador foi.

Áudio Aluna 2: Eu acho que inclusive ela está na sala de São Paulo! Acho que está!

Áudio Aluno 1: O financiador? Sério?

Áudio Aluna 2: Sério.

Áudio Aluno 1: Olá, financiador! (risos) Legal. Muito legal!

Áudio Aluna 2: Porque é um processo de parceria mesmo e não só de financiamento. Então, foi muito bacana.

Áudio Aluno 1: Eu achei muito legal também. O interesse do próprio financiador! “Olha, eu estou colocando dinheiro nisso e quero saber para onde que vai o dinheiro que estou colocando e quais são os resultados!”. Então, achei muito legal essa parceria. E por fim, o poder público. Nem sempre, o poder público vai estar presente nas avaliações. Nesse caso, esteve presente. A gente acha que discute mais em detalhes... Mais tarde a gente discute um pouco em detalhes essa história do poder público. Mas, ele acabou tendo um papel relevante, não sempre para o bem ou para o mal. Enfim, mas teve um papel razoável na avaliação. A gente discute isso um pouco mais...

Áudio Aluna 2: Mas, teve porque ele é stakeholder do projeto. Tem, inclusive, nas atividades, essa formação desse grupo que vai acompanhar a avaliação. Isto é muito da visão do gestor, porque se você esquece um dos stakeholders, isso, lá na frente, pode trazer algum problema. A gente teve problemas mesmo sem esquecer! Então assim, esse planejamento da avaliação de que, se ele é envolvido do projeto, ele tem que estar envolvido na avaliação. A avaliação é uma das dimensões do projeto.

Áudio Aluno 1: Mas, a gente conta qual foi esse probleminha com o poder público! A gente conta depois. Vocês precisam saber, porque, na verdade, talvez passem pelas mesmas coisas. Mas, assim, qual é a ideia da Ana, que ela está falando aqui? Ele é a parte interessada. Se trata de escola pública, que é municipal ou estadual. O cara tem interesse nisso. Ele quer saber o que acontece com os alunos dele. Querendo ou não, isso afeta o município ou o estado. Então, realmente era de interesse dele participar e também resolver alguns problemas que surgiram. Quer falar mais alguma coisa?

Áudio Aluna 3: Acho que agora eles estão cheios de “cenas dos próximos capítulos” aqui, que vocês viram, não é? Então, para que a gente possa fazer aí essas “cenas dos próximos capítulos”, a gente vai fazer um intervalo para que vocês possam também dar uma descansada. E a gente retorna em 15 minutinhos, certo? Até daqui a pouco, pessoal!!

8:55 a 26:55 (Intervalo)

Imagem: Sobre fundo com textura e cor que remete à papel, uma ilustração azul de um cafezinho. Ao lado direito, os textos em laranja: “Intervalo: Coffee Break”. No canto inferior esquerdo, a logomarca da Fundação Itaú Social.

26:56 a 27:12 (Vinheta)

Imagem: Vinheta com ilustrações de gráficos na cor laranja, que entram e saem da tela sobre fundo acinzentado que lembra papel reciclado. Ao final, uma mão humana entra em cena e desenha com lápis de cor a logomarca da Fundação Itaú Social. Ao final, fundo fica todo laranja.

Áudio: Trilha animada em piano.

27:13 ao Fim (Estúdio)

Imagem: Três alunos do Curso de Avaliação Econômica, um homem e duas mulheres, estão reunidos em um estúdio de gravação, debatendo o tema em questão. Ao fundo, um telão onde é exibido o conteúdo.

Áudio Aluna 3: Olá, pessoal! Bem vindos de volta, depois desse intervalo do nosso café! Antes de passar a palavra aqui para os nossos convidados, eu quero ver como está o pessoal de Belo Horizonte. Oi, Belo Horizonte! Tudo bem aí? (pessoas acenam para câmera). Bom agora, vamos dar uma olhadinha como está o pessoal lá de Curitiba! Vamos ver se voltaram! Porque, com esse frio, gente, dá até preguiça de voltar! Então, vamos ver Curitiba como está? (pessoas acenam para a câmera). Olha, Curitiba!! Foi o lanche! O lanche fez efeito! Isso é para tirar que só Belo Horizonte que conta, viu? Belo Horizonte está ali animada também, mas Curitiba também está! E para fechar o nosso giro, vamos dar uma olhadinha aqui em São Paulo, que também está frio, viu gente! (pessoas acenam para a câmera). Oi pessoal de São Paulo! Olha a animação também! O pessoal está animado! E já que a gente voltou com animação e, antes de a gente sair, ficou aquela expectativa de “cenas dos próximos capítulos”, quero perguntar agora para o Alan que história é essa de governo? O que aconteceu aí que vocês dois ficaram nesse mistério? O que aconteceu? Conta para a gente?

Áudio Aluno 1: Eu vou contar a história do governo. A gente vai conversar um pouco sobre isso. Ali está com um slide de conclusões. Eu queria só fechar o que foi apresentado até aqui, então. A gente tentou avaliar qual era o impacto do “Ideias Incontidas” sob vários indicadores. A gente viu que o “Ideias Incontidas” tem um impacto positivo para aquelas crianças e adolescentes que participam do projeto social. E, realmente, muda a vida das pessoas. Em que sentido? Ajuda essas pessoas a procurarem outros bens culturais e participar de eventos culturais; e também, desempenho escolar, leitura e Literatura. Além disso, ele se mostrou efetivo no retorno econômico. E aí, a gente estava contando os aprendizados etc e, por fim, surgiu a história do governo, que a Ana estava comentando aqui. O que acontece? Inicialmente, o que a gente tinha planejado na avaliação? Nós desenhamos a avaliação de impacto. Então, eu fiz o desenho juntamente com a Ana, do “Emcantar”. E aí, foi apresentado esse desenho de avaliação no “Emcantar”. O “Emcantar” validou e a gente estava pronto para coletar os dados. Nós tínhamos o dado do grupo de tratamento e faltavam dados do grupo de controle. O que nós fizemos, então? Fomos até a escola, não é Ana? E aí, nessa história de ir até a escola, a Ana pediu, na verdade, para as escolas atualizarem o cadastro do “Emcantar” com os tratados e pegar os dados do grupo de controle. E aí, o que eram esses dados? Basicamente, endereço e telefone. Então, imagina! A Ana é conhecida nas escolas, mas do nada a Ana chegava e falava assim: “Sr. Diretor, você poderia me dar o endereço e telefone dos seus alunos?” Aí, o que acontece? As escolas, que já tinham pessoas tratadas e lembrava muito bem da história do “Ideias Incontidas” forneceram alguns dados. Outras escolas começaram até a fornecer mas falaram em um certo momento: “calma aí! Para que você quer isso? E travou todo o processo. Todo o processo ficou parado por causa dessa história. “Para que você quer isso?”

Áudio Aluna 2: Na verdade, assim, até as escolas, por estarem mais próximas do trabalho, elas entendiam o porquê. Na verdade, a secretaria de educação, que estava um pouco mais distante, é que começou a nos questionar. E nos explicou, na verdade, uma limitação jurídica de que a escola não tinha autorização para fornecer os dados. Na verdade, a secretaria falou com as escolas que não poderia fornecer esses dados e isso deu uma travada de uns 2 ou 3 meses!

Áudio Aluno 1: Aproximadamente isso. Então assim, na verdade, não foi que as escolas não queriam. A secretaria comunicou-se com a escola e a escola falou para a gente: “Olha, não vou te fornecer mais nada”.

Áudio Aluno 2: É. E aí, a gente tentou conversar com a secretaria: por que não pode?” Até a Fundação foi até Uberlândia para a gente poder conversar e, na verdade, é uma orientação que a secretaria tem da parte jurídica da prefeitura, de que poderia ter algum problema judicial. Porque, pensa: vai chegar uma outra pessoa, que é uma instituição de pesquisa, na casa de uma pessoa que não participa, não conhece o projeto para fazer uma entrevista! E aí foi escola que forneceu esse endereço! Pode gerar um problema judicial para a prefeitura! Então, foi por isso que foi barrado, mas a gente encontrou uma solução. Não é?

Áudio Aluno 1: É. Então, o que acontece. Isso foi um problema muito sério para a gente. Poderia ter colocado tudo a perder, na verdade! Porque, se a secretaria de educação não liberasse os dados e a escola também não autorizasse nossa entrada na própria escola, basicamente não teria avaliação. Então, foi um negócio muito sério e não estava previsto. A gente nunca ia imaginar que iria acontecer isso, nem eu, nem a Ana, nem o “Emcantar” e, muito menos, a Fundação Itaú Social também. A Fundação Itaú Social e todos nós fomos pegos de surpresa. E assim, algumas pessoas podem pensar: “ah, isso é óbvio que iria acontecer!”. Agora, a gente está em uma era da informação. Você consegue informação na internet tranquilamente! Você consegue informação em tudo que é lugar! O IBGE passa na sua residência coletando dados de Censo! A gente nunca ia poder imaginar que a secretaria de educação iria falar: “não vou te fornecer dados!”

Áudio Aluna 2: Uma coisa que eu acho que é o lado positivo disso é que a própria secretaria nos auxiliou na resolução do problema. Entendendo a importância da avaliação, a gente pensou em uma estratégia que foi fazer as entrevistas nas escolas. Foi um pouco difícil porque lá naquela região, não sei se isso é geral, mas naquela região, os pais praticamente não vão às escolas; ou por trabalho, trabalham o dia todo, às vezes nem encontra com seu filho... ou porque realmente não têm esse hábito. Mas a secretaria e se empenhou. A secretaria, com as doze escolas, fez uma reunião, dizendo: “a gente autoriza que seja feita a pesquisa de campo na escola”. E aí, nós tivemos um outro trabalho de articulação que, em vez de ir nas casas, nós montamos um cronograma com as escolas, fizemos uma convocação com os pais... Então, aí a gente percebeu que, na verdade, não era um impedimento porque não entendia o processo, porque não era parceira do projeto... mas, era uma restrição legal! Tanto que a própria secretaria nos ajudou a encontrar a solução! E eu acho que uma aprendizagem que fica disso é que houve o envolvimento de todos os parceiros em todos os momentos, mas talvez a gente tivesse os envolvido no desenho da avaliação! Naquele momento, em que a gente definiu como seria a coleta de dados, talvez a gente teria evitado esse erro. Se alguém da secretaria tivesse lá, iria falar: “não, a gente não pode fornecer!”. Então, a gente não teria esse retrabalho. Só que, por um lado, eu sei também que é difícil! É um grupo heterogêneo. Como eu falei, o conhecimento de avaliação é específico. Como é que você envolve todo mundo nesse processo? Mas, é uma aprendizagem. Como antecipar esses não previstos? Talvez se a gente tivesse sentado com a secretaria e explicado “olha, nós vamos coletar assim”, eles teriam falado: “não, você não vai poder”. E aí a gente teria pensado na estratégia anterior. Então, tem esses dois lados. O lado da aprendizagem e o lado de perceber o envolvimento de todos os atores para conseguir que a avaliação saísse.

Áudio Aluno 1: Eu acho que é isso. E a gente conseguiu contornar da melhor maneira possível. O importante é que nós conseguimos finalmente coletar. E essa historinha explica aquela história das duas rodadas da amostra. Então, a primeira rodada foi feita na própria escola porque a gente não poderia ir na casa das pessoas porque as escolas vão poderiam fornecer o endereço. Então, o que foi feito? Nós mandamos bilhetes para os pais, convocando eles para a reunião na escola. E, além de bilhetes, foram realizadas ligações para convocar esses pais. Alguns compareceram e outros não. Na segunda rodada, aí sim nós somos nas residências das pessoas. Porque, na residência, o dado dos tratados estava em poder do “Emcantar”, da instituição. Então, nos tratados, nós fomos até a residência. E isso facilitou muito! Facilitou bastante. Então assim, qual é a sugestão se a gente fosse dar uma sugestão? Verifique a validade da qualidade da informação que vocês têm. Será que você é o dono do dado? Se você for o dono e precisar ir lá, ok. Não tem problema nenhum. Agora, se você depender de algum terceiro, a sugestão é tentar conversar com esse terceiro para ver como é que vai ser obtido o dado. Está chegando uma dúvida aqui, olha! “Se a turma dos meninos do controle tinha um contato com o pessoal do tratamento”. Alguns, sim. Isso pode enviesar... não enviesar os resultados, mas... O que acontece? Se tiver contato com o tratamento, o impacto poderia ser menor do que o esperado. Isso pode ter ocorrido sim! Mas dado a base de dados que nós temos, não teria como resolver.

Áudio Aluna 2: A gente optou por pegar meninos da mesma escola. Provavelmente, eles têm contato. Ou só na escola ou, às vezes, até são vizinhos, enfim!

Áudio Aluno 1: E obviamente que isso afeta os resultados e a gente admite isso nos relatórios. Pode acontecer, tá? Então, olha só! O que ficou de aprendizagens para a gente? Dessa história toda, o que nós aprendemos com essa avaliação? Que eu acho que pode ser replicado e repensar várias avaliações aí para frente. O primeiro, apropriação do ex-aluno, que é a Ana! Não é que está na frente dela, não! (risos) A Ana foi fantástica na história de entender a metodologia e o curso da Fundação. Acho que possibilitou muito isso. Não estou puxando o saco nem da Ana e nem da Fundação Itaú também. Mas, a conversa entre nós dois fluiu perfeitamente. E eu, sendo bem sincero, não esperava de fluir tão bem. Então, todos os problemas que surgiram, coisas que eu queria conversar... e eu poderia conversar coisas um pouco mais técnicas. Por exemplo: “o processo de seleção do indivíduo importa”. Então, ela deu várias dicas dessa coisa e eu não entendia bem do que estava falando. Então, essa parceria e abertura! Se eu precisasse ligar para ela, ligava. Se ela precisasse ligar para mim, ela me ligava também, contava os problemas. Então, resolvia muitos itens da própria avaliação. Então, esse processo de parceria entre avaliador e gestor é de suma importância. Eu acredito e eu acho que a Ana acredite também. Se não tiver esse processo de parceria, a avaliação talvez não sai tão perfeitinha assim. Liberdade e cooperação da ONG! Eu já tinha comentado um pouco isso antes. Eu lembro até hoje. Foi muito legal. No dia que eu fui apresentar o desenho de avaliação lá no “Emcantar”, eu estava morrendo de medo. Era como apresentar uma monografia, porque eles conhecem a ONG e o projeto mais do que eu! Se eu falar alguma bobagem, ele falam para sair daqui agora!”. Imagina! Então eu ia colocar tudo a perder! Então falei: “bom, vou lá da melhor maneira possível, vou com o coração aberto. Se tiver algum erro, eles vão me indicar e eu vou corrigir! Não tem problema nenhum!”. Na hora que eu comecei a apresentar, não lembro se foi o Querubim, que é o presidente da ONG, ou outra pessoa que falou assim: “nossa, você estudou mesmo nessa noite! Detalhes que nunca imaginava e tal”. E foi hiper importante esse processo. Então, essa coisa do avaliador estudar a ONG. Eu não estudei só o “Ideias Incontidas”, eu estudei o que a ONG faz. Isso possibilitou um maior diálogo. As pessoas abriram as portas. “Olha é um negócio sério o que eles estão fazendo. Eles não estão brincando. Eles não estão querendo só ver um pequeno detalhe. É um negócio maior, que possibilita mostrar bons resultados ou não também para o projeto”. Então essa abertura de portas da ONG, eu poderia conversar com qualquer pessoa. Nas vezes em que eu fui a Uberlândia, eu fui muito bem recebido, tanto pelo presidente quanto pela Ana. E eles disponibilizaram tempo para poder fazer isso foi de suma importância. Então, não só o gestor, mas a própria instituição tem que querer também. Tanto a gestora quanto a ONG... O financiador, nesse caso, eu não sei se o financiador vai estar presente sempre... mas, nesse caso, financiador estava e todos queriam, então foi um conjunto! Então, essa abertura de portas foi muito importante. Outra coisa que ficou de aprendizado para mim foi a atualização do cadastro da ONG e das escolas. A Ana sabe disso, eu sempre falei isso com ela! O cadastro estava desatualizado e isso complicou um pouco a vida da gente. E é normal! Acho que várias instituições vão ter cadastros desatualizados. Nem sempre vai estar da melhor maneira possível e vai caber a gente tentar contornar o processo. Nesse caso específico, nós tínhamos como recorrer à escola. Agora, imagina ,por exemplo, um projeto social de inserção no mercado de trabalho! O cara faz o curso e vai embora. Você vai recorrer a quem? Você não tem ninguém, você não tem escola para recorrer o dado desse cara. Então, se você não atualiza o cadastro, acabou! Você perdeu o cara e não tem avaliação! Então, pensem nisso! Nesse caso, nós tínhamos as escolas e foi razoável. E se não tivesse? Como é que a gente iria fazer a gente? A gente não teria avaliação! Então, tem que tomar bastante cuidado com isso. E não só o cadastro da ONG estava desatualizado, mas o da escola também! Nós ficamos surpresos. Tivemos que ir na escola coletar dado de frequência, nota, entre outras coisas. E aí, nós chegamos na escola e tinha escola que não sabia onde estava o histórico escolar do aluno! E foi engraçado! A gente chegava e: “ué, esse aluno participou? Ele estuda aqui? Como ele estuda aqui?”. E eles, “não, a gente tem essa informação!”. Aí eles verificavam em algum lugar e falavam: “ah, realmente estuda!!”. Mas a gente não sabe onde está o histórico dele. Aí, é como se a gente fosse secretário da escola! A gente era do administrativo da escola! Então, a gente vasculhou todos os arquivos. Foi muito trabalhoso! Foi um trabalho de um dia inteiro! Dois dias, na verdade! Então, foi um trabalho de dois dias, vasculhando arquivo de escola etc. Eu nunca tinha feito isso na minha vida! Então, foi uma experiência enriquecedora para saber quais os problemas. E alguém poderia perguntar: “mas vocês poderiam ter pedido o secretário para fazer isso! Ou o diretor da escola! Ou o professor!” Nós pedimos! Só que qual era o problema disso? Cada escola armazena o dado de um jeito e a informação não é a mesma da outra. E quando é a mesma, o conjunto de informação é muito grande! Eles não sabiam o que coletar.

Áudio Aluna 2: Só mais um adendo também. Que a gente tem um contato dentro de cada escola, que não necessariamente é o secretário da escola. Então, cada pessoa passou essa demanda de um jeito também para sua escola. Então, a gente recebeu sim alguns dados, mas não foram todos. E aí, no final das contas, a gente resolveu ir na escola buscar. Porque a gente tinha conhecimento para que servia o dado. Fomos super bem recebidos. O pessoal ajudou muito a gente. Mas, por conta dessas diferenças... teve escola que mandou planilha completa, teve escola que não mandou... A gente disse, então: “vamos nas escolas e vamos recolher esses dados”.

Áudio Aluno 1: E, por exemplo, a qualidade do dado importa muito para a gente. Então, tinha escola que mandou, por exemplo, a frequência, a hora de frequência. Outras escolas mandaram as faltas. E outras mandaram assim: frequência de Português, frequência de Matemática, frequência total. Eles não sabiam o que mandar. Por mais que tivessem sido orientados! Foi orientado mas existiam dúvidas ainda. O que é normal.

Áudio Aluna 2: É uma questão de envolver muita gente. Por isso que o gestor tem que estar ali, rotineiramente acompanhando.

Áudio Aluno 1: Uma coisa é você fazer o download do site do INEP e usar as notas. Outra coisa são dados primários. Então, tem que tomar bastante cuidado com isso e ter atenção. Uma atenção muito delicada. O “timing” é diferente entre agentes. O tempo ali é diferente. A gente está acostumado. Eu, por exemplo, eu estou acostumado a fazer um negócio muito mais dinâmico. Então, você vai lá, lê, faz o download, estima, escreve e acabou. Um negócio mais dinâmico. E cada um tem um tempo diferente de fazer as coisas. Não adianta eu querer pedir uma coisa para Ana e falar: “daqui cinco minutos eu vou te ligar para saber se você conseguiu”. Não ia adiantar, porque ela tem outras coisas para fazer. E a mesma coisa é a escola, o diretor, a secretaria de educação e a instituição. O tempo é diferente para cada um! Tem que pensar nisso ao longo da avaliação. E isso acaba atrasando um pouco as demandas e os resultados também. Por fim, o setor público-privado, entre outros, que a gente já comentou. É a história da secretaria de educação. É importante envolver os outros agentes quando necessário e conversar com esses agentes. O papel de cada tem que estar bem claro, bem definido. Se esse papel não estiver bem definido, talvez a avaliação não seja possível de executar. Isso foi a minha visão, que é uma visão um pouco mais técnica em relação às áreas de estimação. Aí, vem a visão da Ana, como gestora. E daí, a gente confronta as duas coisas.

Áudio Aluna 2: Exatamente. Então, o primeiro ponto tem a ver com as questões que o Alan comentou de metodologia. Foi muito importante aprofundar tudo que eu tinha aprendido no curso ou então participar desse processo foi muito importante para isso. Por mais que a gente faça um trabalho de conclusão de curso, você estar ali, com avaliador do seu lado, fazendo... ajuda muito, apropriar-se daqueles conhecimentos. Foi importante também para além da avaliação. Para eu poder perceber, ter outras percepções quanto à gestão do projeto. Essa questão dos dados. A gente tinha essa intuição, mas perceber, na prática, o quanto nossos dados eram precários... a gente precisa avançar nesse aspecto. E essa questão das parcerias. Como funciona a parceria, como cada escola percebe o projeto... a avaliação ajudou nisso também. Por isso que eu digo que a avaliação é um instrumento de gestão. A necessidade de aprimoramento do cadastro dos alunos, que tem a ver com o sistema, toda uma inteligência que nós vamos desenvolver nesse sentido... a formação de grupo de controle, que parece ser simples, mas, na prática... Por exemplo, a gente comentou que nós tínhamos pensado em dois grupos de controle: o de controle de alunos das mesmas escolas que os tratados; e de uma escola que não tinha aluno tratado. Mas aí descobrimos na pesquisa de campo que nós éramos parceiros de uma outra ONG, cujos alunos estudavam nessa escola. Foi uma coisa não prevista também. O dispêndio de tempo é muito grande. Falando do ponto de vista do gestor, dos ex-alunos e alunos que também são gestores. A gente precisa planejar bastante e saber que, ao entrar em um trabalho desses, você vai precisar mesmo ter tempo para resolver tanto as questões operacionais... Eu, no caso, que estava comentando, as escolas mandavam dados e aí eu tinha que devolver a planilha que estava errada.. liga na outra escola para poder agendar a entrevista... então, essas questões. E os problemas não previstos. Nosso planejamento estava redondinho, tinha um cronograma e atrasou em vários momentos por isso. Então, o gestor precisa saber que, além de tudo que ele faz no dia a dia, esse processo vai demandar tempo. Por isso, a organização tem que estar envolvida, tem que saber, tem que ser uma aposta coletiva e isso tem que ser planejado dentro das suas atividades, porque, senão, em alguma hora vai travar o processo. Essa questão da heterogeneidade do grupo envolvido. Então, a gente tem vários stakeholders no projeto e eles têm que ser envolvidos na avaliação. A gente precisa encontrar uma forma de tratar de um assunto que é tão específico em um grupo que é tão heterogêneo. Foi um aprendizado, foi um desafio constante. E, por fim, eu costumo brincar que os problemas da avaliação não são da avaliação. Eles são de outras ordens. E isso ficou muito claro nesse processo. Várias questões do contexto externo interferiram no andamento da avaliação. Então, às vezes, o Alan era cobrado, eu era cobrada do cronograma porque outras dimensões foram interferindo. E a dica que fica é como a gente tentar reduzir os riscos, tentar reduzir os não previstos. Isso se dá com um planejamento bem feito. Não que a gente não tenha feito! Mas assim, de gestor para gestor, o que fica é isso: o planejamento e o acompanhamento são muito importantes. E aí, a gente tentasse envolver, mesmo sendo um grupo heterogêneo, todos os atores para evitar esses problemas não previstos, porque são eles que vão dispor mais tempo, podem atrasar o cronograma, pode dar dor de cabeça, ter que ligar de madrugada... (risos)

Áudio Aluno 1: Eu só queria fazer um comentário sobre essa história do cronograma. Só para vocês terem uma ideia, porque alguém pode perguntar: “quanto tempo durou a avaliação? O que era planejado inicialmente?”. Só para vocês terem uma ideia, o edital selecionou o “Emcantar” no final de 2012. O que estava previsto para avaliação? O desenho iria acontecer no início de 2013. E os resultados finais, iriam ser entregues em Setembro de 2013. Então assim, iria chegar a nove meses de avaliação total. Nós entregamos o relatório final há um mês, aproximadamente um mês. Então, foi mais de um ano de avaliação. O porquê desse atraso? Basicamente atrasos devidos a essas burocracias e coleta de dados. Com todo este contexto de problemas que nós contamos.

Áudio Aluna 2: A metodologia é muito “fechadinha”. Mas a gente não pode esquecer que existe um contexto que influencia muito. Então, não foi porque a gente trabalhou pouco! Nem que a gente estava lerdo com o cronograma!! (risos) Mas é porque realmente havia outras influências. E eu acho que isso o gestor precisa tentar prever, por mais que não vá prever tudo.

Áudio Aluno 1: Isso que eu ia falar. O que aconteceu não foi previsto! Na verdade, foi essa. Se a gente tivesse previsto isso tudo, obviamente a gente teria talvez tomado alguma outra decisão... ou não também! Do jeito que foi feito, não tinha como correr para outro lugar!

Áudio Aluna 2: Exatamente. É essa a importância desse encontro de hoje. Até conversando com o pessoal da Fundação, quando a gente estava desenhando isso. Porque, o relatório, os resultados... a gente pode ler, a gente pode estudar. Mas essa aprendizagem... O nosso exemplo é para servir para os próximos! Tentar ao máximo prever essas questões, porque cada projeto vai ser de uma forma, mas que, tendo essas experiências, vocês podem ter menos problemas que a gente teve.

Áudio Aluno 1: Acho que é isso!

Áudio Aluna 3: A gente recebeu, durante esse período, algumas perguntas, algumas dúvidas, alguns questionamentos relacionados a essas aprendizagens. É por isso que a gente está aqui hoje! Para fazer esse compartilhamento, essa troca de experiências. O Alan anotou aqui algumas perguntas e a gente vai passar um pouquinho por esses questionamentos. A gente não vai conseguir passar por todos. Mas o Alan vai aqui dar um posicionamento.

Áudio Aluno 1: Então, vamos lá! A gente vai tentar responder algumas perguntas que apareceram. Depois, vocês podem entrar em contato com o pessoal que está aí com vocês. Eles podem passar o nosso contato. E, além de tudo, a avaliação completa vai estar daqui a poucos meses, dias talvez, no site da Fundação Itaú Social e na rede de avaliação da Fundação Itaú Social. Vocês podem entrar lá e fazer o download. Uma pergunta que surgiu aqui: “depois de quanto tempo foi medido o impacto?”. Acho que a Ana é a melhor pessoa para falar. Porque, na verdade, o que aconteceu? Inicialmente, nós íamos avaliar o impacto das pessoas que participaram de “Ideias Incontidas” em 2012. O que aconteceu? Na hora de entrevistar as pessoas, a amostra estava ficando muito pequena. Então, nós pegamos um pedaço de pessoas de 2012, que participaram em 2012; e um pedaço de 2013.

Áudio Aluna 2: Isso foi um ponto positivo de entrada do cronograma, porque a gente conseguiu as pessoas que entraram em 2013, que não seriam!

Áudio Aluno1: E aí, a amostra teria sido menor, prejudicando os resultados. Então, quanto tempo depois foi medido o impacto? Basicamente, um ano de participação, a grosso modo. Então, o cara que participou durante 2012 todo, nós coletamos os dados dele em 2013. E outras pessoas que entram em 2013, sei lá, pelo menos seis meses de participação! Então, de seis meses a um ano de participação.

Áudio Aluna 2: Um espaço curto, para depois medir o impacto. E até no relatório, a gente aponta isso: que seria interessante, daqui a uns quatro ou cinco anos, fazer outras avaliações.

Áudio Aluno 1: Outra pergunta que surgiu é se “o ‘Emcantar” tinha alguma parceria para o projeto”.

Áudio Aluna 2: Eu acho que a gente foi falando disso ao longo da história aí. Mas, basicamente, a gente tinha uma parceria que, nesse projeto, o financiador era na verdade um parceiro, que é o Instituto Algar, que eu citei no começo. E também as escolas públicas, a secretaria municipal de educação e a superintendência regional de ensino. Com eles sendo parceiros, a gente já teve algumas dificuldades. Sem a parceria, seria inviável!

Áudio Aluno 1: Beleza! O que nós temos aqui?

Áudio Aluna 3: Acho que tem a questão dos desafios, não é? Acho que isso a gente já passou... A gente recebeu mais algumas perguntas no monitor e também a gente tem algumas que o pessoal deu uma sintetizada aí nas dúvidas. O que você tem de comentários finais, de desafio, para falar com o pessoal que está lá em Belo Horizonte, Curitiba e o pessoal que está aqui em São Paulo?

Áudio Aluno 1: Então, deixa eu só responder... perguntaram sobre a periodicidade da pesquisa. Quanto tempo tem essa periodicidade? Não tem uma regra geral, ok? Dado que você fez a primeira vez, fica a seu critério de repetir a pesquisa ou não. Você só tem que dar um tempo para a intervenção fazer impacto. E de cada projeto, vai ser diferente. Não existe uma regra única. Então, nesse caso aí, foi de 6 meses a 1 ano, mas poderia ter sido um intervalo maior. E após a primeira vez, se você desejar, você pode fazer de novo. Mas, já foi provado que existe impacto e o projeto é razoável. O que fica de aprendizado, então, e que a Ana estava comentando? Eu acho que o aprendizado geral é a história da parceria, das dificuldades que nós tivemos. Porque, você aprende a metodologia e aplica. Então, não tem muita coisa em relação à metodologia. Mas, como contornar esses problemas e se esses problemas podem validar ou não o impacto. Isso é hiper importante. Por exemplo, surgiu uma pergunta: “a seleção das pessoas pelo diretor da escola afetaria os resultados?” Claramente afetaria. Isso é muito preocupante. Se ele fez uma opção de pegar os melhores alunos, os resultados mudariam drasticamente. Isso tudo foi citado no relatório. Aqui a gente não pôde apresentar tudo, mas eu sugiro dar uma olhada depois. Essas coisas ficaram de aprendizado para gente. Então, a importância de parcerias, verificar a base de dados, atualização de cadastro, papel de cada ator, o compartilhamento de ideias entre os agentes. Isso é hiper importante e eu acho que fez a diferença.

Áudio Aluna 2: Eu acho que uma coisa importante de comentar também é que esse assunto da avaliação é muito angustiante. Porque a gente está buscando respostas. É por isso que tem cursos como esse. Tem programas de instituições focadas nisso. E uma coisa importante que a gente tem que falar, porque tem a ver com a realidade das instituições, é que é um processo que demanda tempo; e, demandando tempo, demanda investimento. Então, por mais que as instituições tenham esse desejo, se não houver essa possibilidade de tempo e investimento... Por exemplo, a instituição “Emcantar” não conseguiria ter o Alan avaliando o projeto se não fosse pela Fundação! Então, eu acho que isso é uma coisa importante. E a gente pensar que, se é uma avaliação de uma dimensão importante, ela precisa ter gente com o tempo, gente preparada e investimento para poder se efetivar. Porque, o que geralmente acontece? A instituição quer tanto fazer a ação social que ela gasta seu tempo fazendo aquilo. E aí, às vezes, só tem uma pessoa na instituição pensando em avaliação. E isso dificulta mais ainda um processo que já é muito específico, que já é trabalhoso, que demanda conhecimento de outras áreas. Então, essa questão do investimento é algo que a gente precisa parar, pensar, planejar, para não ter a ilusão de que a avaliação vai acontecer como um passe de mágica. Não! Ela precisa de conhecimento, de tempo e de investimento.

Áudio Aluno 1: Por fim, eu queria só fazer um último comentário: não desanimem com as dificuldades! Eu acho que qualquer projeto social, qualquer empreendimento que você faça... Não precisa ser avaliação! Se você vai abrir um novo negócio, se você vai fazer qualquer coisa, uma pesquisa nova na área acadêmica... você vai encontrar dificuldades! Vai caber do próprio avaliador e do gestor saber superar as dificuldades. Eu lembro até hoje, eu ligava para a Ana: “Nossa, não é possível que deu problemas de novo!”. Eu também ficava assim. Só não podia contar para a Ana! Eu não poderia falar para a Ana assim: ”Ana, estou chateado. Não sei o que eu faço mais com essa história e tal”. Daí eu sentava lá em casa: “Nossa, como eu resolvo isso e tal?”. A gente encontrava uma solução em conjunto. Então assim, vai encontrar problemas! E detalhe! A gente está falando da instituição, da ONG... mas o próprio avaliador é diferente também. Eu não sei quem já foi a campo! É muito diferente! Uma coisa é você fazer usando bases e dados do IBGE: a PNAD, o Censo etc. A outra coisa é não é igual ao livro de Literatura, ok? Você não vai encontrar as mesmas coisas que existem no livro de Literatura. O próprio Paulo Jannuzzi já fala.