Ir para conteúdo

Biblioteca

3º Encontro Virtual de Avaliação: Projeto CIEE

3º Encontro Virtual: Avaliação do Programa Mais, uma iniciativa do Centro de Integração Empresa Escola (CIEE).



3º Encontro Virtual de Avaliação: Projeto CIEE - Parte 07

Parte 07

Ir para a transcrição do vídeo

Transcrição

Imagem: Carlos Eduardo Garrido, da Fundação Itaú Social, entrevista Elaine Toldo Pazello, avaliadora da Fundação Itaú Social e Professora da FEA-SP/USP (entrevistada 1) e Valéria Moreno, Coordenadora de Programas Especiais do CIEE/RJ (Entrevistada 2) .

Áudio Apresentador: Boa dica, então!

Áudio Entrevistada 1: Então, coleta de dados então. E aí, antes de a gente ir para os resultados propriamente ditos da avaliação, acho que convém a gente falar um pouquinho das dificuldades que a gente teve para fazer a avaliação. A primeira dificuldade que eu acho que é comum a todos os projetos sociais, na verdade a gente está aprendendo a como lidar com isso melhor, é o fato de que você não vai encontrar uma parte desses jovens. A gente tinha lá o cadastro, a gente tinha as informações: telefone, telefone celular, e-mail… mas, enfim… e não é recusa, que é uma coisa diferente. Não é que a pessoa atendeu e não quis responder. Não, não é esse o ponto! O ponto é que realmente você não consegue o contato com a pessoa. E, o que acontece? Na verdade, você vai entrevistar uma parte daquelas pessoas que você tinha planejado inicialmente. Aí a grande pergunta que fica é: “será que essas pessoas que eu estou entrevistando são diferentes daquele conjunto maior que eu tinha antes?

Áudio Apresentador: “Por que será que eu estou encontrando essas e não as outras?”

Áudio Entrevistada 1: Exatamente! Então, isso é uma coisa que a gente chama de “atrito”. A gente não acha as pessoas e sempre tem essa dúvida, porque você pode ficar com uma amostra selecionada. E aí, eu acho que vale a pena colocar, nesse caso, que a gente tinha o cadastro inicial do CIEE, do Programa Mais. Isso foi muito legal, porque, a partir dessas fichas, a gente só conseguiu fazer isso para os tratados e para o grupo de controle do CIEE. Para os demais, a gente não conseguiu fazer porque a gente não tinha cadastro. Mas, por esses dois grupos, o que a gente conseguiu fazer? A gente tinha um cadastro bastante grande…

Áudio Entrevistada 2: …com ficha socioeconômica. Não era só uma ficha de inscrição. Na própria inscrição, a gente já fazia um levantamento socioeconômico. Até porque, para entrar no programa, a gente não pede um comprovante de renda. Mas, a gente precisa minimamente fazer uma avaliação que ela declare de que ela faz parte de uma classe social popular. Que realmente precisa deste Programa. Então, no momento da inscrição, a gente já aproveita para fazer uma ficha socioeconomica.

Áudio Apresentador: E, Valéria, não sei, em que medida, isso é uma situação muito comum, a gente tem visto bastante isso na avaliação, que é: a gente, às vezes, recebe uma lista de pessoas e não consegue mais encontrar, porque muda-se de celular com muita freqüência, as pessoas mudam de endereço, mas principalmente cellular… você, lá no CIEE, tomou alguma medida? Hoje em dia, tem-se falado muito em redes sociais!

Áudio Entrevistada 2: Facebook! (risos)

Áudio Apresentador: E funciona?

Áudio Entrevistada 2: Funciona. É impressionante!

Áudio Apresentador: Funcionou? (risos). Fica mais uma dica aí…

Áudio Entrevistada 2: Quando a gente fez isso, não existia ainda Facebook, nesse “boom”!

Áudio Apresentador: Lembrando que essa avaliação é lá dos jovens que começaram…

Áudio Entrevistada 2: … em 2008 a 2012. Existia (Facebook), mas principalmente para os jovens que a gente estava atendendo naquele momento, isso ainda não estava tão frequente como a gente vê hoje. Agora, hoje, todos os jovens do projeto que já passaram, ex-alunos, a gente não encontra no celular, mas posta um recado no Facebook; ou então, se não encontra ele, pede para o amigo: “quero falar com fulano urgente! Tem o Face dele? Funciona. Então, com eles, essa é a comunicação.

Áudio Entrevistada 1: Então, só para finalizar, a gente pegou esse cadastro inicial, que tinha e comparamos. Pegamos lá todos os nossos tratados iniciais. Por exemplo, “média de escolaridade dos pais”. E comparamos essa variável só para aqueles que efetivamente a gente tinha conseguido entrevistar. O que a gente quer saber? Será que o grupo que a gente entrevistou é muito diferente daquele original? E, felizmente, os resultados foram bastante positivos para esses dois grupos, para o dos tratados e de controle do CIEE, a gente não encontrou diferenças significativas que pudessem colocar em risco, ou colocar em dúvida a representatividade da amostra. Então, isso foi uma coisa bastante legal. Enfim, mas é um problema que todos os projetos vão de alguma forma encontrar. Então, como lidar com isso é uma coisa que todo mundo está aprendendo. Então, é o Facebook, é o amigo, é pegar o telefone da mãe e não pegar só o telefone do menino… enfim, endereço vai ter que pegar sempre.

Áudio Entrevistada 2: A dica principal é ter uma ficha de inscrição. E essa ficha precisa ser arquivada, bem guardada, para que, a qualquer momento, você possa acessar essas informações. O que a gente observa muito, até de parceiros, que não se tem a mínima noção de onde estão os jovens, porque não tem esse material para entrar em contato. Então, a área social precisa tem isso em mente. Tem que ter controle, no mínimo, por uma ficha de inscrição.

Áudio Entrevistada 1: É verdade. Tanto é que o nosso segundo problema ali que a gente vai destacar é justamente o problema que a gente teve com Almirante. Porque, o Almirante era o nosso grupo de controle ideal.

Áudio Apresentador: Que era o Almirante Negro, parceiro do CIEE!

Áudio Entrevistada 1: Exatamente. Então, os meninos que estão ali fizeram o mesmo cursinho, vamos dizer assim. As aulas são as mesmas, porque eles estão assistindo o mesmo cursinho, mas um não participou das oficinas do Programa Mais e o outro participou. Então, a gente só teria essa diferença entre os dois grupos. Só que, infelizmente, eles tiveram esse problema com as fichas e no final sobraram vinte e nove fichas. E aí sempre fica a dúvida: “que fichas são essas ?” Porque foram as únicas que não molharam… e a gente só conseguiu, depois no campo, encontrar dezessete pessoas dessas vinte e nove. Então o grupo ficou muito reduzido! Então, infelizmente, era o nosso grupo ideal, mas grande parte das análises, a gente nem olha mais para Almirante por conta desse problema.

Áudio Apresentador: Porque, para avaliação econômica, a gente tem um número mínimo para poder chegar a um resultado. É uma questão de estatística.

Áudio Entrevistada 1: É, de inferência, de poder do teste… Precisa ter um número mínimo mesmo de observações.

Áudio Apresentador: E os dezessete, não dá!

Áudio Entrevistada 1: Não. Até que a gente nem enfatiza os resultados, não é Valéria? Na avaliação, a gente nem enfatiza. Por isso, de novo, depois a gente vai falar disso, o “Plano B”! Porque, aí a gente tem o “Ser Cidadão”. Bom, o terceiro problema que eu estou colocando ali é que… Na verdade, a gente está colocando como um problema porque, de fato, a gente descobriu isso depois, que é o fato de o “Ser Cidadão" não ser um cursinho como a gente achou no sentido só “dar as aulas”. Ele tinha um envolvimento também muito grande com os jovens, fazia um trabalho diferenciado com esses jovens, em termos de autoconhecimento, de carreira etc..

Áudio Entrevistada 2: E com as famílias também! A gente também faz, mas eles também faziam com as famílias desses jovens.

Áudio Entrevistada 1: Exatamente. No final, quando a gente achou que fosse comparar com o “Ser Cidadão” era, de novo, o efeito líquido das oficinas. Mas, eu acho que a gente não pode dizer isso. Na verdade, os dois programas são bastante parecidos, o Programa Mais e o programa que o “Ser Cidadão” oferece. Enfim, não foi ruim porque a gente descobriu a tempo. Mas, é um problema que a gente encontra. Na verdade, foi o nosso “Plano B” e que depois acabou funcionando. Mas é isso. É só um pouco das dificuldades, mas deu tudo certo. Aí, a gente vai ver depois os resultados da avaliação, está certo?

Áudio Apresentador: Está certo. É isso. Obrigado, Elaine! Eu acho que é muito interessante que, para cada complicação ou para cada problema que a realidade colocou, vocês encontraram, em conjunto o avaliador e o gestor, uma próxima solução, uma possível solução que desse conta daquele problema e acharam soluções boas, não é? Acharam cenários diferentes e conseguiram comparar coisas diferentes. E acho que a gente aqui está curioso para saber que resultado foi esse, dessas coisas diferentes que vocês avaliaram.

Áudio Entrevistada 2: Carlos, uma dica para o gestor de projeto social. Eu acho que a gente não deve ter receio do que a gente vai encontrar. “Será que o meu projeto vai ter resultado? Será que eu vou conseguir fornecer as informações que o Itaú Social está precisando para avaliar o meu projeto?” Tudo isso passa pela nossa cabeça. Se eu tenho dados suficientes, se eu vou fornecer as informações precisas para que eles consigam me ajudar e trazer algo diferente que possa dar um olhar mais, vamos dizer, objetivo para o programa. E isso é muito importante nos dias de hoje. A gente está vivendo em uma sociedade capitalista. A gente não está atendendo a isso, mas a gente tem uma linguagem. E essa linguagem, a gente acha que não trabalha com ela; mas, a gente trabalha. A gente só não consegue traduzir isso. Então, esse receio, eu tive esse receio. A equipe teve esse receio. Mas a gente falou: “não, vamos lá! Eu quero, de alguma forma, mensurar isso. Eu quero vencer. E a Elaine sempre esteve, assim, muito aberta. “Olha, aqui não vai dar. O que a gente pode fazer? Vamos pensar juntas. Vamos construir outra alternativa.” Se a gente não tivesse se aberto para esse novo e se colocado à disposição para tentar resolver as dificuldades ou obstáculos que a gente enfrentou, a gente não estaria aqui hoje.

Áudio Apresentador: Em conjunto aqui, avaliador e gestor do projeto. Porque a avaliação não é feita sozinha. Ela é feita em conjunto. Então, depende muito da leitura das informações que o gestor traz, das alternativas que o avaliador também, em diálogo, constrói junto com o gestor, para que o resultado dessa avaliação tenha consistência e uso por parte da gestão. Então, no próximo bloco, a gente vai conhecer os resultados aqui da avaliação e saber se a Valéria entregou esses dados mesmo! (risos) Se foi possível fazer a avaliação a partir dele.

Áudio Entrevistada 2: Fiquem ligados!

Imagem: Vinheta de fechamento. Sobre fundo quadriculado laranja, logomarca do Itaú aparece em primeiro plano e se movimenta até ficar ao centro da tela. Depois, o fundo alaranjado fica leitoso, com um tom rosa claro, e a logomarca do Itaú desliza para esquerda da tela, revelando assim os dizeres “Fundação Itaú Social” na cor azul escura e à direita da logomarca do banco.

Áudio: triha animada