Ir para conteúdo

Biblioteca

3º Encontro Virtual de Avaliação: Projeto CIEE

3º Encontro Virtual: Avaliação do Programa Mais, uma iniciativa do Centro de Integração Empresa Escola (CIEE).



3º Encontro Virtual de Avaliação: Projeto CIEE - Parte 10

Parte 10

Ir para a transcrição do vídeo

Transcrição

Imagem: Carlos Eduardo Garrido, da Fundação Itaú Social, entrevista Elaine Toldo Pazello, avaliadora da Fundação Itaú Social e Professora da FEA-SP/USP (Entrevistada 1) e Valéria Moreno, Coordenadora de Programas Especiais do CIEE/RJ (Entrevistada 2) .

Áudio Entrevistada 1: Vamos olhar, então, agora os resultados propriamente ditos. A gente dividiu aqui, conforme aquele nosso slide anterior, os resultados de acesso ao ensino superior e os demais resultados. A gente fez essa divisão aqui. Então, primeiramente, vamos olhar para os resultados de indicadores do ensino superior. Então, só para lembrar, a gente está olhando se ele teve sucesso ou não, se ele teve sucesso em instituição pública, se ele fez matrícula e se ele concluiu ou ainda está freqüentando esse curso, certo? Então, vamos olhar para esses resultados propriamente ditos. A gente não colocou uma tabela resumo aqui, com esses resultados, porque, de fato, a gente fez muitas análises. A gente fazia análises condicionais e análises não condicionais. Em função dos tamanhos, a gente dividiu os grupos de formas diferentes. Por exemplo, primeiro a gente faz uma comparação dos tratados contra todos os grupos de controle; depois, a gente fez uma comparação dos tratados só contra o grupo de controle dos CIEE; fizemos uma comparação dos tratados com os outros grupos; em um determinado, momento tiramos o Almirante da análise para ver se os resultados mudaram… Então, tem um conjunto de resultados que procuram dar robustez para o que a gente está falando aqui agora. Mas, não caberia aqui. A gente não conseguiria, em uma tabela, colocar tudo.

Áudio Apresentador: A gente está tentando explorar aqui os principais resultados. Mas, quem tiver interesse em conhecer mais, o relatório completo com todos esses resultados, a exploração de tudo isso, está disponível no site também. E o sumário executivo também está disponível para quem quiser ter uma leitura mais rápida sobre esse programa. Mas, aqui a gente está buscando dar destaque àquilo que a gente acha que é principal mesmo.

Áudio Entrevistada 1: É isso mesmo. Bom, então, em termos de resultado para os indicadores de ensino superior, o que a gente observou? Como eu disse antes, a gente não encontrou uma diferença em termos de sucesso ou não, mas encontramos uma diferença bastante positiva para o grupo de tratamento frente ao grupo de controle do CIEE, que é o grupo que não fez nada, com relação às variáveis de acesso à instituição pública, ou seja, jovens tratados têm uma maior probabilidade de ingressar numa instituição pública, dado que foi aprovado, do que os jovens do grupo de controle do CIEE.

Áudio Apresentador: Que é aquele que foi selecionado lá no começo mas não fez nem as aulas nem as oficinas. Quando eu comparei quem concluiu o programa, quem passou por tudo, eu vejo que tem uma diferença entre esses dois grupos, não é?

Áudio Entrevistada 1: Exatamente. Em termos dessa variável de acesso à instituição pública e também a probabilidade de fazer matrícula. Talvez até explicado pelo fato de você ter tido maior acesso à instituição pública e isso pode, inclusive, explicar o fato da probabilidade de matrícula ser maior.

Áudio Apresentador: E que tem uma intencionalidade, não é? A Valéria comentava um pouco no bloco 1 que existe uma ação intencional, no programa, de acompanhamento do jovem, de incentivo, de reconhecimento das capacidades, de incentivo para ele sonhar com essa profissão e de fazer com que ele, por um lado preste o vestibular para a carreira que ele realmente está um pouco mais certo, não dá para dizer que ele está certo, mas que ele tem um pouco mais de certeza; e por outro lado, um acompanhamento de tudo isso, que ele vai e efetive a sua matrícula.

Áudio Entrevistada 2: Até porque, Carlos, nós temos um processo de auto sabotagem, que é um mecanismo inconsciente e que, muitas vezes, por não reconhecermos esse potencial, por não termos segurança em nós mesmos, a gente se sabota.

Áudio Entrevisatda 1: Estou fazendo as comparações primeiro com o grupo de controle do CIEE. Com relação ao indicador de permanência, que a gente chamou de “análise condicional”: quando a gente olhava só para os jovens que tinham efetivamente feito matrícula e comparava se, daqueles que fizeram a matrícula, se os tratados tinham uma probabilidade maior de ter concluído o curso frente ao grupo de controle do CIEE, a gente não encontrava uma diferença aqui. Só que, o que a gente pôde perceber? Que, na verdade, no caso desse outro grupo de controle, essa seleção era mais intenso, de forma que quem aprovava, fazia a matrícula, ele já estava positivamente selecionado. Enquanto que do tratamento, a gente até chamou a atenção aqui, você vê que o bloco vai maior! É um conjunto maior de alunos que são aprovados, que fazem matrícula e que permanecem, que fica até o fim. Mas, o lance é que, na verdade, está entrando mais gente. Por isso que, quando a gente compara com o condicional “dado que fez matrícula”, o dado que “fez matrícula” do grupo de controle do CIEE, você viu que diminui bastante a amostra. Na verdade, você já está selecionando. Então, quando eu comparo só esses jovens no final, eu não encontro diferenças. Mas se olhasse para o todo, eu chegaria a essa conclusão de que, efetivamente, a permanência também foi maior para os jovens tratados. Então, eu acho que isso também é um resultado bastante positivo.

Áudio Entrevistada 2: Eles ingressam mais seguros. Enfrentar o mundo acadêmico, para um jovem que, antes do projeto, nunca tinha nem pensado em estar em uma universidade, nunca tinha pisado em uma universidade, você se sentir parte desse mundo acadêmico e se manter nele com todas as discrepâncias de classe social, de cultura, de valores não é fácil. Então, precisa se entrar seguro, autoconfiante para que efetivamente você consiga se manter.

Áudio Entrevistada 1: Com relação à comparação com os jovens do “Ser Cidadão”, de fato a gente não encontrou diferenças entre os grupos, em nenhuma das variáveis, essas de acesso ao ensino superior. E aí que veio toda aquela preocupação: “Nossa! E agora?” Porque, na verdade, a comparação com o Almirante, o grupo ficou muito pequeno e, assim, inviabilizou mesmo a análise. E esse grupo do “Ser Cidadão”, na verdade, ele daria o que para a gente? O efeito das oficinas! Era o que a gente queria, não é? À princípio, os jovens que passam pelo “Ser Cidadão”, eles não teriam todo esse preparo. E, na verdade, depois a gente descobriu que tinham sim. Então, na verdade, o fato também de não ter encontrado diferenças não é que o programa não funciona; na verdade, o programa produz resultados similares aos resultados produzidos pelo programa do “Ser Cidadão”. Então esse foi o resultado que a gente obteve em termos de indicadores. Eu acredito que seja um resultado bastante interessante. A gente pode falar mais sobre isso depois mas, o fato de se comparar com o pessoal do CIEE e você não encontrar, o que eu acho que a mensagem que está trazendo? Esses programas são importantes! Eles fazem diferença, porque você comparou com o “Ser Cidadão”, eu fiquei parecido. Eu comparei com outro grupo que eles não fizeram nada, que os jovens não fizeram nada, e aí eu encontrei a diferença! Então, eu acho que é esse o olhar que a gente poderia…

Áudio Entrevistada 2: E hoje, nós somos parceiros! Os dois programas estão com o Programa Mais. Então, assim, a gente tem dois programas que tinham uma ação muito efetiva, semelhantes, e que hoje estão juntos, em prol de um mesmo objetivo, de um mesmo projeto.

Áudio Entrevistada 1: Isso é uma coisa legal da avaliação, porque a avaliação, na verdade, que aproximou os grupos.

Áudio Apresentador: E serviu para tomar decisão, talvez?

Áudio Entrevistada 2: Sem dúvida.

Áudio Entrevistada 1: Com relação aos demais indicadores, a gente não encontrou diferenças estatisticamente significativas para as variáveis de mercado de trabalho e nem para variável de externalidade sobre a família em nenhum dos grupos. Lócus de controle e autoestima, a gente também não encontrou o resultado. Na verdade, a nossa principal comparação era com o grupo de controle do CIEE. E, mesmo com esse grupo, a gente não encontrou uma diferença. A gente não sabe se o tempo é curto de avaliação, intervalo que a gente olhou… Enfim, se esses jovens realmente eram parecidos antes… Porque a gente não tem essa linha de base. A gente acredita que, pelo fato de eles terem passado pelo mesmo processo, eles eram parecidos antes. Mas, na verdade, são hipóteses que a gente tem que fazer para a avaliação. Por fim, tem dois resultados que não foram favoráveis, digamos assim, para o grupo de tratamento. O primeiro resultado foi quando a gente comparou com o grupo de controle do CIEE. Essa variável que a gente chamou de “acesso a bens culturais”, enfim, um pouco de informação aí… que era o número de livros e revistas lidos nos últimos 30 dias. Então, quando a gente comparou o grupo de controle do CIEE, a gente viu que, em media, parecia que esses jovens estavam lendo mais do que os jovens tratados do projeto. Aí a gente tem até uma possível explicação… porque é isso, não é gente? Eu acho que a avaliação, ela te dá um sinal ali. Cabe a você entender o que significa aquele resultado, entender os mecanismos que estão ali por trás daquele resultado. Isso aqui é um pouco que a gente pode pensar: “os jovens tratados, a gente observou isso nos resultados, eles estão fazendo faculdade”. Então, estão fazendo ensino superior. Então, pode ser que eles não estejam mais se preparando, lendo jornais e revistas, e que estejam estudando o manual de, sei lá, Microeconomia do Byron, por exemplo! (risos). Entendeu? Então é uma questão de diferença de comportamento depois mesmo.

Áudio Apresentador: É um dado que a avaliação econômica traz e que pode ser explorado de outras maneiras, investigado de outras maneiras, com métodos complementares, mas em diferentes formas, não é?

Áudio Entrevistada 2: Até, a partir daqui, fazer uma pesquisa não é? “Por que vocês estão lendo? Como está o contexto da sua vida atual? E do grupo de tratamento? Vocês estão focados no vestibular? Então vocês estão lendo conteúdos específicos, não necessariamente revistas jornais, não que não seja importante?”

Áudio Entrevistada 1: Ninguém está fazendo juízos de valor aqui, pelo amor de Deus!

Áudio Apresentador: É mais conhecendo a importância da complementaridade dos métodos!

Áudio Entrevistada 1: E o outro resultado, que é com relação ao número de idas ao cinema nos últimos 30 dias. Era é uma proxy também, para alguma coisa de acesso a bens culturais. E aí, no caso dos jovens do grupo de controle do “Ser Cidadão”, da Praça Onze, em média, apresentavam números maiores dessas idas ao cinema do que os jovens do grupo de tratamento do CIEE. Foram esses os dois resultados assim, vamos dizer, não favoráveis ao grupo de tratamento. Enfim, esses seriam os principais resultados. Como o Carlos falou, a gente passou bem rápido aqui. A ideia é que, quem queira ver melhor, queira analisar com mais detalhes, olhe o relatório que a gente está disponibilizando onde tem todas essas análises, esses testes todos de robustez que a gente fez para ter uma certeza melhores resultados que a gente obteve.

Áudio Entrevistada 2: E recomendo primeiro o sumário executivo!

Áudio Apresentador: Que acho que ele traz uma linguagem mais simples, que talvez o gestor entenda melhor…

Áudio Entrevistada 2: E um entendimento mais geral. Porque, daí depois, com esses resultados gerais em mente, você consegue ir para o relatório e se aprofundar. Uma dica de gestora, que está aprendendo! (risos)

Áudio Apresentador: Acho que isso também é um aprendizado para o avaliador. A gente também tem aprendido que é uma técnica, tem especificidades, mas que também precisa dialogar com o público em geral, com o gestor. E o sumário executivo vem exatamente com essa missão, de traduzir um pouco as informações principais em uma linguagem que seja acessível para a maior parte das pessoas.

Áudio Entrevistada 1: Tem que chegar no gestor! Porque se não, fica um pouco vazio o negócio!

Áudio Entrevistada 2: E as boas ideias?

Áudio Entrevistada 1: Enfim, eu acho que agora, para encerrar, não é Carlos?

Áudio Apresentador: Tem boas ideias? É isso?

Áudio Entrevistada 1: A gente, na verdade, colocou aqui esse slide. A gente construiu juntas, eu e a Valéria, no sentido de tentar resumir ou tentar organizar. A ordem aí não têm o que é mais importante ou menos importante, mas boas ideias que a gente tira dessa avaliação. A primeira delas, que eu acho que eu até cheguei a falar quando estava apresentando a estratégia de avaliação, é o fato de a gente ter usado diferentes grupos de controle. Eles estão respondendo a contrafactuais diferentes, eles estão espelhando comportamentos diferentes. E eu acho que isso é bastante enriquecedor. Por que? Porque, na verdade, isso permite comparar, entender melhor seus resultados. A avaliação te traz números e cabe a você tentar entender aquilo. Quanto mais esses grupos, na verdade, permitiram que a gente tivesse esse melhor entendimento, digamos assim. O segundo ponto que a gente colocou é a importância do “Plano B”. E sobre a importância do “Plano B”, a gente está chamando atenção por causa que a gente teve (um problema) com o Almirante. Apostar todas as fichas em uma única possibilidade não é uma boa…

Áudio Apresentador: Você está dizendo que a avaliação poderia ter finalizado ali. “Ah, não tenho os dados, vou me conformar com isso mesmo”. E vocês foram atrás de “Plano B”, “C” e “D” não é?

Áudio Entrevistada 1: Exatamente, porque é aquilo não é? A gente não tinha um experimento. A gente não tinha um plano ideal, um experimento. O programa já acontecia e a gente tinha que pensar numa ideia de como fazer avaliação. Então, vamos ter boas ideias, vamos procurar, vamos conversar. É aquilo que você falou! Acho que, na verdade, quando você está fazendo uma avaliação, você tem que ter uma relação muito próxima com o gestor do projeto. Por que quem conhece o projeto é o gestor! Entendeu? E mais! Ela já conhecia os atores no Rio. Como é que a gente foi parar no “Ser Cidadão”? Imagina! Se fosse eu, que moro em Ribeirão Preto, achar o “Ser Cidadão” no Rio de Janeiro.

Áudio Entrevistada 2: Acho que isso é outra coisa importante. A gente tem uma rede social, que a gente precisa lançar mão como parceiros e não como competidores! Se “esse projeto é melhor do que este”. Porque todos são de grande importância!

Áudio Apresentador: E é um tema que a gente não tratou aqui muito diretamente, mas que… é o processo de avaliação, não é? Porque é muito importante envolver todo mundo e que seja um processo que envolva parceiro, que envolva a equipe, técnico, gestor, para fazer dar certo, não é?

Áudio Entrevistada 1: Com certeza! Com certeza.