Ir para conteúdo

Biblioteca

Avaliação de Resultado e de Impacto

Aula sobre Avaliação de Resultado e de Impacto ministrada por Ricardo Paes de Barros.



Avaliação de Resultado e de Impacto - Parte 03

Por que avaliar impacto?

Ir para a transcrição do vídeo

Transcrição

00:00 a 00:08 (Vinheta de abertura)

Imagem: Vinheta de abertura. Ilustração de um mapa múndi na cor azul clara ocupa toda a tela. A logomarca da Fundação Itaú Social aparece ao centro e alguns ícones na cor branca aparecem formando um círculo central ao redor da logomarca. A logomarca desaparece, dando lugar ao texto em azul escuro: “Curso Avançado de Avaliação de Políticas Públicas e Projetos Sociais”. Na sequência, os textos são substituídos por um retângulo grande azul escuro na parte central da tela. Dentro dele, está escrito: “Avaliação de Resultado e de Impacto, Professor Ricardo Paes de Barros, 20 de Janeiro”. Abaixo do retângulo, também em azul escuro, o texto “Por que avaliar impacto?”.

Áudio: trilha moderna percussiva.

00:09 a 16:09 (Ricardo Paes de Barros)

Imagem: Professor Ricardo Paes de Barros, da Fundação Itaú Social, está à frente de uma sala de aula com um telão e lousa verde atrás dele. Ele está de pé e apresenta os conteúdos olhando para a turma.

Áudio Professor: Uma vez eu estava em Oxford ou algo assim. E o Angus Deaton, que eu acho que ganhou o Prêmio Nobel no último ano, estava lá. E ele tem um humor bem inglês. E eu estava mostrando as maravilhas estatísticas do Brasil. Aí ele fez a seguinte observação, que eu nunca tinha me dado conta mas é bastante perspicaz: “vocês são muito gozados, não é? Vocês desenvolvem o melhor sistema de monitoramento que o dinheiro pode comprar sem ter a menor ideia do que vocês vão fazer com isso!” (risos). Então, a questão é a seguinte: por que monitorar? Hoje, no Brasil, a última coisa que você pode dizer é que a gente não monitora. Na verdade, a gente tem uma tradição do império, meio francesa, de medir tudo. A nossa RAIS é a coisa mais fantástica da face da Terra. Você sabe porque surgiu a RAIS? Alguém sabe? A RAIS surgiu porque, no Brasil, passaram uma lei por causa da imigração, de que as empresas tinham que ter dois terços de brasileiros. Era a famosa “Lei dos dois terços”. E a Lei dos dois terços envolvia que eu soubesse a nacionalidade de cada trabalhador, de cada empresa no Brasil. E daí, surgiu a RAIS. E depois, CAGED. Mas é um sistema de monitoramento do mercado de trabalho que pouquíssimos no mundo têm uma coisa dessa magnitude. O nosso sistema que o INEP tem de censo escolar em nível de aluno é um negócio quase que único no mundo. Os Estaodos Unidos certamente não tem um sistema centralizado daquela maneira. Os nossos sistemas de avaliação, com o ENEM, SAEB, Prova Brasil e etc é um negócio fantástico. A questão é exatamente a gente descobrir o que a gente tem que fazer com isso. Nesse slide, tem essa tabelinha que mostra exatamente vários usos para isso e o que você precisa para fazer esses usos. Eu queria chamar a atenção de um uso, que é muito gozado no Brasil. É o seguinte: a maior importância de um sistema de monitoramento é você detectar aquilo que parecem ser melhores práticas. E o Brasil tem uma certa tendência que é da estatização. Então, no Brasil, a gente fala do sistema público de educação, mas na verdade é um sistema estatal de educação. Na Holanda, por exemplo, eles têm um sistema público de educação, mas nenhuma escola pertence ao estado. São todas escolas privadas, que prestam um serviço ao estado. O estado diz: “olha, eu quero que os meus alunos aprendam isso!”. Aí o cara levanta a mão e diz: “eu tenho uma escola aqui. Eu prometo ensinar isso aos alunos”. Aí ele fala: “eu vou cobrar! Eu vou medir lá e ver se os alunos aprenderam isso. Se eles não aprenderem, eu não vou te pagar”. O cara fala: “Ok!”. E o estado faz o currículo, faz a verificação e deixa os professores, a pintura da parede e a construção da escola por conta do setor privado. Muitos anos atrás, no Brasil, a coleta de lixo era estatal. Em alguns municípios, talvez até seja ainda. Um monte de coisa: luz, telefone etc. era tudo estatal. E tira-se a conclusão de que isso nem é gratuito e nem precisa ser estatal. Educação pode continuar sendo gratuita sem ser estatal. A grande vantagem do setor privado é que um tem que sentir para copiar do outro. Eu me lembro uma vez, eu estava pegando um avião que ia para Katmandu. Eu estava indo para o Nepal. Era uma viagem tão longa e eu estava dormindo, estava zonzo, já não sabia mais que horas eram. Eu sei que eu acordei e falei: “onde eu estou mesmo? Não sei direito onde estou”. Eu estava dentro do avião. Olhei para um lado e para o outro e não conseguia saber onde eu estava, porque os aviões são todos iguais. As aeromoças são todas iguais. Porque todo mundo copia todo mundo. Se voar em um avião da TAM ou se voar em um avião da ROYAL AIR NEPAL , é tudo igualzinho! A questão é a seguinte: todo mundo copia todo mundo! O cara só sobrevive copiando. Eu quero mostrar como um sistema de monitoramento pode ser tão bom e tão mal usado, que é o sistema brasileiro. Eu fiz uma conta simples que qualquer crianças ou adolescente consegue fazer. Ele entra lá e consegue o tal do NSE, que o INEP agora produz e é o nível sócio econômico de cada escola. Aqui no gráfico, está desviado da média. E, embora você possa ter bastante dificuldade em entender como é calculado, você encontra em qualquer escola brasileira. E você encontra o Ideb para qualquer escola brasileira. É uma maravilha! Aí, eu plotei essa coisa (Ideb) contra essa outra coisa (NSE), porque eu estava muito preocupado dado que o Brasil é o país cujo gasto com educação aumenta 10% por ano. E os resultados são desastrosos. Aí eu falei que pode ser que a gente tenha que importar técnicos de educação, como a gente importa técnicos de ginástica ou de outro esporte. Pode ser que o problema brasileiro seja que não adianta gastar, porque a gente não sabe fazer! Bom, aí eu fiz esse gráfico aqui, que é o nível sócio econômico. Acima de 6, é padrão europeu. Aí, eu estava olhando aqui. Você percebe que tem um cara aqui 0,6 negativo. E lá em cima, esse cara está 7. É assim: norte da Europa de educação. Daí, fui ver o que era isso. Era essa escola, a Maria Leite de Araújo, em Brejo Santo, no Ceará. Para quem não é cearense, Brejo Santo fica no sul do Ceará, na base da Chapada do Araripe, na fronteira tríplice da Paraíba, Pernambuco e Ceará. Tem uma fronteira tríplice ali, que é o meio do sertão. Uma das áreas mais pobres de Pernambuco é a Chapada do Araripe. Está lá Maria Leite de Araújo, em Brejo Santo, Ceará: padrão europeu. E achei também a Ministro Simões Filho, em Jequié, na Bahia, que estava aqui. Um Ideb absurdamente baixo que nem nos piores países da África você vai encontrar uma média tão baixa assim! E esses caras têm o mesmo NSE! Eu falei: “bom, ou isso aqui são aberrações estatísticas ou tem alguma coisa errada com esse sistema todo”, porque esse gráfico aqui, qualquer pessoa pode fazer! O cara de Jequié pode fazer isso. E na hora que o cara de Jequié viu que ele estava aqui (no gráfico), ele podia olhar quem era igual a ele e estava muito melhor. Aí, eu pensei: “será que essa escola tem alguma coisa especial?”. Primeiro, eu vi que essa escola era grande. Se você pega ano após ano, ela está sempre lá em cima. Então, essa escola parece ser sensacional. Eu acho que a Fundação Lemann junto com o Credit Suisse fizeram um estudo de melhores práticas no Brasil e identificaram essa escola lá. Ela já ganhou prêmios e prêmios. Daí, eu fui olhar brejo Santo, para saber se essa escola é uma coisa do diretor ou se é o município inteiro. Aí, peguei a renda per capita e coloquei aqui (no gráfico) o Ideb. Se você pegar aqui Brejo Santo, a renda per capita é de 300 reais por mês. A nota de Brejo Santo está aqui, nível europeu. Ou seja, sabemos fazer educação! Eu fiquei tranquilo. Não temos que importar técnicos finlandeses para fazer educação no Brasil. (risos) Tem gente no Brasil que, de alguma maneira, consegue com uma renda per capita de 300 reais por mês, ter uma educação tão boa quanto talvez uma educação europeia. E o cara está lá no meio do sertão! Aí eu falei: “deve estar recebendo um monte de atenção do MEC! O MEC deve ter 42 assessores lá!” (risos). Mas, o que eu achei o seguinte: todo mundo sabe disso, inclusive o MEC. Porque, afinal de contas, tudo isso aqui é dado do MEC que eu baixei do INEP e fiz uma conta de gastou cinco ou dez minutos para fazer. O mais difícil foi fazer aquele quadradinhos e escrever “Brejo Santo” (risos). E descobrir onde é Brejo Santo! Eu entrei no site do MEC e estou entrando até agora e não consigo achar Brejo Santo! Então, o curioso é o seguinte: você tem uma cara desses, cujos dados mostram obviamente que se deveria chamar a atenção. Brejo Santo ganhou prêmios e não aparece, pelo que eu vi, no MEC. Então, que sistema estatal é esse que consegue gerar um sistema de monitoramento fantástico e você tem um sistema federado, onde você tem cinco mil municípios com liberdade para fazer o que eles querem? Então, você tem experimentação à vontade. MEC fala: “todo mundo experimentando porque todo mundo tem suas independências e suas autonomias”. Legal! Logo, eu tenho um mundo de experimentos! Vou aprender um monte de coisa. Por que eu vou aprender um monte de coisa? Porque tem um MEC, que resolveu monitorar tudo isso para mim. Maravilha! Eu tenho sistema de monitoramento e tenho experimentação. Mas não tem ninguém olhando para o monitoramento e para a experimentação! O que acontece? Você vai no MEC e você não acha experiência de Brejo Santo para que Jequié possa copiar a experiência de Brejo Santo. Porque, Jequié está aqui embaixo. Jequié devia querer copiar a experiência de Brejo Santo. Mas se Jequié quiser copiar a experiência de Brejo Santo, talvez ele não ache que. E talvez Jequié tenha incentivos para querer achar. Porém, o mais preocupante é que existe Undime, que é a União Nacional dos Dirigentes de Educação, que são os secretários municipais de educação. Então, tampouco a Undime fala da experiência de Brejo Santo. Quem fala da experiência de Brejo Santo? O Credit Suisse, o Itaú BBA e a Fundação Lemann! Mas, olha só que fantástico! Isso aqui é o site da prefeitura de Brejo Santo. A prefeitura de Brejo Santo está ensinando para a população de Brejo Santo o que é o Ideb. Está falando com orgulho dessa escola. Isso nem é o site da educação. É o seu site da prefeitura. Então, tem alguém lá, em Brejo Santo, que acha que educação é importante com o dinheirinho que dão para ele do Fundeb. É um município pobre, apesar de estar em uma área não tão pobre do Ceará. E o cara fala de Prova Brasil, fala do Inep, que é uma entidade federal. O Inep que não explica o que é Brejo Santo! (risos). Então, é uma ideia top-down do Brasil, onde o MEC vai ensinar todo mundo a educar e não fazer com que quem sabe ensina para quem não sabe. É uma sub utilização do sistema de monitoramento. Então, eu acho que a gente tem que se preocupar não só com a avaliação do impacto. Tem que pensar o seguinte: tem sistemas de monitoramento fantásticos! Só para dar uma ideia para vocês, já tem 500 escolas brasileiras que já alcançaram a meta do Plano Nacional de Educação para 2021! A gente tem um Plano Nacional de Educação para dez anos e você tem 500 escolas brasileiras que já alcançaram a meta que o Plano Nacional de Educação coloca para daqui a dez anos! Essas escolas ficam olhando. E essa daqui, em particular (Brejo Santo), fica olhando para as metas que o Plano Nacional de Educação colocou e diz assim: “o que esses caras estão falando? Eu já alcancei isso! É só copiar o que eu já fiz e vai chegar aonde eu cheguei. E aí, eu vou para frente!”. E aí você vê que o que eles fizeram são coisas muito simples.

16:10 ao Fim (Cartela)

Imagem: Ilustração de um mapa múndi em tom azul claro ao fundo. E, em primeiro plano, duas imagens de capítulos posteriores a esta aula com o cabeçalho “Veja Também” em azul escuro. No rodapé, o texto: “Conheça mais em www.redeitausocialdeavaliacao.org.br .

Áudio: Trilha moderna percussiva.