Ir para conteúdo

Biblioteca

Avaliação de Resultado e de Impacto

Aula sobre Avaliação de Resultado e de Impacto ministrada por Ricardo Paes de Barros.



Avaliação de Resultado e de Impacto - Parte 01

Sobre a importância de medir

Ir para a transcrição do vídeo

Transcrição

00:00 a 00:08 (Vinheta de abertura)

Imagem: Vinheta de abertura. Ilustração de um mapa múndi na cor azul clara ocupa toda a tela. A logomarca da Fundação Itaú Social aparece ao centro e alguns ícones na cor branca aparecem formando um círculo central ao redor da logomarca. A logomarca desaparece, dando lugar ao texto em azul escuro: “Curso Avançado de Avaliação de Políticas Públicas e Projetos Sociais”. Na sequência, os textos são substituídos por um retângulo grande azul escuro na parte central da tela. Dentro dele, está escrito: “Avaliação de Resultado e de Impacto, Professor Ricardo Paes de Barros, 20 de Janeiro”. Abaixo do retângulo, também em azul escuro, o texto “Sobre a importância de medir”.

Áudio: trilha moderna percussiva.

00:09 a 20:53 (Ricardo Paes de Barros)

Imagem: Professor Ricardo Paes de Barros, da Fundação Itaú Social, está à frente de uma sala de aula com um telão e lousa verde atrás dele. Ele está de pé e apresenta os conteúdos olhando para a turma.

Áudio Professor: É o maior prazer! Eu passo a maior parte do ano fazendo muito avaliações, que eu vou estar mostrando aqui para vocês. E é o maior prazer poder estar aqui com vocês e discutir essas avaliações de uma maneira prática, mas em alto nível. Então, para mim, é uma tremenda oportunidade de conversar com vocês sobre essas coisas. Espero que vocês achem o que eu vou apresentar aqui para vocês instigante, útil e, na medida do possível, divertido também! Bom, o desafio disso aqui é o seguinte: eu vou ter um número de questões práticas conceituais. Quer dizer, eu vou tocar o menos possível na econometria da coisa, embora a gente vá tangenciar ela várias vezes. Então, o número de questões que eu vou trazer para discutir com vocês supera 20 questões diferentes. Vocês vão ver as letras vão quase chegar em “z”. Então, é mais do que 20 vinte. E o desafio disso é o seguinte: são 20 questões que você tem que ter em mente quando você faz uma avaliação. Isso aqui vai ser reconhecidamente viesado pró avaliações experimentais por várias razões, que vocês devem saber bem e que eu vou chamar um pouco aqui a atenção. Então, eu vou ter aqui, na verdade, 20 questões que eu quero tratar e eu vou usar uns 15 exemplos de avaliação de impacto experimental diferentes, entendeu? Então, no fundo, é uma matriz de 20 problemas e 15 avaliações. Têm certas vantagens, dependendo do público com quem você está conversando. A de pegar cada avaliação, olhar cada avaliação e ir nos 20 itens. Houve alguns anos em que eu fiz isso. Hoje eu vou tentar fazer com vocês uma coisa que eu acho que requer um pouco mais. Eu acho que organiza melhor a cabeça de vocês, indo por tema. Então, vamos pegar cada questão e, ao tratar daquela questão, pegar exemplos de algumas dessas avaliações, entendeu? Então, eu vou relembrar vocês de novo a cada momento em que a avaliação que a gente está. Mas, a gente vai organizar as coisas pelos temas e as avaliações vão servir como exemplos. Alguém depois, se quiser, pode tentar fazer uma transposta da matriz e botar as coisas organizadas de um outro jeito. Eu acho que dessa maneira vai ficar melhor. Queria rapidamente falar para vocês que, muito do que eu vou falar aqui para vocês, na verdade, não é novo. E o objetivo de apresentar para vocês é preencher talvez alguns buracos e alimentar vocês com algumas argumentações concretas e exemplos, que podem quando você estiver dando um curso, ou se você quiser convencer alguém, ou se estiver fazendo alguma avaliação, ou se estiver escrevendo alguma avaliação... eventualmente, e vai precisar de algum exemplo prático ou você precisar de alguma referência, alguma citação, alguma justificativa para alguma coisa. Então, aqui vão aparecer essas coisas. Então, por exemplo, que é importante medir todos vocês sabem! Mas eu selecionei aqui algumas coisas importantes que vocês podem achar útil. Esse cara aqui é o William Thomson, que é um físico inglês famoso e que vocês conhecem provavelmente pelo grau Kelvin, que é o zero absoluto. Esse cara era um cara muito preocupado com a questão de experimentos e medida. Então, ele tem uma célebre frase que não tem esses parêntesis. Ele diz o seguinte: “aquilo que não se pode medir, não se pode melhorar”. Isso, para quem faz política pública, é fundamental. Ele está dizendo o seguinte: se você não conseguir medir alguma coisa, naquilo em que a política pública está tentando melhorar, você não consegue melhorar. Eu acho que ele exagerou um pouco, porque eu posso ter uma coisa que eu não consigo medir. Eu sou um cara que tem uma intuição fantástica e eu posso fazer um programa que melhora alguma coisa sem eu conseguir medir! Então, eu estou retocando um pouco a frase dele, obviamente sem permissão, porque ele morreu em 1907! (risos). Mas, aquilo que não se pode medir, eu acho que não se pode saber se melhorou. Você pode até, com o teu programa, ter melhorado alguma coisa que a gente não consegue medir, só que você não vai saber, nem eu vou saber, nem ninguém. Então, você não vai conseguir demonstrar para ninguém que você melhorou aquela coisa. Então, evidentemente, que aquilo que você não mede, você não consegue mostrar que melhorou. Em princípio, todo mundo que faz política pública devia ter alguma accountability. Portanto, mostrar que melhorou para alguém em alguma hora. Outra coisa que ele chama muita atenção... não sei se alguém aqui já viu aquela série antiga do Carl Seagan sobre o Cosmos. Tem um capítulo em que ele deixa esse negócio claro, que é o seguinte: a questão da experiência, de você experimentar, de você fazer as coisas empíricas para validar a ciência nem sempre foi uma coisa muito aceita. E o curioso é que, uns pensadores que a gente celebra tanto, que é o Platão e o Pitágoras, e eles eram as pessoas tão radicalmente contra! Eles achavam que a ciência era uma coisa tão bonita, que essa coisa experimental era uma coisa tão suja, tão esquisita, tão tosca, que aí eles falavam que a ciência não pode ser feita com base em experimentos. Logo, eles queriam fazer ciência puramente em reflexão, ou seja, era uma coisa completamente abstrata, longe de qualquer experimentação. Por isso que, antes do Platão e do Pitágoras, tinha-se uma tradição, na Grécia, toda experimental. Os caras já tinham descoberto, na verdade, até qual era a distância da Terra ao Sol! Os caras tinham desenvolvido mecanismos de medir esse negócio. Os caras tinham feito coisa de outro mundo, com experimentos. Mas aí, com a ideia do Platão e do Pitágoras de uma coisa mais clean, tira-se essa coisa da experimentação. E, mesmo lá no século 19, isso ainda era uma coisa discutível. Então, o Kelvin era um cara totalmente pró-experiência. Tanto é que havia essa célebre frase, que é muito utilizada e que diz exatamente isso. Não só para Economia, mas para todas as Ciências Sociais...Sociologia, então! Psicologia! Isso é gigantesco. A maioria dessas Ciências têm uma separação muito forte entre a teoria e a coisa empírica. E, em Economia, tem-se um pouco dos modelos estruturais que dão uma misturada. Mas, em muitos dos modelos estruturais empíricos, o modelo em si é visto pelos teóricos como uma brincadeira de criança. E, pelo pessoal mais empírico, acham que aquele modelo é um absurdo que obviamente não reflete a realidade de jeito nenhum. Então, a distância é muito grande. Da Física, a coisa é muito mais próxima. Sei lá, o Einstein inventa a Teoria da Relatividade e o cara testa empiricamente. Às vezes, os experimentos custam bilhões de dólares para testar uma argumentação física. O cara tem um acelerador de partículas que custa bilhões e bilhões de dólares para o cara testar uma hipótese que o cara tem! Em Ciência Social, aí tem uma certa separação. Mas, o que é importante aqui é que ele diz o seguinte: “olha, você pode imaginar e pensar o que quiser. Mas, só a evidência empírica, só o experimento vai fazer com que você descubra a verdade se o que você está imaginando é verdade ou não”. Para a Economia, isso é um problema sério, porque nós temos uma teoria econômica. E a coisa empírica nunca verdadeiramente testa a teoria! Ilustra-se teoria, mostra-se que deve ser mais ou menos aquilo... Mas se for testar mesmo, você vai rejeitar, porque obviamente a teoria econômica foi uma aproximação para aquilo que se está vendo. A teoria econômica é uma aproximação tão grosseira, em certo sentido, tão de grandes números, que qualquer teste verdadeiramente empírico vai rejeitar a teoria. Então, tem-se uma uma certa dificuldade com isso. Uma outra frase célebre é essa aqui e que começa com isso: “Em Deus, nós acreditamos. Mas todo o resto, traga evidência”. O que eu acho que devia ser mais ou menos a posição de um gestor público. “Você tem um programa? Ok, eu acredito em Deus! No seu programa, você vai ter que me dar alguma evidência!” (risos). Esse cara que fez isso é um estatístico e engenheiro americano, bem aplicado, que teve mil impactos! Um dos impactos dele é alguma coisa que, se vocês todos são economistas, vocês não devem saber o que é. Mas se você for um administrador, se você fez algum curso de administração, você deve saber o que é um negócio chamado PDCA. Alguém já sabe o que é PDCA? Alguém sabe? É um método de se administrar, onde se planeja, executa, monitora ou controla... vê-se o que foi planejado e o que você realizado realmente alcançou os seus objetivos. Não alcançou seus objetivos, age-se sobre o planejamento, replaneja e faz! Assim por diante! Esse cara é o cara que inventou essa coisa. William Edwards Deming. Bom, a primeira coisa que você tem que fazer em qualquer avaliação de impacto é o modelo lógico. Para fazer uma avaliação de impacto, você precisa saber o que você vai calcular o impacto sobre o quê. Sobre que resultados você vai avaliar o impacto. Então, isso aqui é um exemplo onde o Laborarte é um programa no Espírito Santo. Um programa parecido com a UPP Social, que foi feita no Rio de Janeiro. Então, nas áreas de conflito, eles fizeram toda a questão da intervenção militar lá, da Polícia Militar. Mas, depois da pacificação, eles inventaram uma série de programas sociais para integrar a comunidade na vida da cidade. No Espírito Santo, estão tentando não ter a parte de segurança e fazer só com a parte social. Eles têm vários nomes lá! Um dos nomes que eu acho que estão usando é “Estado Presente”. Tem-se mudado o nome desse programa inteiro. Mas, esse programa inteiro é feito de vários programinhas que se leva para lá. O Laborarte é um programa voltado para a juventude que obviamente estava envolvida com o tráfico de drogas etc. Como é que você tira essa atividade deles? Isso já mostrou no Rio de Janeiro que tem um impacto sobre a juventude gigantesco! Pensa-se que eles não tinha um plano de vida, mas eles tinham um plano de vida. O plano de vida deles era seguir toda uma carreira, porque tem uma hierarquia considerável lá no tráfico de drogas. Tem que começar cedo, aos 7 ou 8 anos de idade. E se vai seguindo toda aquela carreira. E aquela carreira dá um status dentro da comunidade. Eu trabalhei bastante tempo lá na UPP Social. Era muito impressionante! Um dos problemas que a UPP Social teve no Rio era o nível de depressão entre os jovens que deixaram de poder trabalhar no tráfico. Eles estavam mais deprimidos porque eles não sabiam o seguinte: “acabou com a ocupação principal. E agora, o que eu faço na vida?”. Não é muito claro qual seria a rota alternativa, tanto financeira como afetiva. Os caras do tráfico conseguiam tantas namoradas quanto eles queriam. Aí, os caras estavam reclamando! “Agora que eu não tenho mais isso, eu não consigo nenhuma namorada mais! Como é que vocês resolvem esse problema para mim?”. Então, esse Laborarte tenta resolver um pouco isso. Na verdade, ele cria um programa onde ele pega esses jovens, que deveriam ter algum capacidade empresarial, e eles dão um curso longo de 400 horas de atendimento para esses jovens, onde ele pega o cara e desenvolve a habilidade empresarial do cara. Ele pega o cara que já tinha alguma habilidade, já era meio proativo, já gostava de fazer atividades mais arriscadas... “Bom, vamos ser empresário!”; e conecta isso com a economia criativa. Então, ele (Laborarte) não ensina o cara a ser um gourmet, mas ele fala o seguinte: “a sua tia, a sua vó sabe fazer uns bolinhos? Sabe! Então, em vez de você vender drogas, você vai vender o bolinho da sua avó!”. Então a questão é como se vai organizar esse empreendimento, como se vai vender esse negócio! “Não tem uns caras aí que dizem que sabem fazer música? Então, chama esses caras, organiza eles e vai vender a música desses caras!”. Então, é uma coisa que não ensina necessariamente ele ser um músico ou ele ser um artista, mas ele (Laborarte) fala: ” tem um monte de coisas na sua comunidade que são componentes da economia criativa”. Ele ensina para o cara perceber a sua oportunidade, aproveitar essas oportunidades e transformar isso em um negócio. Daí ajuda o cara, depois dá um empréstimo... Então, o que esse diagrama aqui é? É o seguinte: a gente estava na linha de base, tentando descobrir: “impacto sobre o quê, que a gente vai medir com isso?”. Esses aqui que têm um “unzinho” são os grandes objetivos do programa, que têm a ver com empreendedorismo, tem a ver com economia criativa. Quero dizer, a gente queria pegar sobre essas duas coisas, mas quer pegar também se o cara conseguiu emprego de outra maneira! Mas, não era prioridade. A gente queria ver se ele conseguiu emprego como empreendedor e na economia criativa. E a gente queria saber não só se ele conseguiu, mas se ele modifiou as atitudes dele. Ou seja, se ele se tornou um empreendedor em termos de valores, em termos de habilidades. O que envolve você tentar desenvolver um instrumento que meça a capacidade de empreendimento. A gente tem um questionário onde já se fez a linha de base disso. Se vocês precisar, está aí à disposição de vocês! Aí, tinha um pouco de comportamento, se ele mudou o comportamento dele. Se ele saiu de um comportamento de risco em termos de uso de drogas ou atividades ilícitas ou violência... e passou para uma atividade de risco empreendedorística. Essa que era a ideia do programa. E o gosto dele por leitura, por cultura. Em que medida esse trabalho mudou o gosto dele por leitura. Rede de relacionamentos! Quero dizer, você não vai ser um bom empreendedor e nenhum bom empresário se não se criar redes de relacionamentos, se não tiver capacidade de criar redes de relacionamento. E em que medida, o cara eventualmente retomou o percurso formativo dele, de voltar para escola... coisas desse tipo. E em que medida ele também desenvolveu certas habilidades de criatividade e abertura para o novo. Você percebe que é tentar pegar as mesmas habilidades que o cara estava usando para fins de valor social duvidoso para usar as mesmas habilidades, em certos sentidos, para atividades com valor social. Então, isso é uma coisa que se tem que fazer com qualquer programa. Seu ponto de partida antes de qualquer avaliação de impacto é fazer um mapa das coisas que você está querendo medir. E vamos falar um pouco mais sobre a dificuldade de medir algumas dessas coisas, como é que você mede a qualidade do você está medindo.

20:54 ao Fim (Cartela)

Imagem: Ilustração de um mapa múndi em tom azul claro ao fundo. E, em primeiro plano, duas imagens de capítulos posteriores a esta aula com o cabeçalho “Veja Também” em azul escuro. No rodapé, o texto: “Conheça mais em www.redeitausocialdeavaliacao.org.br .

Áudio: Trilha moderna percussiva.