Ir para conteúdo

Biblioteca

Indicadores sociais na avaliação de iniciativas não governamentais

Encontro temático sobre Relação entre absenteísmo docente e desempenho escolar.



Parte 1: Indicadores sociais na avaliação de iniciativas não governamentais

A Fundação Itaú Social e o Instituto Fonte estabeleceram uma parceria com o objetivo de promover e fortalecer a Avaliação de Programas e Projetos Sociais no Brasil. Parte 1

Ir para a transcrição do vídeo

Transcrição

00:00 a 00:20 (Vinheta de abertura)

Imagem: Vinheta de abertura. Sobre fundo branco, surge ao centro da tela a logomarca do Instituto Fonte. Essa logomarca se dissolve da tela, e aparece a logomarca da Fundação Itaú Social, também ao centro. A logomarca se dissolve e o fundo volta a ficar todo branco. Na sequência, aparece o seguinte texto escrito em texto, ao centro da tela: “A utilização de indicadores sociais na avaliação de iniciativas não governamentais. Ação Educativa, Junho de 2012”. Os textos se dissolvem e a tela fica toda branca novamente.

Áudio da Apresentadora: Bem-vindos! Eu gostaria de chamar a Valéria, da Fundação Itaú Social, para dar as boas-vindas para vocês também e aí a gente começa a nossa conversa.

00:21 a 55:00 (Auditório)

Imagem: Apresentadora do evento em cima do palco, fala ao microfone para a plateia. Os palestrantes convidados se rodiziam no palco durante o debate.

Áudio Palestrante: Bom, pessoal! Boa tarde! Obrigada pela presença. Estamos aqui no momento de uma oportunidade de diálogo. É uma parceria da Fundação Itaú Social e do Instituto Fonte, onde nós trazemos algumas situações onde é possível debater e conhecer novas experiências, para que a gente estimular a questão da avaliação dos projetos sociais no Brasil. Então, é um momento muito rico onde a gente traz especialistas que possam compartilhar esse conhecimento e proporcionar esse debate. Então, eu gostaria de fazer um agradecimento especial ao Paulo Jannuzzi, secretário de avaliação e gestão da informação do Ministério de Desenvolvimento Social e Combate à Fome, à Maria Alice e ao Maurício Érnica, da Fundação Tide Setúbal. Eles vão colaborar com a gente nesse debate. Obrigada!

Áudio Apresentadora: Vou começar hoje, dando alguns informes. A Fundação Itaú Social e o Instituto Fonte fazem essa parceria para fortalecer a área de avaliação de programas e projetos sociais no Brasil, através de três linhas de ação. A gente produz conhecimento. Então, fazem-se pesquisas mesmo sobre a área, campo, profissionais e práticas. A gente também cria espaços de encontro. Então, esse evento não e isolado. A gente costuma fazer dois ou três por ano. Temos feito aqui e no Rio. Temos experimentado alguns locais fora de São Paulo também. Tudo isso com o intuito de fortalecer a troca de conhecimento e criar espaços de diálogo. E aí, queria avisá-los de algumas coisas também. Em breve, a gente vai lançar um pesquisa com um mapa das práticas de avaliação de programas e projetos sociais no Brasil, principalmente no campo social privado, das ONGs. Fiquem atentos! O site do Fonte em uma página dedicada a essa parceria, com materiais produzidos dessa parceria. Então, se vocês se interessarem em procurar mais alguma coisa, inclusive as apresentações e falas de hoje. Faremos uma gravação em vídeo do evento de hoje. A gente deve disponibilizar isso, entre outros espaços, também no site do Fonte, que é www.institutofonte.org.br/projeto-avaliacao. Então, para quem se interessar... Eu já sei que há pessoa querendo levar para suas cidades. Então, se vocês virem alguma pessoa da organização, podem contar com a disponibilização desse material para poder fazer a disseminação dentro das suas organizações. E ai, mais alguns informes para quem se interessa. O Instituto Fonte e a Editora Perópolis lançaram um livro que se chama “Contexto e Prática da Avaliação de Iniciativas Sociais no Brasil”, que conta com alguns artigos sobre temas atuais, escritos por autores brasileiros e que juntam tanto reflexões teóricas como dicas práticas para se fazer avaliação. Então, estou fazendo a divulgação. Já existe a versão eletrônica do livro. Se vocês se interessarem, podem procurar no site www.gatosabido.com.br ou na livraria Saraiva. Também queria avisá-los de um evento que vai acontecer no dia 04 de Julho de 2012. Ele será realizado pela Fundação Itaú Social e a Fundação Roberto Marinho, em parceria com a Move e apoio da Fundação Santillana. O tema é “A relevância da avaliação para o investimento social privado”,

que contará com participação de pessoas fora do Brasil, pessoas importantes na área de avaliação. Então, fiquem atentos aí para esse evento. Não sei se vocês conhecem, mas existe uma rede brasileira de monitoramento e avaliação, e em Agosto, teremos o quarto seminário da rede, que vai ser feito no Rio de Janeiro. O tema é “Capacidades nacionais em monitoramento avaliação”. A rede também tem uma revista. Na segunda edição, inclusive, tem um artigo do Paulo Jannuzzi. É uma publicação interessante para quem quer estudar avaliação. Nossa, quanta coisa, né? Mas, vamos direto para o tema de hoje. O tema é “A utilização de indicadores sociais na avaliação de iniciativas não governamentais”. Temos como convidados muito especiais Paulo Jannuzzi, Maria Alice e o Maurício Érnica. Eu queria só dar uma contextualizada no tema e contar que, em 2010, a gente fez um evento também dentro dessa parceria com o tema dos indicadores. E, assim como esse evento aqui, levantou muito interesse. Então, dá pra perceber indicadores é um tema que as organizações estão inquietas com ele. É um desafio. E daí, a gente resolve, em 2010, que o foco seria construção de indicadores específicos para processos de avaliação de organizações não governamentais, pensando naqueles indicadores que são construídos especificamente para aquele processo. E hoje, a ideia é pensar em outros indicadores, que são aqueles construídos por institutos de pesquisa e pelo pode público. E questionarmos, então, como é que a avaliação de projetos sociais de ONGs podem aproveitar esses indicadores. Que lugares esses indicadores podem ter em processos avaliativos também de iniciativas não governamentais. Quais são as possibilidades e os limites desse tipo de utilização. Então, aqui estão as perguntas que a gente colocou no convite para desafiar vocês, mas eu vou ler. “Quais são os principais indicadores sociais existentes? Quais as suas características e como são normalmente utilizados? Quais os possíveis usos em avaliação de iniciativas de organizações sociais? Quais os potenciais e limitações dessa utilização?”.

Queria reconhecer que os participantes da mesa de hoje têm um desafio, porque esse é um tema bem inovador. Existe muitas conversas sobre isso, mas poucas coisas estabelecidas. Então, eu agradeço muito os nossos palestrantes, que toparam o desafio de conversar com a gente sobre isso. Eu queria convidar o Paulo de Martino Jannuzzi para integrar a mesa. O Paulo Jannuzzi é professor do programa de pós- graduação em estudos populacionais e pesquisas sociais, da Escola Nacional de Ciências Estatísticas (ENCE), do IBGE, e professor colaborador nos cursos da Escola Nacional de Administração Pública (ENAP). Atualmente, ocupa o cargo de secretário de avaliação e gestão de informação da SAGI, Secretaria de Avaliação e Gestão da Informação, do Ministério de Desenvolvimento Social e Combate à Fome, onde coordena várias atividades relacionadas com monitoramento e avaliação de programas. É matemático. Concluiu mestrado em administração pública, doutorado em demografia e pós-doutoramento em estatísticas públicas. Atua na diretoria e assessoria de várias instituições técnico-científicas no Brasil. E tem vários artigos e livros publicados no campo de estatísticas públicas, monitoramento e avaliação de programas sociais. Vou apresentar também a Maria Alice, doutora em psicologia da educação pela PUC, presidente dos conselhos do CENPEC, da Fundação Tide Setúbal e do IDES. Grandes organizações do nosso campo social. E também o Maurício Érnica, que é pós-graduado em ciências sociais, com mestrado em antropologia social pela UNICAMP e doutorado em linguística aplicada em estudos da linguagem, pela PUC. É pesquisador do CENPEC e consultor da Fundação Tide Setúbal. Obrigada, gente! Vamos começar?

Áudio Palestrante 1: Boa tarde a todos e a todas! Agradeço o convite do CENPEC, do Instituto Fontes e da Fundação Itaú Social para estar aqui fazendo essa apresentação para vocês. Interessa muito ao MDS, Ministério de Desenvolvimento Social, temáticas como essas e que organizações sociais estejam cada vez mais interessadas e preocupadas em desenvolver atividades de monitoramento e avaliação, na medida em que isso são recursos básicos para um aprimoramento da gestão de programas e projetos sociais, sejam eles realizados com recursos de instituições privadas ou recursos públicos. Existem muitas organizações não-governamentais que, em parceria com o Ministério de Desenvolvimento Social, prestam serviços de diferentes naturezas, na área socioassistencial, pelo Brasil todo, nos 5.560 municípios brasileiros. Na conversa inicial que eu tive, nessa semana, com a Martina, eu resolvi tratar de questões que ajudam a responder aquelas quatro grandes perguntas, que ela colocou para dirigir o debate. Então, o produto final das três apresentações de hoje vai ajudar a fazer essa síntese de que a gente precisa e, naturalmente, vai estimulá-los a continuar investigando. São questões que, para serem respondidas, cada um precisa fazer um grande esforço na sua organização. Antes de eu fazer a minha apresentação, eu vou tomar 4 minutos de vocês, absolutamente cravados. Eu não posso deixar de falar para vocês de um episódio recente muito desagradável para todos nós, técnicos da SAGI e outros técnicos de governo. Saiu uma matéria no Jornal O Globo, no último domingo, página 3, falando sobre avaliações secretas de politicas públicas. Infelizmente, isso foi mais uma reportagem que dá uma boa manchete, mas que é absolutamente inverídica, injusta e inconsistente. Inoportuna, inclusive, porque a gente tem que dar um salto de qualidade no Brasil, no sentido de tratar as instituições públicas com a respeitabilidade que elas de fato merecem, quando fazem esforços sistemáticos para que as boas práticas sejam disseminadas. Essa reportagem é inverídica. A reportagem fala de uma avaliação secreta, citando específico de uma avaliação de impacto do Bolsa Família realizada em 2009 e que até hoje não teria resultados. Na verdade, ela teve seus primeiros resultados em 2010. Desde então, estamos exigindo da empresa contratada, uma multinacional no campo de consultoria em pesquisas, que nos entregasse uma base de dados absolutamente consistente, que é como fazemos com qualquer tipo de contrato nosso. Então, os jornalistas deveriam ter o respeito de que os resultados ainda não saíram porque a gente, de fato, zela pelo bem público e quer dado consistente. Não importa quem faça a pesquisa. Não é porque a instituição tem um renome que necessariamente o produto é efetivamente de boa qualidade. Vocês que encomendam pesquisas sabem muito bem do que eu estou falando. Seja pessoa física ou jurídica, se a gente não tiver competência das nossas instituições para avaliar o produto que nos é entregue, muitas vezes compramos gato por lebre. Então, a pesquisa atrasou por conta disso, pelo nosso rigor técnico na avaliação. E existe uma outra inverdade que é o fato de que não escondemos os resultados de pesquisa. Muito pelo contrário! Eu diria que não existe universidade ou grupo de pesquisa que tenha a transparência que a Secretaria de Avaliação e Gestão da Informação tem nesses nove anos de vida. Todos os nossos dados de campo, das nossas pesquisas quantitativas, são disponibilizados naquele ícone pesquisa de avaliação do site. Até destacamos! Ele estava junto com outro ícone. Entrando lá, nesse ícone pesquisa de avaliação, vocês vão ver que existe o sumário executivo da pesquisa e, nos casos em que compete, a base de dados com o dicionário de dados. O pesquisador pode baixar e fazer qualquer estudo a respeito daquela temática que nós investigamos. Nós temos plena certeza que essas pesquisas têm muito mais a oferecer do que efetivamente a gente consegue explorar. Então, fizemos uma nota no Jornal, que é totalmente desproporcional. Fomos para a página de leitores, no último dia 31 de Maio. E, portanto, eu peço desculpas de estar usando o espaço aqui da minha palestra, mas nós precisamos. Inclusive, meus diretores estão orientados a fazer isso nos próximos três meses para minimizar o impacto tão negativo e reconhecido como tal por parte de vários dos nossos parceiros que têm enviado mensagens de solidariedade e reconhecimento ao trabalho que a gente faz. Além disso, talvez muitos de vocês saibam que nós já disponibilizamos as nossas pesquisas no consórcio de informações sociais, da ANPOCS, há quase cinco anos. Portanto, o MDS tem efetivamente uma prática de disponibilização das suas avaliações para muito além do que normalmente se faz. Em primeiro lugar, acreditamos que não exista uma, duas ou três pesquisas absolutamente seminais, que consigam responder todas as nossas demandas e nem que necessariamente produzam conhecimento, a revelação, a verdade absoluta. A gente, que trabalha nesse campo, sabe que a se precisa valer de um conjunto amplo de pesquisas, de técnicas, de agentes entrevistados. Ou seja, temos que nos valer de triangulação de estudos, triangulação de agentes, triangulações de abordagens, mais quadradinhas, mais redondinhas, mais exploratórias, mais qualitativas. O nosso objeto, a realidade social na educação, na pobreza, na violência, em todas as temáticas, é muito mais complexo do que os objetos de pesquisa acadêmica, que são recortados de tal forma de garantir muito mais a consistência do método do que a substância dos resultados que efetivamente ele aporta. É por isso que a gente disponibiliza os dados. Então, fazemos o convite para que vocês entrem na nossa página e procurem explorar dados que a gente já tenha. Quem sabe eles já respondem parte das inquietações que vocês tenham! Nós já temos aí um conjunto de mais de 130 pesquisas. Na verdade, dessas mais de 130 pesquisas, uma quantidade muito grande são estudos qualitativos ou de revisão bibliográfica. Nós temos, pelo menos, um conjunto de 30 pesquisas de campo. As mais antigas não estão disponíveis por conta do esforço que temos que fazer nesse sentido. E a avaliação de impacto do Bolsa Família número 2 estará disponível muito provavelmente agora no mês de Junho de 2012, por conta do esforço que estamos fazendo na equipe para conseguir colocar essa base de dados para que outros pesquisadores façam estudos sobre esse programa importante. É um programa que se estruturou em um espaço de tempo bastante exíguo, se a gente pensar em outras experiências de implementação de políticas públicas. Mas que, certamente e obviamente, precisa de aprimoramentos. Por isso, que a gente continuou fazendo pesquisa. Dito isso, vamos passar para a próxima tela. Eu queria começar com essa pergunta, que eu acho que é motivadora. Embora a temática do evento seja mais específica, eu achei que eu deveria tratar dessa temática, ainda que eu pudesse estar replicando alguma outra discussão que vocês já fizeram. Então, “o que é avaliação de programas e projetos? E para que serve?”. Enfim, vamos lá. É importante que a gente reconheça aqui que, em alguns meios públicos e privados, existe um certo desencanto com avaliação. Existe um texto da Teresa Cotta, uma gestora de Brasília, de vinte anos atrás, mas que, em alguma medida, tem aplicação em alguns contextos atuais. Eu trouxe exatamente por conta disso. Ela diz que “as metodologias de avaliação têm sido objeto de severas críticas. Basicamente, afirma-se que, na prática, as avaliações não subsidiam o processo decisório, porque os seus resultados são inconclusivos, inoportunos e irrelevantes. Inconclusivos em função das limitações desse tipo de estudo”. Talvez, as pessoas tenham expectativas demais do que uma pesquisa possa aportar. Inoportunos, porque boa parte dos estudos acabam atrasando muito mais do que a gente poderia. As pesquisas, às vezes, são definidas de tal forma a investigar questões tão complexas que não respondem, muitas vezes, demandas de informação mais específicas. E irrelevantes, porque, a bem da verdade, muitas das pesquisas que se produzem e são conduzidas, muitas vezes, por avaliadores externos, sem muita interação com o demandante da pesquisa, seja ele público ou seja uma ONG, invariavelmente produzem resultados irrelevantes. Aí, eu posso dizer para vocês com muita tranquilidade, porque sou professor universitário e sei que boa parte da nossa comunidade desconhece efetivamente a realidade dos programas e projetos sociais com a complexidade com que operam na ponta, produzindo muitas vezes trabalhos, que podem até ter circulação no meio acadêmico, mas repetem, de alguma forma, muito do que os gestores efetivamente têm. Enfim, a segunda constatação desse desencanto é que, de vez em quando, “a avaliação mal concebida ou mal executada produz informações que, no melhor dos casos, seriam enganosas e, no pior dos casos, absolutamente falsas”. Isso é um trecho de Worthern. “Embora essas ocorrências sejam raras, podem causar problemas graves. Como geralmente essas avaliações tem respeitabilidade, elas não costumam ser questionadas. E o pior é que resultado de decisões importantes sobre programas e serviços baseiam-se em informações falaciosas”. Esse é o grande problema, gente! Quando a gente encomenda pesquisa, há de ter uma equipe técnica muito competente para fazer a avaliação dos resultados dessa pesquisa. Não é porque foi feita pela instituição “A”, “B” ou “C”, que necessariamente os resultados têm que ser absorvidos na sua plenitude. Eles têm que ser discutidos. Por isso que as pesquisas de avaliação que efetivamente produzem resultados relevantes têm que ser muito dialogadas, em todo o processo. A SAGI, a Secretaria de Avaliação, quando encomenda uma pesquisa, ela passa quase três ou quatro meses discutindo o termo de referência junto com a Secretaria do Bolsa Família, a Secretaria da Assistência Social, a Secretaria de Segurança Alimentar ou Secretaria de Erradicação da Pobreza para definir muito bem o objeto. Se a gente não define o objeto muito específico, a gente tem um resultado muito geral, que não se aplica às nossas necessidades. Nós fazemos o questionário, nós desenhamos a amostra. O que a gente contrata efetivamente de pesquisa de campo é a coleta de dados. Em alguns casos, até a análise. Estamos chegando à conclusão de que, pela modalidade com que temos que contratar, que são os pregões, acabamos tendo, muitas vezes, instituições boas de campo, mais ruins de análise. Então, isso é mais uma das questões que estão no campo e que poderíamos discutir em um outro tema, que é o mercado da avaliação, mas a gente deixa para tratar disso depois. E a terceira constatação é a do desencanto que as pesquisas de avaliação tem a ver com esse autoengano de que nós vamos ter a informação completa, de que nós vamos conseguir, através da pesquisa, responder todas as nossas inquietudes e perguntas. Dar conta do recado com uma pesquisa só! A gente tem que fazer da pesquisa uma prática sistemática, um plano de monitoramento e avaliação mais ou menos contínuo, sobretudo um sistema de monitoramento, que nos alimente com quais são as avaliações que temos que fazer em determinados momentos, de um determinado projeto. Ela não pode ser um espasmo avaliativo: “vou fazer avaliação disso, porque o meu o meu patrocinador exige esse tipo de recurso”. Ela tem que ser, de fato, alguma coisa que seja encarada como uma prática do processo de gestão e não alguma coisa separada. Avaliação é alguma coisa que incomoda. Incomoda jornalista, tanto que alguns jornais não têm ombudsman, a quem a gente poderia recorrer numa situação como essa. As universidades e os professores também se sentem incomodados. Todo mundo, qualquer trabalhador se sente incomodado. E o gerente de programa também se sente incomodado com a avaliação. Então, se uma avaliação é feita de forma respeitosa, considerando que o usuário dessa informação é, sobretudo em projetos e programas sociais, o próprio gestor do programa que participa do processo, a gente vai ganhar um defensor do processo e alguém que efetivamente vai levar em conta os resultados da pesquisa. Aqueles resultados que são factíveis de implicar em mudanças vão ser, de fato, implementados. Também existe uma certa mitificação de que tudo o que a gente consegue identificar como problema nos programas e projetos podem ser equacionados em um estalar de dedos. No caso brasileiro, nós temos um conjunto bastante grande de programas sociais. Nós ampliamos o nosso portfólio de programas sociais, desde a constituição de 1988 para cá, consolidando os direitos sociais da nossa constituição. Hoje estamos batendo quase os 25 por cento do Produto Interno Bruto (PIB) em políticas sociais das mais variadas, como Habitação, Bolsa Família, Educação, Saúde, Aposentadoria etc. Portanto, estamos saindo de um padrão de 18 por cento, que é o padrão de países de renda média, rumo aos 33 por cento ou mais, que é o padrão de países mais desenvolvidos, como Europa e assim por diante. Só que a sociedade brasileira certamente está exigindo muito mais qualidade do gasto, muito mais eficiência do gasto, para, de alguma forma, abrir mão do seu salário e aportar mais recursos em imposto. Não há mágica nesse processo de alocação de recursos, se a arrecadação efetivamente não aumentar. Mas aí, para que esse processo possa acontecer, a gente tem que investir muito na avaliação. E não pensar que uma avaliação feita por uma instituição, por mais reputada que ela seja, vá dar conta de todas as nossas demandas de informação. Existe uma série de fatores que contribuem para esse desencanto e eu vou passar muito rapidamente por alguns deles. Mas, eu acho que isso é importante. Quando a gente tratar de indicadores, a gente tem que reconhecer que produzir indicadores para muitas das intervenções sociais desenhadas é alguma coisa bastante complexa. Então, a complexidade do objeto com que lidamos na área social requer complexidade na forma de avaliá-lo. Não existe um método padrão ouro que possa responder. Daí, a questão toda da triangulação. Determinadas questões são bastante específicas e comportam um método muito estruturado, como um levantamento, uma pesquisa amostral ou até mesmo um desenho quase experimental, como é o caso da avaliação do Bolsa Família. É um programa social padronizado, de Norte a Sul do Brasil, tem uma variável resposta, que são os impactos que se espera do programa em termos de Educação e Saúde. Então, nesse caso existem até uma facilidade de compreensão do que se espera do programa. Outros programas têm impactos muito mais difíceis de serem codificados ou mesmo especificados. E, naturalmente, é um programa que não é um serviço. Isso é uma outra complexidade: quanto mais intangível é a nossa entrega, o nosso é o serviço, mais complexo é avalia-lo, sobretudo através de indicadores quantitativos. Então, essa é uma outra questão que a gente tem que ajudar a desmistificar, porque a gente fica em busca dos indicadores quando, muitas vezes, eles não existam! Talvez, a gente esteja insistindo em alguma coisa que não é a melhor abordagem para realmente dar conta da complexidade do nosso objeto ou da nossa intervenção. Uma outra questão que muitas vezes torna muito difícil a computação de indicadores é que atuamos sobre públicos-alvo bastante distintos. A menos que os nossos projetos sejam também bastante específicos, talvez consigamos ter alguns indicadores que sejam específicos e sensíveis para a nossa realidade de intervenção. Outra coisa importante, do ponto de vista dos programas, e que a gente precisa reconhecer é que eles são muito recentes. Nós chegamos a 25 por cento do PIB em gasto social hoje, partindo de uma base de 13 por cento, há 30 anos. Portanto, nós temos programas que tem um tempo de maturação médio de 15 anos. São programas complexos nesse Brasil, de Norte a Sul, realidades completamente distintas, sendo operadas por estruturas colaborativas e federativas, e entregando, na sua grande maioria, serviços de saúde, educação, desenvolvimento social, de assistência social, onde a padronização é muito mais difícil. Não é uma pílula que se distribui para todo mundo, não é uma transferência monetária que se transfere para todo mundo. Para fazer com que a transferência orçamentária chegue às pessoas que, de fato, precisam, existe toda uma operação complexa. Um outro aspecto importante é o tecnocratismo ingênuo. A gente superestima nossa capacidade de planejamento. Existe um pouco uma “receita” dos manuais de avaliação de programas, que é muito propalada, sobretudo das agências multilaterais, de que todo programa já tem que ter especificado seu sistema de monitoramento e avaliação quando é lançado. No mundo acadêmico, talvez. No mundo real, não é assim que opera. Por duas razões. Todo o esforço que a gente tem no início é no sentido de diagnóstico e avaliação de experiências anteriores. Esse é o esforço! De desenhar, fazer o diagnóstico e fazer um desenho do programa! “Quais são as melhores estratégias para combater tal ou tal ou tal problema?. O combate à fome vai ser através da melhora da merenda escolar, vamos transferir recursos via Bolsa Família ou vamos ampliar o número de creches com alimentação?”. Enfim, existem várias alternativas que precisam ser pensadas. Então, é muito difícil que, no início, você consiga pensar inclusive no seu sistema de monitoramento e avaliação. Se o diagnóstico for muito bem feito, você já tem alinhavada uma série de dimensões bastante importantes de monitoramento e avaliação. Então, isso é um aspecto importante. Tão logo o programa entre em operação, a gente precisa começar a estruturar os nossos sistemas, reconhecendo também que muita das adaptações vão se dando ao longo do processo. Naturalmente que um bom projeto tem que ter aquelas atividades críticas muito bem definidas, mas existem ajustes que são feitos e que, às vezes, provocam até redesenho dos programas. Então, esse é um outro aspecto importante. Um outro grande problema também é que a gente acredita na elevada programabilidade de programas sociais. Para citar um caso concreto, o Bolsa Família é muito programável. Ele teve o sucesso que teve, porque as operações eram bastante programáveis para fazer com que o dinheiro chegasse lá na ponta. Para fazer uma outra comparação dentro do MDS, os serviços assistenciais, o Serviço de Proteção Integral à Família (PAIF), os serviços de acolhimento de população de rua, os serviços de combate à exploração sexual de adolescentes, todos eles são programas que têm protocolos, mas não têm atividades tão padronizadas quanto outras atividades em outros programas. Outra coisa importante que revela esse nosso tecnocratismo ingênuo é o planejamento top-down, que não é só em Brasília, mas em outros contextos também. O top-down é não incorporar quem está lá na ponta. Esse é um outro dado que a gente tem se preocupado muito. E gestores e técnicos mais como expectadores do que como protagonistas. Essa crença desmesurada de que a avaliação externa é tecnicamente e legitimamente melhor do que a avaliação interna. Não é! A avaliação tem ter uma interação entre os dois. Eu acho que tem espaço específico para um caso e para outro, mas em boa parte a avaliação mista, com apoio externo mas com gente interna, é que vai realmente produzir resultados mais efetivos e, mais do que isso, garantir a aplicação dos resultados no setor público. Não adianta você fazer um estudo maravilhoso lá fora se quem está lá dentro não participa do processo. A chance de incorporação e de sugestões cai muito rapidamente. Bom, quais as limitações nos desenhos das pesquisas de avaliação? Esse é um outro aspecto. A gente tem que discutir muito. É muito importante livros como esse que vocês lançaram. Vou querer depois um! (risos). A gente precisa mesmo disseminar as boas práticas e as diferentes metodologias de pesquisa de avaliação, discutir muito as questões das amostras, as vantagens de grandes e de pequenas amostras, as vantagens de estudos de casos, qualitativos e quantitativos... Eu acho que também temos que desmistificar essa questão da necessidade de ter estudos que contemplem todo o nosso público-alvo, todos os contextos. Eu não sabia que você ia ler o meu currículo. Aí você até disse que eu sou Matemático. E sou mesmo. Enfim, comecei em Economia e acabei na Matemática de tanto que eu gostei de Matemática, de cálculo integral diferencial. Naquela época, eu imaginava que o cálculo integral diferencial era tão fantástico que conseguia responder perguntas do tipo: “qual deveria ser a superfície de uma latinha de azeitona para gastar menos metal e ficar mais barata?”. Então, o cálculo integral respondia questões tão básicas como essa, que eu achei que respondia a questões mais relevantes! (risos). Depois, no final do curso, eu quase saí, mas insisti. Depois, eu voltei para a minha vocação original! Enfim, isso é só para chamar a atenção de vocês de que existe muita discussão metodológica que não está registrada, muitas vezes, nos manuais. Os manuais são escritos por pessoas muito boas, mas a gente tem que dar prescrições muito gerais. Por isso, que é importante que vocês escrevam as experiências. A revista que a Martina mostrou é uma iniciativa da Rede Brasileira, da SAGI e e da Secretaria de Assuntos Estratégicos (SAE) exatamente para isso: para abrir o campo técnico profissional que trabalha com isso e ter um espaço para disseminação de boas práticas. Às vezes, a gente tem muita dificuldade de fazer com que os artigos produzidos de pesquisas no nosso campo acabem sendo veiculados em uma revista acadêmica! Ou porque a gente também não quer! Enfim, não é com o meio acadêmico que a gente quer lidar. A gente quer trocar figurinhas com o nosso público. Então, a gente realmente precisa investir em livros, publicações e eventos como esse para isso. Já estou chegando ao ponto mais específico da minha apresentação, que é exatamente a discussão sobre o baixo uso das estatísticas oficiais. Apesar da grande disponibilidade de dados, nós usamos pouca informação para os nossos sistemas de monitoramento. Às vezes, a gente deposita muita confiança e muita expectativa em cima das pesquisas de avaliação, quando, na verdade, a gente tem muita informação disponível para fazer avaliação interessante. Pelo menos, eu digo isso para vocês do ponto de vista dos programas públicos, ok? No caso de projetos sociais, talvez a realidade seja um pouco diferente, embora eu ache que a gente tenha que aproveitar melhor os nossos registros de programa, os nossos registros de matrícula, de acompanhamento dos alunos e articulá-los em uma certa lógica que dispensaria algumas avaliações. Ou melhor, ajudaria especificar melhor alguns tipos de avaliação. Por fim, outro fator desse desencanto é a nossa cultura de monitoramento e avaliação. Assim como o nosso sistema de proteção social muito novo, com cerca de 15 a 20 anos. Se a gente pensar o conjunto de programas mais antigos da Educação e Saúde com os nossos programas da área de assistência, habitação e desenvolvimento social, a gente tem coisas que são recentes. Então, a cultura mesmo de gestão, de programas ainda é muito incipiente no Brasil. Talvez, nós estejamos desfasados em 30 anos em relação a uma série de outros países, onde a estruturação do seu sistema de bem estar já é muito mais antiga. E também, eu acho que, em boa parte dos nossos currículos nas nossas universidades, a gente aprende a fazer talvez análise de macro políticas, análise de conjuntura. Eu digo isso porque é um pouco a nossa prática lá na Escola Nacional de Ciências Estatísticas, do IBGE, lá no Rio de Janeiro. Existe um mestrado em Política Social e em Pesquisas Sociais. E, de fato, as nossas dissertações dialogam com questões muito mais gerais do que àquelas mais específicas que nós precisaríamos estar investigando para alimentar melhor os gestores. E isso, com uma perspectiva maior de interdisciplinaridade. Não existe também nenhuma disciplina acadêmica que tenha a prerrogativa, a legitimidade, a preferência, a capacidade de entender a complexidade dos nossos problemas. Os nossos problemas são complexos, como eu dizia. A capacidade de avaliá-los também tem que ser complexa e interdisciplinar para dar conta de toda a problemática ali tratada. Então, como superar esse desencanto? A gente tem que superar esse desencanto na medida em se produzam e se organizem informações ajustadas às necessidades do programa ou do projeto no estágio em que se encontra no ciclo de políticas e projetos. Esse ciclo de políticas e projetos, como todo modelo, é uma simplificação da realidade. A realidade de gestão de ciclo de vida de programas é muito mais complexa do que está sendo apresentado aqui, mas ele é um modelo didático interessante para fazer a gente refletir sobre tipos de indicadores e tipos de avaliação eu preciso em função não do meu problema e da minha intervenção. É mais abrangente ou menos abrangente? Tudo começa, teoricamente, quando determinados problemas e demandas sociais, que são sistematicamente apontados ou percebidos pela população, entram dentro da agenda pública ou de uma ONG. Essa instituição resolve abordar uma determinada temática que incomoda, que tem a ver com a sua área de atuação. E isso entra dentro da agenda. Havendo entrado dentro da agenda, a gente busca recursos para poder viabilizar o desenho de um programa ou de um projeto social, para tentar equacionar essa determinada demanda. Então, existe todo um esforço de diagnóstico mais propositivo e mais específico, de pensar as diversas estratégias de equacionamento daquela problemática social. Existe a necessidade de fazer seleções de públicos, estratégias de programas e, por fim, é preciso implementar o programa. E a implementação de programas, muitas vezes, ela se dá sem que o diagnóstico tenha sido feito em um ambiente perfeito. Porque são oportunidades! A gente não poderia ficar fazendo o planejamento de uma ação como o ”Brasil sem Miséria” durante um ano, esperando que o Censo Demográfico tivesse todas as suas divulgações e, assim, fazer o diagnóstico mais exaustivo possível. Como se a gente não caísse naquele tecnocratismo que eu que criticava anteriormente. Então, o processo de diagnóstico também é uma avaliação. É uma avaliação diagnóstica. Ela também tem o seu tempo. Enfim, a gente implementa o programa e precisa, em algum momento adequado à maturidade do período de intervenção, fazer uma avaliação mais somativa, mais exaustiva de resultados de impacto. Essa avaliação não pode ser nem muito antes, nem muito depois. Ela tem que ser no tempo certo. E a gente precisa perceber exatamente quando é o tempo certo. Não adianta investir recursos em um lugar se a gente sabe que os problemas estão em outro. Há muitos problemas ainda de implementação. Existem muitos problemas de município. Existem muitos problemas de instituição, que ainda está com deficiência de pessoal, está com deficiência de recurso, está com deficiência de treinamento. Nesse caso, é melhor usar o dinheiro para fazer avaliação de processo ou fazer avaliação de desenho! Ou volte atrás e invista recursos para diagnosticar melhor e saber quem é o seu público-alvo! O MDS tem um bom exemplo nisso, que é população de rua. A população de rua era um problema social de todos os grandes centros urbanos. E não havia estatísticas que quantificassem. Muito menos, estudos mais abrangentes que permitissem identificar que essa população de rua tem só um ponto em comum, que é o de eles viverem na rua. São públicos muito diferentes. Há gente aqui que sabe melhor do que eu sobre as diferenças desse público. São crianças em situação de drogadição, pessoas com algum tipo de deficiência, desempregados, pessoas com problemas de alcoolismo. Enfim, são públicos diferentes e que demandam soluções também igualmente diferentes. Então, é isso. Às vezes, não adianta continuar investindo em uma avaliação, em desenho do processo, quando se precisa conhecer melhor o nosso público. Talvez, o processo de reconhecimento da demanda para colocar na nossa agenda pode ter vindo com algum viés e que a gente não percebeu. Enfim, existe então o processo de avaliação. No caso do setor público, o ciclo de planejamento do plano plurianual é de quatro em quatro anos e você tem que especificar os novos programas. Então, precisa-se fazer uma avaliação, de quatro em quatro anos, mais exaustiva sobre a estratégia de implementação para mitigar esse problema. “Deu resultado? Se não deu, o que precisa ser aprimorado? O programa precisa ser totalmente remodelado? O programa deve continuar ou não?”. É importante que se diga o seguinte: muito do redesenho do programa é feito na implementação. Portanto, esse gráfico aqui tem um problema, porque a implementação é uma caixinha que parece menorzinha. Eu preciso redesenhar esse gráfico, porque a implementação é a maior parte do tempo em que o programa se encontra. Ele está sempre em implementação. Está sempre em processo de aprimoramento. Então, muitas melhorias já são feitas na implementação e isso é importante se captar na avaliação, de alguma forma. No caso de instituições que lidam, por exemplo, com problemáticas no campo educacional, elas vão sentir muito mais resultados com impactos com muito mais tempo do que quem atua em problemas na área de Saúde. Os problemas na área de Saúde, às vezes, tem equacionamento muito mais rápido do que alguns problemas mais complexos na educação ou mesmo na área em que o MDS lida, que é o da pobreza. Em cada uma dessas fases, a gente precisa de indicadores, quando disponíveis. Então, na fase de identificação de problemas e demandas para além do debate político, da sociedade, da imprensa, do movimento social, existem indicadores sociais provenientes agora do Censo Demográfico. O IBGE está fazendo um trabalho muito interessante na disponibilização desses dados, que permitem entender o quanto avançamos e o quanto que temos que avançar. O próprio governo reconhece que, com toda a queda da pobreza, ainda temos 16 milhões de pessoas em extrema pobreza. Precisamos fazer alguma coisa. O Brasil vai se transformar na quinta economia do mundo e com alguns indicadores sociais ainda bastante insatisfatórios, apesar da evolução nesses últimos nove anos. Precisamos de indicadores de diagnósticos. Um bom diagnóstico vai sempre abordar o público-alvo. A gente precisa conhecer melhor o nosso público-alvo e, às vezes, os dados do IBGE ou de outras instituições não são suficientes. Aí, tem que se fazer uma pesquisa para conhecer o nosso público-alvo, conhecer suas características. Quanto mais a gente conhecer esse público-alvo, melhor a gente vai conseguir especificar o programa que a gente está imaginando. Naturalmente que é um processo de ida e volta. A gente não levanta tudo. Quando já se tem a ideia de qual é um determinado encaminhamento, a gente faz a pesquisa de modo a responder que tipo de informação é precisa para poder desenhar uma determinada estratégia de equacionamento. No nosso diagnóstico, também é preciso ter uma ideia de capacidade de gestão. Aí, eu estou falando muito do ponto de vista do poder público federal. Lá na Esplanada, precisa-se ter uma compreensão melhor de quais são as dificuldades e as fragilidades dos municípios e dos estados, que é quem opera as nossas políticas. Porque uma boa ideia vai ter problemas, muitas vezes, de implementação caso o agente não tenha recursos humanos suficientes ou a competência ou a capacidade de treinamento que deveria ter. Um bom diagnóstico, além de conhecimento do público-alvo e da capacidade de gestão do operador do programa na ponta, também tem que conhecer o contexto em que as pessoas vivem, tanto o contexto social quanto o contexto econômico. Um programa ou um projeto social vai funcionar com maior ou menor dificuldade em função das características da região. Se é uma região mais dinâmica ou uma região mais pobre. E assim por diante. Quando a gente está falando de indicadores de monitoramento e avaliação, não nos esqueçamos que tudo começa com um bom diagnóstico. Então, a gente precisa nos valer e nos equipar de bons indicadores e boas pesquisas que permitam a gente conhecer melhor o nosso público, sem incorrer no risco daquele tecnocratismo ingênuo de que os dados falam toda a realidade por si. A gente sabe que estamos muito longe disso. Bom, depois vem os indicadores de monitoramento e os indicadores de avaliações somativas, onde a gente vai ter que levantar informações de resultados e impactos ou informações de natureza qualitativa. Muitas vezes, em determinados programas, a gente não consegue quantifica-los. É importante que a gente, de alguma forma, consiga estruturar a informação qualitativa para mostrar os impactos importantes, porém menos tangíveis de um determinado projeto. Bom, existe toda uma discussão de tipologias de avaliação. São vários tipos de avaliação adequados ao estágio em que o programa se encontra.