Ir para conteúdo

Biblioteca

Indicadores sociais na avaliação de iniciativas não governamentais

Encontro temático sobre Relação entre absenteísmo docente e desempenho escolar.



Parte 2: Indicadores sociais na avaliação de iniciativas não governamentais

A Fundação Itaú Social e o Instituto Fonte estabeleceram uma parceria com o objetivo de promover e fortalecer a Avaliação de Programas e Projetos Sociais no Brasil. Parte 2

Ir para a transcrição do vídeo

Transcrição

00:00 a 54:56 (Auditório)

Imagem: Apresentadora do evento em cima do palco, fala ao microfone para a plateia. Os palestrantes convidados se rodiziam no palco durante o debate.

Áudio Palestrante 1: Bom, então a mensagem geral aqui é isso. Monitoramento e avaliação são duas atividades que tem que ser entendidas de forma orgânica. A produção de indicadores e pesquisas específicas com alguma regularidade têm que estar no seu plano de avaliação. Ou, é melhor chamá-lo de plano de monitoramento-avaliação de um projeto social. Afinal de contas, o que é um indicador? É para isso que eu vim. (risos). Vocês vão entender que eu já falei demais sobre o que é um indicador. Mais de dez anos atrás, eu já vinha dando curso de indicadores. Depois, resultou no livro. Então, algumas pessoas que eventualmente já participaram de alguma palestra minha vão falar: “poxa, ele continua usando os mesmos slides que eles utilizava!”. Eu diria para vocês que eu melhorei um pouco, mas eu não tenho mais criatividade para essa temática!! (risos). O indicador é um recurso metodológico para retratar a realidade. Acho que haverá alguma coisa inovadora nessa parte da minha apresentação! Eu passei a usar algumas metáforas aí para representar os indicadores. O indicador é como se fosse uma fotografia. É tão bom tão ruim quanto uma fotografia. Tão bom porque ele permite que eu capte aspectos da realidade social. Tão ruim porque, ao captar um aspecto, eu estou perdendo o todo. Mas é exatamente isso de que a gente precisa no setor público. A gente precisa de instrumentos padronizados. No projeto social também! A gente precisa de instrumentos padronizados para, de alguma forma, comparar realidades. É o que essas fotos mostram aí. São realidades distintas de uma favela ou de uma comunidade. Há uma foto mais distante, que é o indicador mais distante. O indicador em uma determinada posição é uma foto que mostra um aspecto interessante da favela. Por exemplo, uma mostra a declividade onde ela está localizada e a outra, que a favela está numa área de preservação ambiental. Nessa terceira foto, uma foto dentro do interior da favela para ver a falta de conforto material dessa família. E nessa última foto, a gente vê o entorno da casa, em certas condições inadequadas de habitação que vivem certas famílias. Cada foto dessa é como se fosse um indicador. Então, tal como a fotografia, os indicadores retratam aspectos da realidade. A imagem captada no indicador é uma redução da realidade. Qualquer indicador reduz a realidade. A foto traduz essa realidade de 3 dimensões, que tem som, que tem cheiro... Uma foto é plana, não tem cheiro, não tem cor, não tem movimento. Enfim, se eu quero medir as condições de vida de uma sociedade, isso se desdobra em várias fotografias. E eu posso usar diferentes filmes, que vão produzir imagens com melhor ou menor qualidade, dependendo um pouco da câmera. Existem câmeras ou fontes de dados mais fidedignas. Existem outras câmeras e fontes de dado que ainda não alcançaram o seu nível de confiabilidade. Mas é só usando aquela câmera ou aquele indicador que a gente vai conseguir perceber as suas deficiências e conseguir fazer os ajustes necessários para que aquela câmera ou aquela fonte de dados produza informação de melhor qualidade ao longo do tempo. Uma das questões que se colocou no início do evento foi: “quais são os principais indicadores?”. Eu diria que é muito difícil dizer quais são os principais indicadores, porque depende de cada caso. É aquilo que eu falei. O ciclo de políticas e programas vai depender de indicadores específicos em cada fase. E, naturalmente, em cada temática em que vocês atuam. Então, na área de segurança alimentar, por exemplo, eu poderia usar taxa de mortalidade infantil ou eu posso usar indicador antropométrico de déficit de altura e de peso, produzido na pesquisa de orçamentos familiares do IBGE, de cinco em cinco anos. Ou eu posso investigar a segurança alimentar através de uma escala objetivada de percepção, que é a Escala Brasileira de Insegurança Alimentar (EBIA), que o MDS ajudou a desenvolver. Ou ainda usar indicadores antropométricos de adolescentes, também através da Pesquisa Nacional de Saúde Escolar. Então, existe um conjunto muito amplo de pesquisas que nos ajudam a fazer esse tipo de investigação. Bom, existem os indicadores de monitoramento e aí vamos passar muito rapidamente, porque eu já esgotei todo o meu tempo. A analogia é com o sismógrafo. E aí, o nosso grande desafio nas instituições. A gente não pode ficar parado com um retrato. Ele é importante, mas a gente precisa do filme ou do nosso sismógrafo. Então, é melhor analogia com o sismógrafo porque ele tem a sensibilidade de perceber os pequenos tremores de terra. Então, se a gente conseguir desenvolver, nos nossos programas e projetos sociais, bom sismógrafos, a gente consegue se antecipar às catástrofes que ocorrem e, às vezes, são inevitáveis, como um terremoto. Mais algumas são evitáveis. Bom, fechando então. Existe uma discussão sobre fonte de dados, mas e não vou conseguir responder. Nesses meus slides existe uma série de sugestões de fontes de dados. No MDS, existe o Data Social. À semelhança ao Datasus, é um portal de informações na área social. A gente reuniu tudo isso. Entrando no nosso site, vocês vão conseguir olhar isso. Agora, para finalizar. Vamos falar que indicadores, painéis e pesquisas podem ser instrumentos para transformar essa realidade, em um determinado “T0”, numa realidade tão positiva quanto essa foto de uma bela casa de praia. Esse slide é absolutamente inédito. (risos). Esses outros também! A minha inovação está aqui. Em dez anos para cá, eu fiz alguma coisa com esses slides. Mas ;e basicamente isso, gente! Tal como fotografias, os indicadores reduzem a realidade. Uma boa fotografia depende da câmera, da posição do fotógrafo, do foco da lente. Mas, depende da destreza do fotógrafo, do analista, do pesquisador, do gestor identificar o que é relevante para ser medido. Um programa tem muitas atividades. A gente tem que ver quais são as atividades chaves que devem ser monitoradas, porque a gente também não quer transformar o nosso projeto em um objeto de monitoramento. A gente não quer perder mais tempo preenchendo planilha do que fazendo as atividades que a gente tem que fazer. Então, o importante é isso. Tem que se saber o que é mais útil, relevante e pertinente para a avaliação do bem estar e para advocacy de programas sociais. É um mosaico de fotografias ou uma fotografia composta por técnica sofisticadas de diagramação? O que efetivamente a gente precisa? Será que a gente precisa de um conjunto mais simples de indicadores, um conjunto básico de propriedade, de inteligibilidade, de clareza, de significado? Ou de uma pesquisa de avaliação contratada em um instituto super renomado onde será usado o modelo econométrico de enésima geração para produzir um resultado que vai dizer que o impacto do programa é 10,45? O que a gente precisa? O chato que a gente precisa reconhecer é que quanto mais casas decimais em um resultado de indicador, mais parece fantástico o modelo de avaliação e o indicador. No estágio em que a gente se encontra no Brasil, do ponto de vista dos programas de desenvolvimento social, a gente não precisa de quatro ou cinco casas decimais nos nossos indicadores. Se a gente conseguir produzir indicadores que não tenham casas decimais, mas o que vem antes da vírgula tenha significado para mostrar o tamanho do problema e se esse problema está aumentando ou diminuindo, aí a gente já tem umas boas respostas. Obrigado pela atenção! (Aplausos).

Áudio Apresentadora: É engraçado. Eu tinha a fantasia de que, por ser do setor público, ia ser muito diferente. Acho que, para todo mundo aqui, dá para identificar muita coisa em comum de questões que a gente vivencia nas nossas avaliações. Vou convidar a Maria Alice e o Maurício, então, para compor a mesa. Muito obrigada!

Áudio Palestrante 2: Obrigada. Boa tarde a todos, a todas. Eu queria agradecer muito à Martina, á Isabela, à Valéria por essa oportunidade de podermos estar aqui hoje, discutindo uma questão fundamental para a área social, que é pensar como avaliar nossos projetos sociais. Essa última fala da Martina foi exatamente o que eu e o Maurício estávamos comentando! Como há muita complementaridade entre essa fala do professor Paulo Jannuzzi e a fala que a gente vai estar fazendo! Pensando que o professor fez uma fala macro, falando do Ministério de Desenvolvimento Social, agora nós vamos fazer um voo para uma fala micro, bem micro. Falaremos de território. E dentro desse território, um projeto. Então, é um voo rasante para a realidade, mas que tem uma complementaridade muito grande na fala do professor Paulo. O que a gente pretende fazer aqui com vocês hoje é passar um pouco a experiência dessa complexidade, de que o professor Paulo falou inicialmente. A complexidade que é avaliar um projeto social e as dificuldades para quem está na ponta lidando e operando com esse projeto. Então, a ideia que nós tivemos foi construir e falar exatamente sobre esse processo de construção de indicadores para se avaliar um projeto social. Então, eu e o Maurício faremos esse jogralzinho, mas eu vou fazer apenas um primeiro apanhado para contextualizar um pouco o que foi esse trabalho da Fundação Tide Setúbal num território específico, que é na Zona Leste da cidade de São Paulo. Especificamente, em São Miguel Paulista. Então, a Fundação Tide Setúbal começou os seus trabalhos entre 2005 e 2006, na verdade. Ela foi constituído em 2005, mas nós realmente começamos o trabalho lá na Zona Leste, em São Miguel Paulista, em 2006. A missão da Fundação é contribuir para o desenvolvimento local, com o objetivo do empoderamento da comunidade, na construção de uma cidadania para uma melhor qualidade de vida. Então, o nosso foco sempre foi o território, com uma visão intersetorial e transdisciplinar. Então, dentro desse contexto maior, nossa busca, ao chegar no território, sempre foi articular com parcerias locais. Desde o início, nós tínhamos a consciência de que não queríamos chegar no território já desenvolvendo projetos, mas construir junto com aquela população local. E não para aquela população! E a gente levou isso muito a sério. Em um dos primeiros projetos, nós buscamos fazer um levantamento em termos de famílias, de jovens e tentar ver o que existia naquela comunidade inicialmente. E um aspecto bastante importante que nós levantamos foi o envolvimento daquela comunidade para contar a sua história. Então, nós desenvolvemos um trabalho de memória muito grande. Pegamos depoimentos com os moradores, com os jovens. E nós gravamos tudo isso e acabou se transformando em um centro de memória de São Miguel Paulista, que existe até hoje. Isso foi muito importante para nós e principalmente para a legitimidade da nossa atuação. Nós reconhecemos quem era aquela população e buscamos fazer com que eles se reconhecessem também e valorizassem aquela história e toda aquela sua trajetória. Eu não vou me estender demais. Eu já estou percebendo que eu vou começar a falar muito e nós não vamos chegar nos indicadores. Porque realmente são muitas as histórias. Só queria frisar que, nesse primeiro momento do projeto, nós encontramos muitas dificuldades. Não foram poucas! Éramos uma organização da sociedade civil, uma Fundação, que queria apoiar projetos na região e chegar a um espaço onde já havia os seus agentes sociais locais, que se sentiam donos daqueles espaços. Mesmo considerando que estamos falando de lideranças comunitárias, portanto pessoas já acostumadas a serem líderes absolutos, havia um sentimento de que aqueles lugares públicos estavam sendo privatizados. A nossa primeira parceria foi com a CDC, que é um clube que atua com esporte e cultura, ligado à Secretaria de Esportes. Então, junto com outras organizações locais comunitárias, nós começamos a fazer parte da gestão desse clube. E isso foi muito difícil. Foi muito difícil de se aceitar essa legitimidade, de construir consensos. E nós aprendemos muito com isso também. Quando estamos trabalhando na complexidade de projetos sociais, o início desses projetos, muitas vezes, pode ter embates e dificuldades de diferentes naturezas. No nosso caso, tivermos esses embates de busca de legitimidade, de busca de construir laços de confiança com essa comunidade, por conta de um clientelismo desta demarcação de território das lideranças que já estavam ali instaladas. Dado esse percurso e esses embates, o que nos ajudou muito foi pensar essa história e essa valorização da população local. Em um segundo momento, nós começamos a trabalhar muito no atendimento direto à população. Então, desenvolvemos projetos com projetos com famílias, que é o Ação Família que o Maurício depois vai contar a trajetória da construção de indicadores; e diferentes projetos com jovens e crianças, com esportes. E tudo isso sempre pensando em parceria com as organizações locais, com a população local, com as diferentes medicações. O que nos trouxe muita legitimidade nesse processo tão complexo e tão micro ao mesmo tempo foram alguns fatores. Como eu falei para vocês, a construção de vínculos de confiança. Como foram dados esses vínculos de confiança? Acho que muita escuta e muito respeito pelo fazer do outro. Eu acho que a gente realmente erramos, mas a gente tinha muito claro a importância dessa escuta e desse respeito para o outro. Então, a valorização das histórias locais. Um outro aspecto fundamental foi a questão da transparência, da prestação de contas e de ser uma instituição não partidária. Isso foi muito importante também para a gente conseguir uma legitimidade. E por que a transparência, a prestação de contas? De uma forma muito consistente, foi sendo mostrado que é possível ter alternativas de se desenvolver projetos e de você conseguir conquistas sociais para aquela região que não precisavam estar atreladas apenas a uma pessoa, a uma liderança, que acabava mandando e fazendo tudo do seu jeito e da sua forma. Muitas vezes, inclusive, conseguindo favores de vereadores e de assessores políticos. Tudo isso. Então, essa construção de legitimidade no território teve muito a ver com esse aspecto. Por exemplo, havia uma parceria com a prefeitura, onde nós tínhamos bolsas para jovens para um determinado projeto. E o que nós fizemos? Colocamos isso no mural do clube, fizemos todo um chamado para os jovens que queriam ser selecionados e tal. Enfim, fizemos todo um processo transparente, como se fosse um edital, das bolsas de estudo e da seleção das bolsas. Isso causou quase uma revolução no local, porque eles não estavam acostumados com isso. Eu estou dando um exemplo bem pequenininho, mas é isso que eu estou chamando de transparência e prestação de contas. A gente fazia reuniões, chamava os pais, chamava comunidade, fazia conselhos, comitês, para prestar contas dos projetos e tudo isso. Então, aprendemos muito nessa trajetória. A complexidade que é você atuar em um território e pensar a partir desse território. E outro ponto que também foi importante na construção da legitimidade foi o fato de nós não termos uma filiação política. A gente conversava e conversa com todos os partidos. E desde esse começo da atuação até hoje, nós temos uma posição política clara na região, ou seja, nós somos um parceiro que está junto e que articula muitas vezes os fóruns de demanda da população. Nós estamos juntos nas mediações, junto ao poder público, nas demandas por UBS e por escolas. Estamos sempre presentes nos fóruns contra a violência doméstica, fórum para essas demandas de educação e saúde... Ou seja, nós assumimos uma postura política, porém não partidária. Então, resumindo isso tudo, trabalhar com projetos sociais e querer que esses projetos sociais possam ter realmente um impacto no na nossa missão e nossos objetivos leva um tempo. É complexo. E eu acho que nós precisamos alcançar uma legitimidade com um protagonismo muito forte da população que está sendo beneficiária. Bom, depois dessa trajetória de 2006 até 2008, onde fomos construindo essa identidade e essa legitimação, nós começamos a buscar e pensar na institucionalização e consolidação das nossas ações no território, porque a nossa missão é estar neste local. Nós não estamos desenvolvendo um projetos que acaba e nós vamos embora. Nós assumimos a gestão do CDC Tide Setubal, que é esse CDC que está lá na região, e assumimos a gestão também do galpão da cultura e da cidadania, que é como uma parceria com uma instituição comunitária local. Então, nós temos uma gestão dos espaços locais e, portanto, a gente pode atuar em outras regiões. Mesmo assim, nós continuaremos atuando lá em São Miguel Paulista. Então, aí a necessidade de começar a institucionalizar mais os projetos para que eles pudessem ter não só uma maior visibilidade, mas uma institucionalidade na região. Depois, o Maurício falar um pouco mais sobre isso. Esses programas se transformaram em núcleos, porque são irradiadores de conhecimento, de práticas e de referências nas regiões. Então, nós trabalhamos com diferentes núcleos e o Maurício vai falar um pouco mais disso. E com o que a gente se deparava? Bom, depois de três anos de atuação, nós tínhamos algumas avaliações feitas por grupos de fora, especialmente para o Programa Ação Família. Temos avaliações da população local sobre os projetos. Mas quais impactos mesmo nós estávamos conseguindo alcançar? Quais os resultados, de uma forma mais consistente, nós estávamos alcançando? Isso nos angustiava bastante também. A gente não sabia o que significava aquela situação, qual era o sentido daquilo. Claro, a gente sabia que tinha construído legitimidade, havia um longo caminho que era reconhecido.. Enfim, hoje em dia, a Fundação está em todos os fóruns lá na Zona Leste. Tem parcerias, é reconhecida, é convidada para as festas... A gente sabe disso tudo. As pessoas, em geral, avaliam muito bem, nós temos parceiros os mais diferentes possíveis. Mas qual resultado mesmo que a gente poderia atribuir aos nossos projetos? E aí foi uma longa jornada. O fato de o nosso foco ser o território e de que nós queríamos ter uma visão sistêmica, sem atuar com projetos divididos por educação, saúde e tal, tudo isso dificultava mais ainda a gente pensar qual era o nosso foco, quais eram os resultados. É uma potência atuar de uma forma sistêmica, dado a complexidade dos projetos sociais. Mas, ao mesmo tempo, isso fazia com que nós nos perdemos de pensar qual era o foco mesmo de cada projeto e o que estávamos querendo como resultado. Pensar de uma forma qualitativa é importantíssimo, mas também ajuda a perder essa noção do todo. Todas essas questões fizeram com que a gente tivesse idas e vindas. Quando o professor Paulo falou, nós nos reconhecemos completamente em momentos do Ação Família, em que o técnico ficava mais tempo preenchendo planilhas ao invés de usar essas planilhas depois para interferir no projeto. Então, a gente passou por diferentes fases. A nossa ideia aqui hoje é relatar um pouco as nossas angústias, as dificuldades e a complexidade que é essa atuação no território e a necessidade de se ter uma clareza, um foco nos resultados. Então, o Maurício agora vai entrar mais detalhadamente no Ação Família.

Áudio Palestrante 3: Boa tarde! O que eu vou falar aqui é o trabalho que envolve muita gente. Então, a mim, cabe mais fazer a síntese e a apresentação do que qualquer outra coisa. Depois dessa trajetória toda que a Maria Alice falou, surgiu uma necessidade de produzir uma espécie de descolamento da ação cotidiana e de problematiza-la, ou seja, de construir um discurso de compreensão e de avaliação da própria ação. Foi aí que se colocou a necessidade, na história da Fundação, de se trabalhar com indicadores. É que eu vou falar a partir de agora. A primeira etapa desse processo foi a reorganização dos núcleos. Então, brevemente, o que é que estava em jogo? Primeiro, identificou-se a necessidade de estreitar as relações entre os núcleos e, de maneira planejada, buscar resultados comuns que expressassem a atuação da Fundação no território. Essa era uma questão. Segundo, constatou-se que cada núcleo trabalhava, na prática, com mais de um objetivo e nem sempre esses objetivos eram claramente definidos e relacionados. E isso era fruto de um momento positivo. Não era algo negativo, porque o momento inicial de construção da ação foi um momento em que a Fundação se permitiu experimentar. Aqui era o momento de partir desse momento da experimentação para a reorganização da sua ação. Outra coisa, nem sempre havia uma distinção clara entre os objetivos gerais, os resultados e as atividades realizadas. Na prática, nem sempre essas dimensões eram totalmente bem distinguidas. E, no final das contas, isso acabava gerando uma dificuldade de construir discursos sintéticos sobre os objetivos e as ações, apesar de se reconhecer que as ações eram extremamente ricas e com resultados muito significativos. Mais aí, como reconstruí-las e reorganizá-las para que elas pudessem ganhar escala e potência? Os núcleos eram: Mundo Jovem, que trabalha com a juventude; o Ação Família, que trabalha diretamente com famílias; o Arte Cultura Ação, que trabalha com práticas culturais; o de gestão de espaços, que promove atividades culturais esportivas; e o núcleo de comunicação comunitária. É isso. Bom, então quais foram os passos realizados? Em um primeiro momento, a construção do objetivo geral de cada núcleo e a construção, a partir daí, a condição de perguntas de avaliação. Em suma, “o que é importante conhecer para poder se avaliar a realização dos objetivos de cada núcleo?“. É se colocar esse exercício duro de construção de problematização, de construção do problema sobre o qual o núcleo trabalhava e de quais eram os seus horizontes de transformação. A partir daí, é que se começou a pensar em indicadores, com base nas perguntas de avaliação. E o resultado é interessante. Em um primeiro momento, os objetivos então estavam bem definidos. E, em um segundo momento, levantaram-se 230 indicadores! (risos). Algo de uma simplicidade atroz! Bom, com um esforço hercúleo, sintetizamos para 160 indicadores. Nesse processo de construção de síntese, a gente começou a perceber o que estava em jogo. Havia um monte de coisas que a gente queria saber sobre o perfil do público, processos e resultados. E que tinham várias coisas em comum. Daí, conseguimos chegar a 10 dimensões. Tudo isso ainda expressa excesso, mas vai mostrando para a gente a dificuldade que é de você sair da intervenção, da prática, dos problemas do dia-a-dia para a construção de um discurso sintético e revelador da prática que permite o monitoramento e o planejamento organizado. A partir desse momento, a gente começou a pensar na construção de instrumentos que pudessem falar tanto do perfil do público atendido, dos processos e dos resultados. Do que eu vou falar em diante, interessa para a gente essa ficha básica aqui, que vai falar tanto de perfil como de resultados. A gente levantou uma série de perguntas propositadamente que vem de questionários que fornecem dados para indicadores oficiais, como Fundação SEADE, IBGE, MDS, para permitir que a gente pudesse comparar a nossa ação com outros grupos populacionais e com outros estudos que se faz.

Áudio Palestrante 2: Só quero fazer um comentário que acho que é importante. Todo esse processo foi feito junto com os técnicos de cada núcleo. Eles participaram ativamente. E junto deles, estava a Martina, que foi a consultora do Instituto Fonte e que foi trabalhando ao longo disso. Então, não foi um processo construído pelo Maurício ou pela Paula Galliano, que é a responsável por eu estar aqui hoje. Foi um processo bastante interativo e longo. Começamos com 230 indicadores e isso foi indo. Acho que é isso que está dando a consistência e que vai fazer com que esses indicadores fiquem de pé e apropriados por cada equipe dos núcleos.

Áudio Palestrante 3: É isso. Ele tem que ser vivo, ser útil. O esforço hercúleo que eu falei lá atrás, em boa medida, é da Martina. Bom, aqui eu tenho a análise que se fez daquele processo. Primeiro, ele permitiu intencionalidades mais claras. Isso foi um ganho. Só do percurso de se pensar sobre a prática e fazer esse desenho mais geral dos indicadores, da construção do problema e dos objetivos. Além disso, foram reforçados os valores institucionais, as interfaces entre os núcleos foram explicitadas, os compromissos amadurecidos. Enfim, foi um processo de institucionalização, que a Maria Alice falou.

Áudio Palestrante 2: Isso parece uma questão pequena também, mas os próprios coordenadores brincavam que não sabiam explicar nem para a mãe o que eles faziam. E é verdade, porque era tão complexo, tão sistêmico, tão interdisciplinar, que ficava difícil. Tinha que ficar falando por dez minutos para explicar o que eram os objetivos. Tudo isso tornou mais claro para cada um de nós e para cada um da equipe o que era o foco principal de atuação daqueles projetos.

Áudio Palestrante 3: Bom, agora eu vou falar da Etapa 3, que foi o Núcleo Ação Família. A gente sai desse momento da Fundação e entra em um núcleo. Quase tudo que está aí é o que a gente desenhou para decidir depois o que a gente não iria fazer. É verdade, não é força de expressão. A gente desenhou o que seria uma grande estrutura de produção de informação, a partir do Ação Família, que tem três grandes dimensões. A primeira delas é a dimensão de atendimento às famílias, depois o da sistematização de metodologia e depois de incidência sobre o debate público e sobre políticas. Nesse momento, a gente não estava trabalhando na construção organizada das informações sobre essa segunda e terceira dimensões. Ficamos aqui no atendimento às famílias. Então, pensamos no monitoramento para servir de apoio à gestão, tanto da coordenação do núcleo como no nível da Fundação, e na avaliação de resultados e impactos, preferencialmente de modo longitudinal, que também não está na nossa agenda imediata de trabalho agora. Ficamos, então, aqui no monitoramento. Daí, distinguimos três dimensões. Primeiro, a rede de serviços, que é a provedora de direitos sociais no território. Segundo, a oferta de serviços do próprio núcleo Ação Família (NAF). E ficamos aqui, no terceiro item, que é o atendimento direto às famílias. De fato, isso é um grande desenho para poder situar o que a gente vai monitorar. No monitoramento das famílias, o ciclo de atendimento do programa é um ciclo de 24 meses e as famílias entram praticamente em fluxo contínuo. Então, a ideia é permitir o monitoramento que não seja apenas uma fotografia em um dado momento, mas que possa a ser uma espécie de sismógrafo, retomando a fala do professor Jannuzzi. Nessa tela, estão organizados aqui alguns níveis do que poderia ser o objeto de monitoramento. Primeiro, o perfil da família. A ideia é fazer um perfil da família quanto à vulnerabilidade social, de onde saem algumas metas de atendimento. E, no décimo segundo mês, essa família voltaria a ter uma atualização do perfil e uma avaliação do cumprimento das metas para produção de novas metas que seriam verificadas ao final do vigésimo quarto mês. A participação comunitária em fóruns é outro objeto de atendimento das famílias e deve ser de monitoramento. Outras dimensões de monitoramento seriam: a participação das famílias nas atividades constantes do Núcleo Ação Família; o acesso a serviços disponíveis e ofertados tanto pelo mercado, sociedade civil ou estado; a evasão, tanto no tempo que essa família ficou no programa e nos motivos da evasão. Nesse caso, leva-se em conta que se possa ter uma evasão por motivos positivos, como por exemplo, os chefes do domicílio encontraram um emprego muito bom; ou então, por motivos que são por fora da governabilidade da Fundação ou das famílias, como por exemplo, mudança de região. E, por fim, uma outra dimensão que está nos objetivos do programa, mas que é dificílima de se construir instrumentos, que é o desenvolvimento de conhecimentos e habilidades que permitam às famílias buscar maior autonomia no acesso a bens e serviços que promovam o bem-estar e o desenvolvimento. Bom, ficamos então apenas nessa dimensão do perfil das famílias. A partir daí, a gente tinha então uma ficha básica que nos fornece uma série de dados muito ricos. Mas, aí nos deparamos com o retorno renovado de um problema crônico, não da Fundação, mas um problema difícil de ser lidado. Precisamos de um indicador de perfil das famílias que sirva para a produção de metas de atendimento e para monitoramento das ações. Temos uma facilidade para coletar dados primários com qualidade, acesso direto às famílias, mas transformar os dados em informações que tenham sentido e que respondam às perguntas da Fundação é um desafio. Portanto, algo que responda de fato as necessidades de ação e de intervenção. E que, portanto, por consequência, seja parte viva da atuação da Fundação e não alguma coisa que incorra nos riscos que o professor apontou, como o da irrelevância. A primeira opção de construção do indicador, que foi descartada, é a produção de um perfil das famílias que dialogasse com indicadores tradicionalmente utilizados, como posição social, medidas de vulnerabilidade ou a pobreza. Inicialmente, pensamos em dimensões como o histórico de migração das famílias, composição domiciliar e familiar, habitação, trabalho e renda, saúde e educação. Cada dimensão teria alguns indicadores de base, que produziriam um nível de síntese. Isso permitiria a gente fazer cruzamentos com várias outras pesquisas e estabelecer uma série de diálogos interessantes do ponto de vista da compreensão daquele conjunto de famílias. Mas, qual seria um dos problemas que a gente identificou e que foi o bastante para a gente buscar uma alternativa? A gente teria um banco de dados com qualidade, poderíamos comparar tudo isso, mas esse indicador envolveria uma série de características das famílias que não podiam ser transformadas diretamente pela Fundação. Portanto, não serviria para o monitoramento.

Áudio Palestrante 2: Maurício, desculpe. Uma das primeiras construções de um banco de dados que nós fizemos estava muito focada nesse tipo de indicador. Nós usamos o cadastro da prefeitura, porque esse programa inicialmente era uma parceria com a Prefeitura da cidade de São Paulo, que tinha esse Programa Ação Família. Então, um dos núcleos do programa era o nosso núcleo aqui. Então, nós usamos aquele cadastro. É interessantíssimo, principalmente para pesquisadores. Eu adoro. Tenho sempre o olhar da pesquisa. Sou socióloga. Eu achava super interessante, mas eu ficava com a coordenadora porque não se usavam aqueles dados. E os técnicos ficaram desesperados, porque eles ficavam preenchendo planilhas e planilhas que não faziam o menor sentido para eles. Só fazia para mim. (risos). Porque não havia sentido mesmo.

Áudio Apresentador 3: Então, como produzir o indicador que tenha sentido para o monitoramento das ações do Ação Família? A saída dada está nos parecendo bastante promissora. O princípio é o registro da presença ou da ausência de problemas, de questões a serem trabalhadas, que são ou podem ser objeto de atuação do Núcleo Ação Família. Ele vai ser dicotômico, vai dizer tem ou não tem. Vai ser simples, vai ser um tanto quanto tosco. Mas, por quê? Ele só vai sinalizar, apontar, dizer onde se concentram alguns problemas e onde se concentram outros. É como se fosse um termômetro. A ideia é que a sutileza da compreensão mais rica da família ou do problema possa vir depois. O papel do indicador que a gente está pensando é desse primeiro sinalizador.

Áudio Palestrante 2: Com isso, fica muito mais claro o que a gente pode esperar daquela família, porque vai se combinar de forma consensuada com ela. Então, a própria família e nós também entendemos muito melhor o que estamos fazendo e o que será avaliado.

Áudio Palestrante 3: Há quatro dimensões que são objeto de monitoramento. São as quatro dimensões de atuação do núcleo: Saúde, Educação, Habitabilidade e Vínculos Vicinais, Trabalho e Renda. Cada uma dessas dimensão é formada por indicadores que acusam a presença ou ausência de problemas, que são revelados por componentes vindos das ficha básica, que foi aquele grande cadastro que reuniu os dados da família. Então, vou dar um exemplo, que é o da dimensão Saúde, só para explicitar a lógica mais do que o indicador em si. Deixando bem claro, que a gente está falando de algo em construção e não de algo acabado. Então, ainda se põem questões sobre isso. Então, na dimensão Saúde, existem cinco indicadores de base, que vão acusar: algum problema com menores de dois anos, algum problema com mulheres adultas, algum problema com a saúde de adultos ou idoso, se alguém que não vai ao dentista há mais de um ano porque há uma oferta de serviço odontológico; e pessoa com deficiência sem acompanhante ou com companhia apenas de um familiar. Bom, aqui são algumas dimensões do âmbito da saúde, que são objeto ou podem ser objeto de intervenção do Ação Família. Daí pegamos, por exemplo, no indicador “algum problema com mulheres adultas”, se há ausência de exame de mama em mulheres com mais de 40 anos em um período determinado. Ou mulheres entre 25 e 64 anos sem a realização anual do exame Papanicolau. Ou então, no indicador ” algum problema com menores de dois anos”, por exemplo, crianças menores de um ano sem acompanhamento mensal em uma UBS. Enfim, a ideia é identificar algumas questões estratégicas para a intervenção do Núcleo e que o indicador revele a ausência ou a presença daquele problema. Ele, em si, é simples. Ele espera a sinalização do problema ou a melhoria e ele não exclui a atuação da equipe depois. Por fim, vamos falar dos próximos passos. Vamos produzir um indicador para cada dimensão; vamos padronizá-los em cada dimensão de maneira que possam ser comparáveis e que possam seguir uma mesma escala de variação; produzir um indicador sintético consistente; produzir perfis das famílias; analisar esses indicadores a partir da pergunta: “eles revelam o que precisamos que seja revelado?”; usá-los efetivamente como instrumento de monitoramento; e, por fim, tentar monitorar as outras dimensões que foram apontadas anteriormente. A ideia de pensar em um perfil das famílias com variáveis mais ligadas à estrutura macro sociais, que estão mais fora do nosso alcance direto, não está descartada. A ideia de se produzir perfis das famílias, que permitam análises comparativas entre elas e outros grupos e que podem ser objeto de outros estudos, não é algo descartado. Mas a gente identificou que não seria um bom instrumento de monitoramento. E, por fim, reconhecemos que esse nível de diálogo com o perfil macro das famílias ampliará a capacidade de diálogo da Fundação com outras instituições do terceiro setor e com o próprio o poder público. Então, era isso. Reforçando que a gente está compartilhando com vocês um pouco da nossa oficina de trabalho. Esperamos ouvir comentários que possam ajudar a gente a melhorar ou corrigir eventuais erros do nosso percurso. Obrigado! (aplausos).

Áudio Apresentadora: Obrigado, Maria Alice! Obrigado, Maurício! Obrigada, gente! Até já!

54:57 ao Fim (Vinheta de Fechamento)

Imagem: Vinheta de fechamento. Sobre fundo branco, surge ao centro da tela a logomarca do Instituto Fonte. Essa logomarca se dissolve da tela, e aparece a logomarca da Fundação Itaú Social, também ao centro. A logomarca se dissolve e o fundo volta a ficar todo branco. Na sequência, aparece o seguinte texto escrito em texto, ao centro da tela: “A utilização de indicadores sociais na avaliação de iniciativas não governamentais. Ação Educativa, Junho de 2012”. Os textos se dissolvem e a tela fica toda branca novamente.