Ir para conteúdo

Blog

15 Perguntas que podem desafiar gestores na Avaliação de Projetos Sociais

28 de Agosto de 2015 • Fundação Itaú Social • 1 Comentários

Abaixo, clique e veja resposta para cada pergunta. No final, existe uma pergunta para você! 

 


1 - Qual o primeiro passo devo dar para realizar uma avaliação econômica do projeto que sou gestor?

Antes mesmo de pensar em contratar um avaliador externo ou então alocar alguém da equipe interna para cuidar da avaliação, qualifique a demanda. Para isso, questione-se: preciso mesmo de uma avaliação? Está na hora de avaliar o projeto? O que quero avaliar? Com base no que quero, a avaliação econômica é a melhor opção? Ela tem condições de responder ao que eu preciso? Depois, elabore um Termo de Referência ou Briefing para Contratação de Avaliação Econômica. Esse documento ajudará o avaliador a organizar as propostas de trabalho e poderá ser usado como a base para o planejamento das avaliações. Um bom briefing é detalhado e funciona como um contrato: esclarece as responsabilidades de todos os envolvidos no processo, apresenta as etapas da serem cumpridas, as condições combinadas e define o trabalho a ser realizado.

2 - A avaliação econômica poderá fornecer respostas sobre monitoramento e informações de processo?

Não. A avaliação econômica busca respostas sobre as transformações observadas nos públicos dos projetos, não de indicadores de desempenho. Por isso, é importante que você, gestor, e avaliador se dediquem a traduzir em indicadores de impacto que respondam aos resultados e aos propósitos do projeto em suas diferentes dimensões. Com base neles é possível ter evidências para saber se o projeto está ou não causando mudança em seus beneficiários.

3 - Por que é importante conhecer os conceitos básicos de avaliação econômica antes de iniciar um processo de avaliação?

Para passar a pensar a concepção de futuros projetos de forma que sejam avaliáveis. Com base nesses conhecimentos, você poderá estruturar um projeto com a avaliação pensada desde o início, preocupando-se, dentre outras coisas, com a coleta e organização dos dados dos grupos de tratamento e controle. É preciso ponderar algumas questões antes de encomendar uma avaliação: a relação custo-efetividade, a duração do programa a ser avaliado, os conteúdos, a estratégia de atuação, o tempo necessário para medir o impacto a partir do término do projeto, a adequação do público-alvo, dentre outros aspectos.

 

4 - Quais informações devo apresentar no Termo de Referência ou Briefing para Contratação de Avaliação Econômica?

Para organizar esse documento tão importante, que servirá de base para a avaliação a ser realizada, reúna informações para contemplar os seguintes itens:

- Descrição do serviço a ser prestado: tendo em vista que a demanda já está clara, especifique o tipo de avaliação que você deseja contratar (por exemplo, uma avaliação econômica) e pontue que o trabalho prestado deve incluir uma análise causal de impacto e estimativa de retorno econômico.
- Descrição do programa: apresente com clareza os objetivos, os indicadores de impacto relacionados aos objetivos do ponto de vista de organização, o público-alvo, o histórico do programa, a metodologia e as ações realizadas.
- Diagnóstico realizado no início do projeto.
- Critérios de seleção dos participantes para participação no programa.
- Histórico de outras avaliações realizadas, se houver.
- Impacto esperado em relação aos objetivos do projeto.
- Existência de banco de dados ou conhecimento dos dados existentes e da forma como estão armazenados.

Pesquise as informações necessárias com calma. Busque os dados que são realmente relevantes e cuide para que eles estejam organizados. Isso vai ajudá-lo a estruturar um contrato realista e gerir o processo de avaliação.

5 - Depois de montar o Termo de Referência ou Briefing para Contratação de Avaliação Econômica, posso contratar o avaliador?

Sim. Mas depois de fazê-lo, não vale simplesmente entregar o documento nas mãos da pessoa escolhida para que ela comece a trabalhar. Marque uma reunião, ou mais de uma, se necessário, para que você apresente os documentos sobre a ação a ser avaliada e para que os dois conversem sobre tudo o que está descrito no briefing. Para que o avaliador possa se apropriar dos valores organizacionais e as informações do projeto, agende também uma apresentação sobre o panorama geral da organização, qual o cenário em que ela atua e o que quer transformar. Disponibilize também diversos materiais institucionais, folders, publicações e site. Isso vai ajudar o avaliador a entender como é a sua atuação e seus valores. Com isso tudo em mãos ele poderá montar uma avaliação que respeite o jeito de pensar e de agir do programa. Durante esses encontros, não se esqueça de combinar o papel de cada um no processo de avaliação. Quais as suas responsabilidades como gestor? E as dele, como avaliador?

6 - Quais produtos o avaliador deve entregar para mim, gestor que o contratou?

Cada processo de avaliação pode contar com produtos específicos. O formato e o conteúdo de cada um deles depende da necessidade da organização e do perfil de trabalho do avaliador. Por exemplo:

-Desenho de avaliação: é um documento simples e objetivo, que apresenta a organização e o projeto, os indicadores, a metodologia e o cronograma de trabalho.
-Sumário executivo: é um resumo dos principais pontos do relatório final. É importante que seja um documento de fácil leitura, com a descrição do tema avaliado e o porquê da avaliação, contexto do questionário, público-alvo, metodologia com fonte de dados, conclusão e recomendações.
-Relatório de avaliação: é um produto mais extenso se comparado ao sumário e incorpora todas as informações, como as informações do programa, o campo de pesquisa, a metodologia, os resultados, os cenários e os retornos, além de considerações finais. Pelo fato de ser um documento extenso, combine com o avaliador quais são as informações mais relevantes para fazer parte desse material.
-Relatório de aprendizagens: é um documento que reúne as principais dificuldades e aprendizados com a avaliação de modo estruturados, sugestivamente, com o planejamento, definição estratégica, coleta e análise de dados, impacto e retorno econômico, e resultados.

 

7 - Além de mim, gestor do projeto, e do avaliador, quem mais devo envolver no processo de avaliação?

Mapear todos os interessados no projeto e pensar em papéis para cada um deles pode ajudar bastante na condução de um processo avaliativo. Esses papéis podem variar de acordo com as etapas da avaliação. Em geral, o avaliador e o gestor têm um papel mais fixo durante do início ao fim. Mas é importante estabelecer as atribuições de cada um. Algumas ideias para delimitar as responsabilidades dos participantes:

- R (Responsável /Responsible): quem executa a atividade ou o processo em uma organização.
- A (Acompanha /Accountable): a única pessoa que responde pela atividade ou pelo processo e que será cobrado pelo bom andamento.
- C (Consultado/Consulted): quem será consultado para dar dicas e opiniões sobre a atividade ou processo e fazer ajustes.
- I (Informado /Informed): quem será informado sobre alguma coisa feita na atividade ou no processo, como uma mudança, retirada de função ou qualquer coisa do gênero.
Pense nos parceiros do seu projeto. Muitos podem apoiar a avaliação e serem envolvidos mesmo sem ter uma tarefa a cumprir.

8 - Qual autonomia o avaliador pode ter durante o processo de avaliação?

Sendo o responsável pela entrega da avaliação, ele tem condições de contribuir com soluções para os problemas que surgirem e fazer os encaminhamentos necessários. Por isso, é preciso existir um combinado entre você, gestor, e ele, sobre as instâncias de decisão, o que ele pode decidir por conta própria e o que precisa ser validado com você.

9 - Quais tarefas eu, gestor do projeto, tenho de cumprir durante o processo de avaliação?

É importante que você esteja comprometido com a entrega da avaliação e apoie o avaliador na realização do trabalho. É seu papel fazer a intermediação do avaliador com as equipes técnicas que atuam no projeto a ser avaliado. Em algumas situações, você pode identificar outras pessoas indiretamente relacionadas ao projeto e que podem apoiar a avaliação, fornecendo informações importantes, opiniões, dados, ou indicando soluções quando surgirem os problemas. Coloque na sua agenda a tarefa de identificar pessoas e organizações que podem apoiar a avaliação do projeto ou ter influência nela e planeje a comunicação com cada uma delas. Por exemplo: a equipe envolvida (interna ou externa à organização), possíveis parceiros, financiadores, beneficiários, comitês e organizações públicas e privadas podem chamados para contribuir conceitualmente com avaliação ou apresentar informações relevantes.

10 - É importante formar uma equipe multidisciplinar de acompanhamento da avaliação?

Sim. Os membros desse grupo não só ajudam na condução operacional. Eles são fundamentais para fornecer ao avaliador informações detalhadas e responder pelas informações do projeto. Afinal, na maioria dos casos, ele não conhece o projeto. As pessoas selecionadas podem participar da construção e validação dos indicadores, identificação do grupo de tratamento e controle, planejamento da coleta de dados, elaboração dos instrumentos para coleta de dados e acesso a banco de dados.

 

11 - Quem deve se dedicar a pensar nas perguntas da avaliação? O que considerar para essa tarefa?

Em parceria com o avaliador, você, gestor, e a equipe que acompanha a avaliação, devem se envolver na busca das perguntas que avaliação deverá responder. Essa é uma tarefa que quem vivencia o projeto tem melhores condições de realizar. Conversar com as equipes é essencial. Revisitar os objetivos do projeto e investigar a forma como ele acontece na prática também pode ajudar a encontrar boas perguntas. Mapeie também as principais ações propostas pelo projeto. Isso tudo ajuda a pensar nas questões. Lembre-se de que as perguntas de avaliação são subsídios para a futura definição dos indicadores.

12 - Com base em que deve ser feita a seleção de indicadores para a avaliação?

Na apresentação dos objetivos e na atuação do projeto feita por você, gestor. O avaliador é o ator responsável por compreender esses objetivos e traduzi-los em indicadores que representem o impacto potencial gerado pelo projeto. Ele ainda tem de buscar referências de outros estudos da mesma área temática e com dimensões próximas da realidade do projeto para que o gestor possa se apropriar desse conhecimento e participar das escolhas de modo compartilhado. É fundamental compreender que bons indicadores podem enriquecer a interpretação da realidade do projeto, contribuindo para o redesenho e aprimoramento da ação. Por isso, se dedicar à seleção deles não é perda de tempo, é investimento para uma boa avaliação.

13 - Como escolher o grupo controle?

Ele deve ser formado por aqueles que representam a situação de não tratamento, ou seja, um grupo semelhante ao de tratamento, mas que não tenha participado da iniciativa. Idealmente, caso tivéssemos, por exemplo, 1000 pessoas com as mesmas características e nas mesmas condições de participar de um determinado projeto, ou seja, elegíveis como público-alvo, e fizéssemos um sorteio, teríamos dois grupos de 500 pessoas com as mesmas características (mesma proporção de homens e mulheres, idade etc). Como em projetos sociais isso é bastante complexo, o avaliador precisará compor um grupo semelhante ao grupo que participa da ação. Como alternativa, a lista de espera de um determinado projeto pode servir como um bom grupo de controle dos projetos. É importante não dispensá-la. Há ainda outras possiblidades de compor o grupo controle. O avaliador pode fazer sugestões e o gestor do projeto precisa fornecer informações que tiver a respeito dos dois grupos para explicitar todas as características que os diferenciam. Isso é essencial para o avaliador possa pensar em como isolar essas características e tornar os dois grupos mais parecidos possível.

14 - Como fazer a escolha dos instrumentos de coleta de dados que serão aplicados na avaliação?

Você, gestor, e o avaliador devem dedicar tempo para pensar sobre como as questões serão inseridas no questionário e de que maneira serão elencadas as alternativas. Fique atento, porque, dependendo de como isso for feito, os resultados são influenciados. Sinta-se à vontade para pedir que o avaliador sugira instrumentos e analise, em parceria com você, a pertinência do uso do instrumento em relação ao que se pretende avaliar.

15 - Depois de pronto o desenho da avaliação, o que tenho de fazer, no papel de gestor?

É recomendado que você, gestor, e o avaliador apresentem-no à equipe de acompanhamento e até mesmo para todo o corpo diretivo da organização, outros gestores, equipes técnicas, parceiros, financiadores e órgãos públicos com os quais o projeto tenha relação, por exemplo, conselhos de políticas públicas e secretarias. Esse momento é propício para destacar a relevância e os objetivos da avaliação, por meio do detalhamento das informações contidas no desenho da avaliação e facilitar a intermediação de possíveis instituições e pessoas que, futuramente, podem vir a contribuir com o processo. Para organizar a apresentação, lembre-se de que aspectos técnicos até podem estar discriminados, mas precisam ser facilmente traduzidos para uma linguagem acessível a todos, porque os participantes precisam compreender o conteúdo e ter condições de sinalizar ao avaliador informações importantes para futuras estimações.

 

Veja também

8 Características importantes de um Sumário Executivo
Dicas para elaborar um termo de referência para contratação de uma avaliação econômica
Sete dicas para gerenciar avaliações

Deixe um comentário


Comentários (1)

Nome Sobrenome adriana costa16 de Maio de 2017

Bom dia preciso e ajuda pois minha filha foi aprovada para o grande festival de Joiville, ela e bailariana da academia Cenarte dimenões que fica em São Gonçalo RJ, e preciso de ajuda de patrocinio.

Deixe um comentário