Ir para conteúdo

Biblioteca

Avaliação de Projetos e Políticas Sociais

Aula sobre Avaliação de Projetos e Políticas Sociais ministrada por Luiz Scorzafave.



Avaliação de Projetos e Políticas Sociais - Parte 02

Programa de Qualificação Profissional (Liga Solidária)

Ir para a transcrição do vídeo

Transcrição

00:00 a 00:11 (Vinheta de abertura)

Imagem: Vinheta de abertura. Ilustração de um mapa múndi na cor azul clara ocupa toda a tela. A logomarca da Fundação Itaú Social aparece ao centro e alguns ícones na cor branca aparecem formando um círculo central ao redor da logomarca. A logomarca desaparece, dando lugar ao texto em azul escuro: “Curso Avançado de Avaliação de Políticas Públicas e Projetos Sociais”. Na sequência, os textos são substituídos por um retângulo grande azul escuro na parte central da tela. Dentro dele, está escrito: “Avaliação de Projetos e Políticas Sociais, Professor Luiz Guilherme Scorzafave, 12 de Janeiro”. Abaixo do retângulo, também em azul escuro, o texto “Programa de Qualificação Profissional (Liga Solidária): Descrição”.

Áudio: trilha moderna percussiva.

00:12 a 23:55 (Luiz Guilherme Scorzafave)

Imagem: Professor Luiz Guilherme Scorzafave, da Fundação Itaú Social, está à frente de uma sala de aula com um telão e lousa verde atrás dele. Ele está de pé e apresenta os conteúdos olhando para a turma.

Áudio Professor: Nessas três avaliações sobre as quais a gente vai conversar agora, essas etapas foram seguidas ou estão sendo seguidas. Então, teve a etapa 1 e 2 que foi responsabilidade da instituição de montar essa proposta de avaliação, de montar uma equipe de gestão. Submeteram para esses editais da Fundação e, aí, eu participei juntamente com outros colegas. No caso aqui, a Elaine também lá de Ribeirão. E a gente fez todo esse processo, de ir conversando com a instituição e realizando a avaliação do começo ao fim. Então, resumidamente, o que eu queria que vocês retesem dessa primeira parte? Sentar lá na frente do computador e rodar um modelo é uma parte pequena do processo de avaliação. Claro que é super importante, é o coração, o resultado principal que se vai fornecer! Mas, para se conseguir chegar nesse ponto, de estar ali com os dados e fazer... tem muita água para rolar debaixo da ponte. Então, é isso que eu vou tentar mostrar para vocês, através desses exemplos! O primeiro que a gente vai falar é essa avaliação do programa de qualificação profissional de uma ONG chamada “Liga Solidária”. Eu vou fazer esse exercício com vocês de se mergulhar um pouco na instituição, para vocês tentarem entender o que é o projeto e o que eles fazem. Então, vou apresentar um pouco o que é a instituição e o programa que a gente vai avaliar, o “Qualificação Profissional”. Vou apresentar para vocês qual foi o desenho de avaliação que a gente está colocando para eles. E se está avaliando questões de empregabilidade, escolaridade e habilidades sócio emocionais. Depois a gente vai falar um pouco de sorteio, porque é um caso que a gente está fazendo uma avaliação com aleatorização. Então, o que é a “Liga Solidária”? A “Liga Solidária” é uma instituição bem antiga, tem quase 100 anos. É aqui da cidade de São Paulo. Ela era conhecida como “Liga das Senhoras Católicas”. É uma a organização social, sem fins lucrativos e tem uma série de programas que beneficiam mais de 3200 pessoas. Então, quando sem fala em avaliação, normalmente as pessoas falam: “eu atendo 200 pessoas, 300 pessoas”. Tem-se ainda a visão de que isso é a avaliação, mas é uma ideia de abrangência da atuação da instituição. O foco deles é educação para a construção da verdadeira cidadania. Esse é um desafio que a gente sempre tem com as instituições, porque normalmente o foco e os objetivos são mais genéricos. A gente tem que tentar traduzir isso aí para uma coisa mais concreta. Que projetos que eles têm? Têm projetos de abrigo solidários, que são abrigos para a população de rua; têm creches e centros de educação infantil; têm esse programa aqui que é para crianças e adolescentes no contraturno; têm o programa de qualificação profissional, que a gente vai falar um pouco mais sobre ele; têm esse “Programa Religar”, que é de atendimento psicossocial, pessoas que têm problema de álcool, drogas etc; e esse programa de educação sexual. Têm outras coisas, também. A gente fez até uma oficina com eles, no mês de julho, para falar um pouco de avaliação para praticamente toda a equipe da Liga. E assim, uma estrutura super grande com um monte de projetos diferentes. E a equipe de avaliação lá ficou meio desesperada, porque depois que a gente fez a oficina, todo mundo queria que o seu projeto fosse avaliado. E a gente só tinha avaliado o do QP (Qualificação Profissional). Então, estava-se até montando uma estratégia para poder avaliar algumas das outras iniciativas que eles possuem e que existem dados. Enfim, é uma instituição com uma atuação bastante abrangente, espalhada em vários prédios aqui dentro da cidade de São Paulo. Mas a gente vai trabalhar especificamente no ‘Qualificação Profissional’ aqui, que eu vou explicar como funciona. Ele é um programa que existe desde 1992. Então, também é um programa relativamente antigo. A ideia é a capacitação técnica, através de cursos de habilidades específicas para adolescentes e jovens, mas também abrem para pessoas de mais idade. Tem até pessoas de 40 e poucos anos fazendo os cursos. Os cursos são nessas quatro áreas: assistente administrativo, pessoal para trabalhar em escritório; suporte técnico de informática, mais a parte de hardware mesmo, de manutenção de informática; gastronomia, eles têm uma cozinha industrial lá bem; e um curso de cabeleireiro. Então, eles têm esses 4 cursos. O ‘Qualificação Profissional’ fica em uma avenida que sai da Rodovia Raposo Tavares, que já é um pouco mais na periferia da cidade. Então, é uma população mais carente que é atingida. É um curso de duração longa. Como é um curso de meio período, todos os dias, de segunda a sexta-feira, que vai de Fevereiro a Novembro. E tem férias no mês de Julho. Então, é como se fosse um curso de longa duração. E uma coisa legal que eles fazem são essas visitas a empresas. Por exemplo, eles têm parceria com pessoal do Soho, dos cabeleireiros. Então, por exemplo, vai ter uma feira de produtos de beleza, produtos de cabeleireiros. Aí eles conseguem algumas vagas para os alunos irem lá, conhecer e ter contato com o pessoal . Então, eles tentam estabelecer várias dessas parcerias para tentar melhorar a inserção do pessoal no mercado de trabalho. Então, além de toda essa parte de capacitação técnica, de ensinar um instrumental, uma ferramenta de trabalho para as pessoas, eles dão muita ênfase para essas atividades que eles chamam de formação humana, que corresponde, mais ou menos, a 20% do curso. O que é isso? São essas aulas que eles fazem oficinas, aulas teóricas, que tratam de questões de relacionamento, de convivência, de como se comportar na vida, no trabalho... como eu me porto diante de uma entrevista? Comportamento dentro de uma empresa... Como eu aprendo a trabalhar com as outras pessoas, saber ouvir o outro? Visivelmente, senso crítico, do espírito empreendedor, fortalecimento de vínculos familiares e sociais, cuidados com a saúde... Ou seja, é toda uma parte que não é diretamente ligada a ensinar a pessoa, por exemplo, a fazer pratos gostosos no curso de gastronomia! Mas que são super importantes no mercado de trabalho e na vida das pessoas. E quando você vai conversar com eles, eles dão bastante ênfase para essa questão da formação humana. Eles falam para a gente assim: “a gente vê a pessoa entrando de um jeito e saindo de outro”. Isso em um depoimento deles. Então, aparentemente se espera algum impacto nessas dimensões, na saída do projeto,

Áudio Ajudante: Oi, temos uma pergunta online da Lauren: “Professor, gostaria de saber como as instituições lidam com a propriedade das informações? Geralmente, as instituições retêm as informações ou permitem a publicação dos resultados da pesquisa?”

Áudio Professor: Bom, primeiro vou mandar um abraço saudoso para a Lauren! Porque faz um tempo que não a vejo. Isso depende de cada caso. Em geral, tem que ser conversado no começo. E a gente advoga pela publicidade dos resultados, independentemente do resultado ser positivo ou negativo. Por isso, que a gente chega no começo e fala: “vamos fazer uma avaliação”. E principalmente quando é uma avaliação feita na esfera governamental. Essa é a ideia, que a gente combine, inclusive formalmente em contrato, da necessidade de se tornarem públicos os resultados da avaliação. Acho que é bem importante e a gente não pode se esquecer de falar disso. Às vezes, o que acontece? Só para complementar a resposta. Às vezes, podem chegar propostas de avaliação para você fazer que são a seguinte: “Luiz, eu quero que você faça a avaliação do projeto aqui, aqui e aqui. Só que, a gente só vai divulgar os resultados se forem positivos! Se não der nada, a gente não quer que divulgue”. Então, assim já é uma questão complicada. Por isso que é bem importante, desde o começo, você estar combinado e acertado com essa questão da divulgação. Nem sempre é fácil, nem sempre as instituições estão dispostas a isso. Na minha visão, é um pouco de falta de cultura de avaliação no Brasil. Porque o fato de você ter um resultado negativo ou sem impacto, as pessoas acham que aquilo vai ser o fim do mundo! Se eu estou em um governo, a oposição vai usar aquilo na campanha eleitoral, contra a situação... Acho que falta um amadurecimento maior nessa questão no Brasil. Bom, no caso aí do “Liga Solidária”, do QP, eles têm esse curso que vai de Fevereiro a Novembro. Aí tem uma formatura no final do ano. E a ideia é que depois as pessoas vão para o mercado de trabalho no ano seguinte. E aí, nesse primeiro semestre do ano seguinte, é feito um acompanhamento por uma pessoa lá do programa do QP, que vai manter esse contato com os jovens. Então, ela liga: “como você está? Já conseguiu emprego ou não? Está ok ou não?”. Vai fazendo indicações, vai acompanhando essas indicações das empresas parceiras justamente para tentar aumentar a empregabilidade. Então, na nossa conversa, a gente entende que esse período também é parte do tratamento. O tratamento deles não é simplesmente dar o curso de formação humana, as capacitações técnicas... mas também esse esforço de aumentar a empregabilidade. Então é isso que a gente vai estar avaliando como um todo. Se a gente quisesse, por exemplo, dar uma resposta para eles assim: “olha, eu quero saber o quanto que esse acompanhamento pós-curso é efetivo, relativamente à parte de formação técnica, relativamente à parte de formação humana, em termos de empregabilidade?”. Aí nós precisaríamos ter um desenho diferente do que eles fazem, porque aqui todo mundo recebe tudo. Aí, não tem como você separar para se ter diferentes grupos de tratamento e controle. Neste caso, o ideal seria que uma parte só recebesse a formação humana, outra parte só recebesse a empregabilidade, a parte técnica. E pensar algum desenho desse tipo onde se tivesse uma simetria dos tratamentos para que você pudesse avaliar o impacto separado de cada uma dessas atividades. Se fosse esse o caso, não é? Se você consegue planejar a avaliação antes da adoção do projeto, isso te dá muito mais possibilidades de análise do que quando você já está fazendo a avaliação, depois que o projeto já está rodando. Já aconteceu o projeto e eu tenho que avaliar. Aí, você não tem muita escapatória. Vai ter que pegar o que aconteceu e tentar montar uma estratégia de avaliação. Agora, se te chamam para fazer, por exemplo, um projeto a partir do próximo semestre. O que a gente vai querer avaliar? Vai se construindo essas perguntas, você consegue fazer um desenho da própria intervenção que te facilite responder àquelas perguntas. Mas isso é bem difícil de acontecer na prática. Pelo menos, por enquanto. Quais são os objetivos? Aqui a gente vai ver um pouco aquela questão que eu falei, um pouco mais geral, que é de proporcionar ao público atendido maiores chances de empregabilidade de forma a incrementar a renda das pessoas e facilitar a inserção dos seus beneficiários no mercado de trabalho. E eles dão bastante destaque quando você conversa com eles dessa questão de desenvolvimento do espírito empreendedor do jovem. Eles olham muito assim: um jovem lá da região do projeto. É um jovem que não tem aquela motivação para trabalhar em empresa, na visão deles. Então, eles querem muito despertar que existem alternativas de mercado de trabalho que não seja exclusivamente se trabalhar como empregado, com carteira assinada. E eles também têm esse trabalho de fortalecimento de vínculos familiares e sociais com jovens atendido, que a gente já comentou um pouco nas atividades que eles fazem. Mas eles acham que isso também é bastante importante. Nas visitas que a gente fez lá no projeto, eu acompanhei algumas aulas e a movimentação dos jovens na entrada, saída e no período de intervalo. E, apesar de estar em uma região carente, percebe-se um ambiente muito agradável, muito tranquilo. Não tem bagunça nenhuma. É muito interessante como eles conseguem trabalhar essa questão dos vínculos. É uma questão de respeito dos professores com os alunos. Muito diferente do que se você pegar esses mesmos jovens, dessa faixa etária, em um ensino médio público da mesma região. Você vai ter um ambiente muito mais de ânimo, de um clima escolar muito mais acirrado do que a gente percebeu aqui nesses dias em que a gente foi visitar. Então, a gente realmente percebe que é um lugar gostoso de se estar ali. O público-alvo deles é esse aqui: pessoas com 15 ou mais anos de idade, em situação de vulnerabilidade social. E como é que funciona a seleção? Esse é um ponto importante porque sempre que a gente vai falar de avaliação de projetos. Vocês já devem ter percebido das técnicas que vocês estão vendo, que o processo de seleção ou a maneira como é feita a seleção dos participantes é fundamental para saber o que se poderá usar ou não de ferramenta de avaliação. Se a seleção não for aleatória, já sabe-se que não pode fazer nenhum método experimental aleatorizado. Que é a grande maioria dos casos! Mas é importante se entender todo esse processo para se saber que elementos se pode utilizar para fazer uma boa avaliação. Então, a gente ficou lá com eles, tentando entender, naquela nossa reunião inicial, bem detalhadamente como funciona a seleção. Quando se está falando de um curso mais geral, é assim: “a gente abre um dia ou um período de inscrição, as pessoas se inscrevem”. A ONG, por algum critério, aprova a seleção dos participantes, que não é aleatória. Então, não se pode fazer aleatorização. Vou ver se eu vou fazer um match, uma “diferenças em diferenças”... e assim por diante. Aqui a gente vai tentar aprofundar isso! O importante é entender todo o processo de seleção. Então o que eles têm? O curso começa em Fevereiro do ano seguinte. Então, em Outubro, eles fazem uma divulgação nas escolas da região e fazem essa feira, que é tipo uma “feira de ciências” e que se chama “Expo QP”. O que é isso? Eles pegam os alunos que estão terminando o curso, eles vão nas escolas em uma determinada escola e fazem uma demonstração. Então, o pessoal que está fazendo curso de cabeleireiro vai lá e corta o cabelo do pessoal, faz uma tintura... Então, eles vão mostrando na prática o que eles aprenderam naquele ano. Faz divulgação por site, Facebook, boca-a-boca... Eles têm essa facilidade porque é uma instituição bastante grande, super conhecida na região, bem antiga. Em Novembro, abrem-se as inscrições nos cursos de interesse e tem uma ficha de inscrição com bastante informação socioeconômica. Então, é bem interessante e bem completinha a ficha de inscrição deles. E como é o processo de seleção em si? Quando a gente foi conversar lá, ficamos bem felizes. Por quê? Eles têm uns 800 inscritos mais ou menos. E tem uma equipe de 4 ou 5 pessoas que fazem o processo seletivo. Estas 4 ou 5 pessoas entrevistam cada um desses 800 jovens, durante três ou quatro dias. É uma maratona! Cada um entrevista mais ou menos 200, o que dá 50 por dia. Mas eles querem fazer isso para entender exatamente o interesse desse jovem em participar do programa, qual é o perfil dele, um pouco da história de vida dessa pessoa... Então, é uma coisa um pouco mais qualitativa, mas que pra eles é importante para dar informação. Para quem está fazendo a avaliação, aí se fala: “puxa, mas aí é uma amostra que já está enviesada, porque esse cara vai estar mais interessado ou está mais dentro de um perfil etc”. Isso é verdade. Então, eu vou mostrar como a gente tentou lidar com essa questão. Além de ser feita uma aplicação de uma provinha de Matemática, que não é uma prova eliminatória. É mais para se entender um pouco qual a bagagem que o aluno está vindo e da capacidade de leitura. São exercícios bem curtos, que são feitos, no nível de quinta ou sexta série. E também um pequeno questionário para captar situação de vulnerabilidade. Se tem alguém em casa que tem envolvimento com droga, com álcool... questões de insuficiência de renda... Enfim, várias coisas podem aparecer nesse questionário. E aí, uma vez feita toda essa aplicação do instrumento, eles fazem a seleção dos participantes do projeto e faz a divulgação dos resultados. Daí a matrícula é no mês de Dezembro, começando os cursos em Fevereiro. Em geral, como eles fazem essa seleção? Eles tentam pegar pessoas que eles avaliam que sejam entre as mais vulneráveis e que tenham interesse e vontade de participar. E, como eu falei, no questionário eles não usam como critério eliminatório. Se eles identificam que é uma pessoa que realmente precisa, que está a fim e tem muita dificuldade, eles vão tentar dar um direcionamento ou algum um reforço para que aquela pessoa possa acompanhar melhor o curso. Então, esse é mais ou menos como é o processo de seleção tradicional do Qualificação Profissional (QP). Aqui nesta tela a gente está olhando os números da edição do projeto de 2014. Então, são as pessoas que se inscreveram no final de 2013! De 850 inscritos, eles selecionam mais ou menos 240. Esse número de 240 é porque eles têm um convênio com a prefeitura, que repassa recursos por essas 240 vagas de cursos de formação profissional. Mas, sempre eles acabam chamando um pouquinho mais, porque tem as desistências, tem um pessoal que se matricula em Dezembro e não aparece em Fevereiro... Então, para não ficarem com uma ociosidade de vagas, eles sempre chamam um pouco mais de alunos. Os jovens recebem alimentação lá no dia. Lá tem curso de manhã, à tarde e à noite. Então, quem vai de manhã almoça; quem vai à tarde, janta; e quem vai à noite pode chegar e tem um comida à noite, que é muito boa! experimentei! O pessoal ficou brincando comigo. Eu cheguei e era o dia da feijoada. Toda vez que eu ia lá eu queria que tivesse feijoada! (risos). Eles não pagam bolsa de estudo. Também é um diferencial deles. E também não tem nenhuma ajuda com transporte, mas o pessoal em geral mora ali no entorno.

Áudio Aluno: Eu tenho uma dúvida. No processo de seleção, eles fazem uma entrevista com vários critérios sócio emocionais, pelo que eu percebi. Mas eles disseram se existem algo que falta quando se faz a entrevista com o candidato?

Áudio Professor: Eles têm um roteiro de entrevista. E cada pessoa entrevista alguns candidatos. Aí, depois eles se reúnem, vão conversando e definindo. Não é um instrumento objetivo, que eles aplicam e que, a partir daquele instrumento objetivo, eles selecionam. É muito mais uma coisa assim: “a gente olha todos esses resultados aqui mais qualitativos, de vulnerabilidade e de interesse”. Então, por exemplo, se o aluno tem envolvimento com droga, envolvimento com tráfico, eles não colocam para dentro do curso. Eles já tiveram vários problemas, porque às vezes colocavam para dentro e começavam a fazer tráfico de drogas lá dentro... Então, era uma complicação. Eles admitem que não tem como trabalhar essa questão ali dentro. E eles não pegam. Mas, é uma coisa assim caso a caso, entendeu? E é interessante, porque você vai conversando com eles e vai vendo que, às vezes, tem um cara que eles querem colocar, mas não tem mais vagas. Eles sofrem porque eles queriam colocar aquela pessoa á dentro. Eles mergulham no problema de cada um ali. Mas, é uma coisa mais geral. Aqui é um pouco do que é o projeto, como ele funciona... Resumindo, a gente tem a seleção no final do ano de 2013. Em 2014, foi feito o projeto em si, todas as atividades que eu falei e aquele acompanhamento que é feito pós-projeto. E aí também, no segundo semestre, ainda existe esse contato um pouco mais fluido, via reuniões para se saber como eles (alunos) estão. Então, às vezes eles fazem uma festa para juntar todo mundo. É uma coisa mais fluida. Já não é um acompanhamento tão de perto como é aqui no “Liga Solidária”. Então, a gente vai fazer a avaliação dessa edição do projeto, em termos de empregabilidade. Então, a gente vai pegar essa turma que passou em 2014 e ver o que aconteceu com empregabilidade dela. A gente acabou de ir campo, no final do ano passado, para saber agora, no final de 2015, qual a empregabilidade dessa turma que fez o curso em 2014. Então, um ano depois do projeto.

23:56 ao Fim (Cartela)

Imagem: Ilustração de um mapa múndi em tom azul claro ao fundo. E, em primeiro plano, duas imagens de capítulos posteriores a esta aula com o cabeçalho “Veja Também” em azul escuro. No rodapé, o texto: “Conheça mais em www.redeitausocialdeavaliacao.org.br”.

Áudio: Trilha moderna percussiva.