Ir para conteúdo

Biblioteca

Avaliação de Projetos e Políticas Sociais

Aula sobre Avaliação de Projetos e Políticas Sociais ministrada por Luiz Scorzafave.



Avaliação de Projetos e Políticas Sociais - Parte 03

Programa de Qualificação Profissional (Liga Solidária) - Metodologia

Ir para a transcrição do vídeo

Transcrição

00:00 a 00:11 (Vinheta de abertura)

Imagem: Vinheta de abertura. Ilustração de um mapa múndi na cor azul clara ocupa toda a tela. A logomarca da Fundação Itaú Social aparece ao centro e alguns ícones na cor branca aparecem formando um círculo central ao redor da logomarca. A logomarca desaparece, dando lugar ao texto em azul escuro: “Curso Avançado de Avaliação de Políticas Públicas e Projetos Sociais”. Na sequência, os textos são substituídos por um retângulo grande azul escuro na parte central da tela. Dentro dele, está escrito: “Avaliação de Projetos e Políticas Sociais, Professor Luiz Guilherme Scorzafave, 12 de Janeiro”. Abaixo do retângulo, também em azul escuro, o texto “Programa de Qualificação Profissional (Liga Solidária): Metodologia”.

Áudio: trilha moderna percussiva.

00:12 a 48:57 (Luiz Guilherme Scorzafave)

Imagem: Professor Luiz Guilherme Scorzafave, da Fundação Itaú Social, está à frente de uma sala de aula com um telão e lousa verde atrás dele. Ele está de pé e apresenta os conteúdos olhando para a turma.

Áudio Professor: A ideia do projeto é melhorar a inserção no mercado de trabalho e fortalecer vínculos familiares e sociais. Então, a gente propôs desenhos separados. A primeira coisa que a gente vai tentar olhar é empregabilidade e também um pouco de escolaridade. E qual é a ideia? Nas fichas de inscrição, já tinha alguma informação sobre isso: o nível de escolaridade das pessoas, se já trabalhavam ou não etc. Então, no nosso entendimento isso é suficiente para uma estimativa causal? É claro que a gente sabe que tem uma limitação, porque a gente não tem uma aleatorização aqui, por exemplo. Mas a gente tem uma quantidade de informação interessante para se fazer. E a gente precisava também trabalhar com aquele timing da avaliação! Eu não posso fazer assim: “eu cheguei lá para fazer o projeto e esperar um tempão para dar algum resultado para eles”. Eu precisava avaliar a turma de 2014! Porque a gente já está em 2016 e eu não entreguei o resultado final para eles ainda! Então, dava para esperar a turma de 2015... senão a coisa ia demorar muito! Agora, para sócio emocionais, além de a gente não ter nada muito concreto nessas informações iniciais, porque não tinham informações anteriores ao tratamento, a ideia é que a gente vá fazer uma proposta de avaliação diferente para essa dimensão, Eu vou adiantar para vocês: a gente está fazendo a avaliação do sócio emocional na turma que terminou o projeto agora em 2015. Então, empregabilidade na turma de 2014 e sócio emocional na turma de 2015. Vocês já vão entender também porque! Então, primeiro o impacto sobre empregabilidade e a escolaridade. No pessoal do projeto 2014, quem foi o grupo de controle que a gente escolheu? Como vocês viram que tinha 800 e tantos alunos e só 240 efetivamente fazendo, falei assim: “bom, se a gente tiver informação boa das fichas de inscrição desses caras que se inscreverem e não foram selecionados, a gente teria um primeiro grupo de controle que poderíamos estar considerando”. São os inscritos e não selecionados. Qual é a vantagem de se ter um grupo de controle de inscritos e não selecionados? São pessoas que demonstraram interesse, foram lá e se inscreveram. Então, nessa dimensão, eles estão mais parecidos com um grupo de tratamento. Em que eles podem ser diferentes do tratamento? Naquela questão de que, no próprio processo de seleção, a equipe da Liga foi selecionando: “esse cara aqui não está tão interessante assim!”. Tem muito caso assim, em que o pai que quer que o cara faça o curso. Então, eles vão contando esses casos e é interessante! Então, tem várias coisas acontecendo. Então, a gente sabe que existe uma limitação nesse grupo de controle. E tanto na avaliação como nos artigos que a gente faz, é muito importante se colocar a limitação. Você costuma dizer que não vai colocar essa limitação no seu artigo, mas o leitor ou parecerista vai ficar bem mais bravo de você não colocar do que você colocar a limitação. Então, isso é bem importante.

Áudio Aluno: Só um pergunta. Tem 800 inscritos e 240 vagas. São 4 cursos. Teve excesso de demanda nos 4 cursos?

Áudio Professor: Eu vou mostrar aqui os dados. Não, nem em todos os cursos e nem em todos os períodos. Porque tem período com mais demanda ou menos demanda. E cursos onde que se tem mais demanda ou menos demanda. E isso vai definir para a gente o que a gente vai conseguir avaliar separadamente e o que a gente vai ter que juntar para conseguir avaliar. Idealmente, o que eu gostaria de avaliar? Tem os quatro cursos nos três períodos, por exemplo. Então eu gostaria de fazer uma avaliação de parte separada para cada caso. Para ver se o curso funciona melhor à noite ou de manhã ou à tarde. Mas a gente não consegue fazer isso.

Áudio Aluno: Cada turma tem quantos alunos?

Áudio Professor: Mais ou menos, 20 e poucos. Também já vou mostrar o número aqui. O que a gente pensou aqui? A gente pediu o seguinte: em vez de pegar todas as que tinham sobrado, a gente usou aquela informação que eles tinham passado para a gente que eles ficam muito agoniados de não conseguir colocar as pessoas para dentro. “Tem gente que precisa, quero colocar, mas não tem vaga”. Então vamos fazer um exercício que você vão ficar felizes: “imagina que a gente tivesse dobrado o curso. Quem você colocaria para dentro?“. E aí, eles selecionaram para gente aquelas outras 240 pessoas, que eles gostariam e teriam chamado, caso tivessem mais 240 vagas. Então, a gente deu essa liberdade para eles porque eles é que fizeram o processo de seleção e o processo de entrevista. A gente acredita que esse grupo é mais parecido possível com o grupo que foi tratado. Não é exatamente o mesmo, porque não foram chamados, mas tem uma outra parte, uns 300 ou 400 caras, que eles realmente não tinham nada ver, não queriam e não chamariam mesmo. E daí, não me interessa também, como grupo de controle, esse cara. Então, a gente deixou muito na liberdade para eles. Explicamos qual era a ideia e eles separaram essa ficha para a gente. Foi um pouco assim: vamos mimetizar ou replicar novamente a seleção que vocês já fazem. Então, essa foi a estratégia que a gente usou pra lidar com essa questão de ter um pouco dessa diferença nos dois grupos. Então, vocês percebam que esse é um exemplo simples de como lidar com uma questão que a gente vê, às vezes, na teoria. Tem uma diferença entre grupo de controle devido a processos de seleção. Mas como se pode tentar minimizar ou lidar com essa questão na prática? Vai depender de cada caso. A ideia é passar um pouco esses insights para vocês pensarem um pouquinho hoje. oi

Áudio Aluno: Só uma pergunta. Antes de eles fazerem a seleção para o programa, vocês falaram para eles e eles fizeram toda aquela bateria de entrevistas durante 4 dias. Chamaram todos os meninos e tal. E, ao invés de eles selecionarem 240 pessoas, eles selecionaram 480?

Áudio Professor: Não, ao contrário. Quando a gente foi conversar com eles, essa edição de 2014 já estava acontecendo. Estava mais ou menos no meio de maio de 2014, quando a gente foi lá. Então, eles já tinham selecionado os 240 jovens. Só que tinha as outras fichas de inscrição lá. E cada um lembrava do jovem que tinham entrevistado.

Áudio Aluno: Isso foi quando?

Áudio Professor: Foi em Maio. A seleção tinha sido em Novembro. Seis meses depois. Lógico que não é perfeito! Não é na semana seguinte! Mas essa foi a ideia. Não é que foi antes do processo, entendeu? E aí, a gente pensou inicialmente na proposta desses indicadores de impacto. De empregabilidade, se a pessoa estava ocupada ou não. Se ela estava ocupada, se tinha carteira de trabalho ou não. E qual era o salário recebido por ela. Em termos de escolaridade, se ainda estava frequentando a escola. Se havia concluído o ensino médio. Se estava frequentando algum outro curso profissionalizante. E se tinha ingressado no ensino superior. O grosso dos jovens está nessa idade, de término no ensino médio, segundo ou terceiro ano do ensino médio. Então, a gente pensou, a princípio, nesses indicadores aqui. Aí, nós fomos apresentar a proposta de avaliação lá na Liga, conversar e explicar toda essa história. E aí, na conversa, surgiram outros indicadores que a gente não tinha pensado inicialmente e que para eles era importante saber. Por exemplo, se o cara está trabalhando em uma área que está relacionado ao curso. “Estou dando aqui o curso de gastronomia, mas todo mundo está trabalhando em outra ocupação que não tem nada a ver com gastronomia!”. Então, perceba que é uma coisa bem importante. Se tem rotatividade no emprego. “O pessoal está trabalhando, mas qual a qualidade dessa ocupação? Será que ele está trocando muito de emprego?”. Porque eles estavam preocupados com isso? Porque eles têm muito aquela questão de trabalhar a postura da pessoa dentro da empresa. Então, a pessoa sabe se portar, ela sabe conversar? Eles acreditam que, se eles conseguirem trabalhar bem essas questões com as pessoas, vai ter uma rotatividade menor dentro da empresa. Porque daí o cara trabalhou, ficou um mês e aí não deu certo. Daí, volta lá e fala que mandaram ele embora e se não conseguiriam uma outra colocação! E assim vai! Ele rodaria muito! Então, eles não gostariam de que as pessoas estivessem rodando tanto. A própria posição da ocupação, que a gente não tinha pensado também inicialmente. É uma coisa óbvia e que tem a ver com o que eles tentam trabalhar, que é o espírito empreendedor. Então, se vê quantos estão trabalhando por conta própria, desenvolvendo algum negócio... Então, separar conta própria, empregado e empregador. O empregador é a pessoa que tem um ofício e emprega alguém. Por exemplo, o dentista que tem uma secretária. Ele é um empregador. Um dentista que trabalha só ele, sozinho, é um conta própria. E empregado, o pessoal com carteira assinada. A gente pegou as classificações da PNAD. E se essa ocupação que ele está tendo era temporária ou se é um emprego não é temporário. Isso é importante, porque eles têm muita preocupação principalmente em época de eleição ou de Natal, que tem efeitos sazonais no emprego. Eles querem, idealmente, que o jovem tenha um emprego de melhor qualidade, uma ocupação mais definitiva. E em termos de escolaridade, capturar os anos de estudo completo, que a gente não tinha proposto. E também o número de vezes que ele repetiu de ano. Então, pode ser que o projeto fez com que ele tenha diminuído o número de vezes que ele repetiu de ano. Bom, então eles terminaram o curso em 2014 e a gente está fazendo a avaliação de impacto. A gente já sabe que a seleção não foi aleatória. A gente tem informações da ficha de inscrição. E a gente tem tentar dar uma resposta, em termos de impacto, em todas aquelas dimensões. Então, o que a gente bolou para conseguir fazer isso? A primeira coisa foi fazer uma pesquisa no final de 2014, ou seja, quando esses caras estavam terminando o curso, para atualização cadastral e monitoramento das atividades realizadas em 2014. Foi feito tanto para o tratamento, que estava na Liga, como para o controle, que eram esses outros 240 selecionados. Então, para o grupo de controle, a gente contratou uma empresa e foi feita uma atualização via pesquisa telefônica. O que a gente perguntou? “Olha, teus dados e endereço está tudo certinho?”. E já avisou: “daqui um ano, a gente vai entrar em contato de novo com você!”. Então, o cara já estava sabendo que o negócio ia acontecer. Aí, a gente também falou o seguinte: “olha, se você responder esse questionário agora e o do ano que vem, você vai concorrer a um tablet”. Então, foi uma ideia de aumentar a atratividade de o cara gastar um tempo em responder a gente. E para o grupo de tratamento, foi mais fácil. A gente foi lá na própria equipe do Qualificação Profissional e passou um questionário. Eles preencheram com atualização cadastral. E foi o mesmo questionário. O que tem de importante aqui? Principalmente para o grupo de controle? Aqui (tratamento), a gente estava lendo o efeito do curso de qualificação profissional. Agora, será que o grupo de controle ficou sem fazer nada por ele não foi inscrito no QP? Não, necessariamente. As pessoas vão fazer outras coisas da vida. Então, nessa pesquisa intermediária, a gente tentou capturar um pouco essa questão: o que esses caras fizeram? Ou mesmo quem fez o curso de qualificação profissional! Será que esse cara não fez alguma outra coisa, além desse curso? Então, isso é importante para se saber, porque na hora em que você fizer a avaliação de impacto, você quer isolar os efeitos. O que é o efeito o curso de qualificação profissional? Estou calculando o efeito do curso qualificação profissional relativamente a quê? De repente, chega-se a um resultado que não tem impacto o projeto, mas por que? Porque todo mundo que não fez o QP foi fazer um outro curso da ETEC, que tem lá perto, por exemplo, e que é um curso super legal também. E aí estão com empregabilidade igual, por exemplo! Quer dizer que o QP não impacta? Não é que não impacta. Mas tem um impacto semelhante ao do ETEC. Isso é bastante importante de ser considerado! É uma coisa específica de cursos de qualificação profissional! Independente do projeto que se for avaliar, tem sempre que pensar: o controle não fica parado sem fazer nada! Ele pode estar fazendo alguma outra coisa. Então, você tem que saber o que ele está fazendo enquanto o tratamento está recebendo tratamento. Isso é bem importante.

Áudio Aluna: Eu fiquei com uma dúvida. A ficha cadastral tenta pegar um pouco das características sócio emocionais da pessoa, não tenta?

Áudio Professor: É mais sócio econômico. Não é bem de sócio emocionais. Eles pegam mais de vulnerabilidades. Então, o cara conta a história dele: “meu pai teve envolvimento com droga, minha mãe não mora em casa, eu cuido dos meus irmãos menores...”. Ele vai contar a história dele.

Áudio Aluna: Outra dúvida. Se você coloca um tablet como incentivo para responder bem a atualização da ficha, isso não pode enviesar o resultado porque ele pode pensar que exista uma resposta certa? Do tipo, eu “vou falar que não, que tá tudo certo na família...”?

Áudio Professor: Ah, não! Aí não. Porque é na inscrição que ele preenche. Essa atualização é uma conferência de dados cadastrais e eu pergunto que atividades que ele fez: “você fez algum curso este ano? Você se está estudando? Você está trabalhando? São coisas assim.

Áudio Aluno: Foi no sentido de ele voltar a responder depois de um ano, não é? Mas este grupo não é só inscritos e não selecionados. Tem os outros que melhor representam os interesses, o controle né?

Áudio Professor: Não são todos os inscritos e não selecionados! É aquele grupo mais parecido possível com os que foram efetivamente selecionados.

Áudio Aluna: Teria alguma diferença também nos dados que você acaba recebendo? Porque, você falou que o pessoal que trabalha lá na organização são muito envolvidos com o projeto. Então, assim, não haveria uma diferença de comprometimento na forma que eles preenchem o formulário e fazem essa atualização cadastral? E na atualização que é feita pela empresa , com o grupo de controle? Teria uma diferença de dados ali que poderia influenciar nos resultados da avaliação?

Áudio Professor: Não sei se entendi. Porque, o que a equipe deles preenche é a ficha de inscrição e as entrevistas. Ponto!

Áudio Aluna: É que ali está dizendo que a atualização cadastral foi pela própria equipe do Qualificação Profissional!

Áudio Professor: Mas de quem estava fazendo o curso lá.

Áudio Aluna: Eles estão preenchendo o mesmo questionário. Só que eu estou aqui como uma pessoa que está super envolvida com o projeto. Então, talvez eu vou ser mais firme e cobrar uma resposta mais completa daquelas pessoas que estão ali do tratamento do que os funcionários da empresa que estão fazendo.

Áudio Professor: Pode acontecer. Pode acontecer.

Áudio Aluna: Se fosse talvez o pessoal do Qualificação Profissional, você iria querer detalhes sobre o que ele fez. Sendo que, talvez o pessoal da empresa, tendo um comprometimento menor com o projeto, ele iria aceitar qualquer coisa, do tipo: “Eu fiz o curso”. Mas qual o tipo de qualificação que ele fez?

Áudio Professor: Realmente, pode acontecer. O atrito, em termos de taxa de resposta, é sempre maior no controle. Vou isentar um pouco a empresa, porque, no geral, vai acontecer. Mas é um ponto de preocupação. Inclusive, teve uma das questões que a gente colocou nesse questionário e que envolvia outros cursos de qualificação. Quando a gente foi tabular os resultados dessa pesquisa intermediário, a gente achou muito estranho os resultados. Então, o que a gente faz? Agora que a gente voltou a campo, a gente reformulou a maneira como foi feita a pergunta para retomar essa informação sobre o ano de 2014, que a gente detectou que houve um problema de resposta no grupo de controle. Mas você tem total pertinência nessa preocupação. Acontece mesmo.

Áudio Aluno: Como as pessoas do grupo de tratamento e de controle são localizadas depois??

Áudio Professor: A gente tinha o cadastro delas, do final do ano 2014, que era basicamente endereço, telefone, email, Facebook, telefone de vizinho. São estes basicamente. O mesmo que a gente tinha. E aí, o tratamento, nessa pesquisa intermediária, eles estava terminando o curso. Então, a gente atualizou dados cadastrais. Mas, um ano depois, eles já não tinham mais aquele vínculo tão forte lá com o QP. Eles tinham aquele acompanhamento do primeiro semestre. Mas aí também já era uma coisa mais fluida. Quando chegou no campo, no final do ano passado, era muito mais fácil tentar entrar em contato com o QP e eles saberem de alguém que tinha feito curso lá e onde estava do que alguém que só tinha feito uma inscrição lá, dois anos antes.

Áudio Aluno: Talvez a pessoa no atrito de controle pode ter migrado porque arranjou emprego...

Áudio Professor: Pode. Pode acontecer. O que eles fazem normalmente quando não acham a pessoa? Vai no endereço da pessoa. Daí, bate no vizinho e pergunta: “você conhece essa tal pessoa? Ela morou aqui? Você sabe o que aconteceu? Sabe se ela mudou?”. Então, eles tentam capturar um pouco dessa dinâmica para você, eventualmente, olhar e ver se faz uma análise tirando esses caras ou colocando esses caras. E daí ver se dá grande diferenças. Porque são todas fontes de vieses. E aí, o que a gente gostaria é que, na prática, os nossos resultados não fossem dependentes de você mudar essas especificações por causa da seletividade.

Áudio Aluna: Vocês consideram que o processo de entrevista do grupo de controle pode ter um impacto? Por exemplo, isso está sendo feito só para avaliação. Às vezes, nos próximos anos, este contato não vá acontecer. Ou, em um ano, a gente vai ligara para perguntar o que vocês estão fazendo...

Áudio Professor: Não muito explicitamente. O que a gente percebeu dessas entrevistas com o controle é que essa coisa de a gente avisar e falar que iria sortear o tablet iria ser um incentivo maior. E as pessoas se sentirem mais animadas do que elas se sentiram na verdade. Deixa eu só adiantar a tela aqui, mas eu vou retomar a sua pergunta. Porque, antes dessa pesquisa agora no final do ano, a gente encheu o saco dos caras de novo! A gente foi em Agosto. Ou seja, seis meses depois a gente ligou de novo para eles. E aí não foi a empresa. Eu botei meus alunos lá. O pessoal queria trabalhar lá com a gente e daí a gente falou assim: “a primeira tarefa de vocês é na primeira semana de agosto. Se vocês fizerem isso aqui, é sinal que vocês são ponta firme!”. Então, a gente fez um protocolo de ligação para eles ligarem para todos, tanto do tratamento quando do controle, para novamente reforçar a atualização cadastral e esse contato. Não sei se eu respondi muito bem o que você estava me perguntando...

Áudio Aluna: Porque, às vezes, vai diminuir o impacto porque nos próximos anos vocês não vão fazer isso. Não vai rolar esse contato de novo. Então, às vezes, você não está pegando o impacto exatamente.

Áudio Professor: Pode ser que esteja acontecendo.

Áudio Aluno: Eu fiquei confuso com uma coisa. O grupo de controle não teve qualquer vínculo com o QP. Como é que a entrevista de atualização cadastral? “A gente é o QP e queremos atualizar o seu cadastro?”. Eu não consegui entender. Eu acharia estranho. “Por que vocês querem os dados se eu não faço parte da instituição de vocês?”

Áudio Professor: O que a gente fez? A gente falou primeiro que éramos da Liga Solidária, que eles conhecem. Já tinham ido lá. E que a gente estava fazendo uma pesquisa, que era importante a participação deles para aprimoramento dos processos, para entender o que está acontecendo com as pessoas que a gente também não chamou.. A gente explicou mais ou menos o que era, em linhas gerais, a ideia da avaliação. Eu estava falando que foram os meus alunos, não é? Eu coloquei eles e fiquei meio como supervisor de telemarketing. (risos). Aí, fui percebendo. Porque, tem um jeito de falar com as pessoas. No primeiro dia, eu vi a taxa de sucesso dos diferentes alunos e era bem diferente entre eles. Então tinha aluno que, teoricamente, tinha um monte de recusas. As pessoas se recusavam a falar com ele. Aí a gente foi ver. O jeito que ele abordava não era um jeito legal. Aí eu peguei outro aluno e coloquei para ligar de novo. E tudo que era recusa, os caras toparam falar. É a maneira como você apresenta, entendeu? Se você passa uma confiança... A gente falava: “olha, se você tiver alguma dúvida, você pode ligar lá no programa e falar com a Neide ou com o Carlinhos”. A gente falava o nome das pessoas de lá, entendeu? Então, foi bem tranquilo nesse ponto. A dificuldade que a gente teve foi muito menos de recusa e muito mais de mudança de telefone. As pessoas mudam de telefone incrivelmente! Foi mais essa dificuldade. Mudança, a pessoa mudou e a gente não conseguiu localizar, também não foi muito. O prazo também era pequeno. Tudo bem? Bom, então esse contato telefônico ajudou a gente a ter uma ideia de atrito. Que teve gente que já vimos que não ia conseguir encontrar mesmo! Por outro lado, permitiu a gente correr atrás daquelas pessoas que a gente tinha perdido esse contato, via o próprio pessoal do QP. E já atualizou o cadastro pela própria empresa que ia fazer a pesquisa de campo. Então, foi uma iniciativa que a gente colocou meio que depois. Não tinha sido pensada inicialmente. “Vamos juntar o útil ao agradável, porque os meninos estão chegando aqui com gás para trabalhar. E vamos ver como eles se desempenham nessa tarefa”. Então, foi uma semana que eles ligaram para os 480 alunos. Aí, Facebook ajuda bastante.

Áudio Aluno: Professor, eles selecionam 240 alunos. Às vezes, eles selecionam até mais. Quando vocês foram pegar o grupo de controle, vocês pegaram também a mais?

Áudio Professor: Mas é a mais um ou dois. A gente falou assim: do número de vagas que você tem, dobra! Não foi exatamente o mesmo número. Bem pouquinha a diferença.

Áudio Aluno: Porque dá para evitar esse problema de quem não responde!

Áudio Professor: Dá. Mas aí, tem uma questão que é de custo! Se você vai aumentando muito, o custo do campo vai ficando muito grande. Mas aqui, não fez muita diferença. Aqui, é a pesquisa de campo domiciliar, que a gente fez agora no final do ano para capturar o indicador de empregabilidade e escolaridade, em entrevista domiciliar, com a empresa contratada, no tratamento e no controle. A ideia é depois mostrar um pouco a questão que a gente vai trabalhar no intervalo. É de deixar claro e explícito para o pessoal da instituição e para gente também, qual é a hipótese de identificação, que vai um pouco da limitação na nossa avaliação de impacto. Ou seja, dois indivíduos, um do tratamento e outro do controle, com as mesmas características socioeconômicas de antes do tratamento, que é pelo que a gente vai controlar. Por hipótese, teriam a mesma trajetória em termos dos resultados de interesse, de empregabilidade e escolaridade, caso o indivíduo tratado não tivesse participado do tratamento. Então, é uma hipótese de seleção em observáveis. E essa diferença que eu observo ex post são devidas à participação no tratamento. Então, isso é bem claro, mas também a gente sabe que é uma limitação do método. O que a gente tem agora? Vamos entrar um pouco mais nas variáveis que a gente utilizou para fazer o controle pré-tratamento. Então, o que estava na ficha de inscrição? A gente tinha a idade do indivíduo, gênero, as notas nessa avaliação que é feita de Português e Matemática; a informação se ele já havia participado de outro programa do Educandário (EDD), que é o lugar onde fica o Qualificação Profissional; o estado civil, se mora com o pai e com a mãe, se tem filhos; informações socioeconômicas em nível do indivíduo. E da família, a gente tinha: escolaridade dos pais, renda familiar per capita, se recebe algum benefício social, como bolsa família e coisas do tipo.

Áudio Aluno: Professor, vocês não tinham a informação se eles usavam drogas ou não? Ou todas essas pessoas não usavam?

Áudio Professor: A gente tem a informação se eles usavam drogas ou não. Dos selecionados, eu tenho quase certeza. Não vou lembrar de cabeça, porque eles acabavam excluindo. Tenho quase certeza. Não lembro de cabeça pra te dizer. Mas não entrou explicitamente neste filtro aqui. Pode ser que tenha um ou outro caso ali. Porque tem alguns casos que são casos de encaminhamento. Eu já vou comentar. É que a gente tirou da avaliação. Mas eu vou comentar desses casos aí. Isso também é alto reportável. A pessoa pode ir lá na entrevista, falar que não usa mais e usar. Eles ficam tentando cercar.

Áudio Aluno: Mas isso vai acontecer tanto para o tratado quanto para o controle! Teoricamente.

Áudio Professor: Também! Claro. Aqui nesta tabela, são os tamanhos de grupos que a gente tem dos diferentes cursos. Então nós temos o curso de assistente administrativo de manhã, tarde e noite. À tarde, tem duas turmas e, à noite, tem duas turmas. Então, esse é o número de alunos matriculados, mais ou menos em torno de 20. E não matriculados, aqui. Eu fechei duas turmas e ainda 24 alunos, porque eram turmas à tarde, de assistente administrativo. E, à noite, também sobraram 52 e eu formei duas turmas: uma de 22 alunos e outra de 19. O que a gente tem de problema, por exemplo, é aqui: suporte técnico em informática de manhã. Eu tenho 23 alunos matriculados e só ficaram 3 de fora. Então, é um grupo de controle que ficaria muito pequenininho. Em geral, é um problema de suporte técnico. 3 alunos, 7 alunos, 3 alunos aqui. Então, tem pouca demanda. Se você pegar o total dos cursos, o assistente administrativo é o que tem mais candidatos: 112 contra 104. Cabelereiro também tem um excesso de demanda. Gastronomia já não tem tanto excesso de demanda assim! E a mais problemática é suporte técnico em informática. Então, com base nisso, a gente tem que tentar montar a estratégia de avaliação. O que ficou claro para a gente? Que dá para fazer uma avaliação focando o impacto no suporte técnico administrativo, porque a amostra e o balanceamento, entre grupos de tratamento e controle, são bons. Mas, os casos, por exemplo, com o suporte técnico em informática e gastronomia, a gente não consegue fazer avaliações em separado. Então, o que a gente fez? Propôs essa avaliação separada para assistente administrativo. Aí, para dar conta de suporte técnico em informática, a gente juntou assistente administrativo com suporte técnico em informática. Em uma mostra só, eu vou fazer a avaliação de impacto desses dois cursos. Por quê? Porque a média de idade desses dois grupos era bastante parecida. Eram o pessoal mais jovem estava lá no Qualificação Profissional. E esses dois cursos também são os cursos que recebem uma certificação do Senai. Então, o cara sai com um diploma do Senai nos dois cursos. Essa é a justificativa de a gente juntar. Qual é o problema de juntar esses dois públicos aqui? A pessoa que vai fazer o curso de assistente administrativo tem um perfil meio diferente do cara que vai suporte técnico em informática. Por exemplo, fomos a uma aula de suporte técnico administrativo. E aí o professor disse: “tem um pessoal que está vindo aqui para conhecer. Conta como é o curso!”. Daí tinha um 5 ou 6 alunos, todo mundo querendo falar! Contar como é que era! Nossa, ficamos um tempão lá. Daí, saímos de lá e fomos na classe de suporte técnico em informática. A mesma pergunta: “quem quer contar como é o curso?”. Todo mundo quieto. Então, a gente sabe que é um perfil um pouco diferente. Mas, por causa de tamanho de amostra, acabou juntando eles dois por causa da questão da média de idade. E cabeleireiro e gastronomia, também a gente juntou. Também porque eles recebem um público mais parecido. São pessoas mais velhas em geral. Mais mulheres. Basicamente, 90 por cento eram mulheres. E também tem essa coisa de um perfil mais empreendedor. É o cara que quer fazer um curso de cabeleireiro para abrir um salão. A mulher quer fazer um curso de gastronomia porque ela quer começar a trabalhar com festas. E assim por diante. Então, a gente acaba justificando essa separação aí dos grupos.

Áudio Aluno: Professor, o João Evangelista, que está online, está perguntando: então, não matriculados são as vagas que não foram preenchidas?

Áudio Professor: Não! Não matriculados são pessoas para as quais não havia vaga disponível. Então, são pessoas que se inscreveram mas, por falta de vagas, não foram selecionadas. Aqui mostra um pouco o roteiro do que é a nossa avaliação. Seleção em Novembro de 2013 e execução do projeto em 2014. A gente fez a atualização cadastral no final do ano. Aí, tem o acompanhamento pela Liga Solidária. Aqui, no segundo semestre, a gente fez aquela pesquisa telefônica que eu comentei. E agora, no final do ano, a pesquisa domiciliar para as informações de empregabilidade e escolaridade. Então, um pouco para resumir o que a gente mostrou para vocês. Vou falar um pouquinho da pesquisa de campo, que a gente acabou de fazer agora no final do ano. Recebemos na semana passada os dados de empregabilidade. Agora, que a gente vai começar a trabalhar em cima dos dados para ver um pouco da qualidade deles e que como estão as coisas. E mais um ponto importante: controlar pelas atividades, principalmente pelo que o grupo de controle fez durante o ano de 2014, que eu comentei com vocês lá atrás. A gente perguntou retrospectivamente para eles não somente o que eles fizeram em 2015, mas também o que eles fizeram no ano em que as outras pessoas estavam fazendo o curso de Qualificação Profissional. Então, agora a gente está começando a tabular todas essas informações aqui da pesquisa de campo. Queria que já tivesse aqui para trazer algum resultado, mas ainda a gente não tem. O que tem aqui de desafio que eu acho que é legal para passar para vocês sobre a pesquisa de campo? Prazos em que as coisas acontecem. Então, a gente estava com o Natal batendo na porta. Então, vai ficando mais difícil você achar as pessoas, porque as pessoas vão viajando. Então, é sempre uma agonia porque você precisa terminar e os dias vão passando. E não acha! Mas felizmente a gente conseguiu ter uma boa taxa de sucesso pelos primeiros resultados que a gente já tem de tabulação. Pelo menos, de pessoas encontradas. Então, isso tudo é o desenho sobre impacto sobre empregabilidade. Agora vou falar um pouco do desenho do impacto sobre habilidades socioemocionais. O que acontece? A gente não tinha essas informações sobre os sócio emocionais anteriores. Tinha essas impressões mais de vulnerabilidade. Então, qual foi a nossa proposta? Coletar essas informações sócio emocionais no momento da inscrição! Então, iríamos pegar a turma de 2015 e, no momento da inscrição, em Novembro de 2014, aplicar um questionário sócio emocional e ter as informações que seriam da linha de base, de antes do tratamento. Então, meu grupo de tratamento vão ser as pessoas que entraram no programa em 2015. E o grupo de controle, pessoas que se interessaram em fazer os cursos do programa de Qualificação Profissional, mas que, pela restrição de vagas, não puderam ser selecionadas. Então, o que a gente pensou: “se eu tivesse a informação de antes e eu aplico esse questionário novamente depois, em um momento após o curso, eu consigo fazer o quê?” Uma estratégia de diferenças em diferenças. Eu consigo comparar a evolução dos indicadores entre antes e depois. O que a gente usou de indicadores de impacto? São esses indicadores aqui, que o Daniel deu aula para vocês e já explicou. Então, eu não vou ficar aqui chovendo no molhado! Mas, são os indicadores do instrumento Senna, que ele desenvolveu. Então, a gente aplicou a primeira versão do Senna. Aqui é somente para a gente relembrar: a conscienciosidade, que que ver com a capacidade de organização e seguir um plano de ação. A extroversão, que tem a ver com a assertividade, sociabilidade e capacidade de comunicação. A estabilidade emocional das pessoas, que não têm sentimentos negativos persistentes e são menos reativas emocionalmente. São menos vulneráveis ao estresse e ansiedade. A abertura ao novo, são pessoas mais imaginativas, criativas e intelectualmente curiosas. A amabilidade, que é essa preocupação com a harmonia social, mais generosidade, amigável, cooperativa. E o lócus de controle, o quanto que você acha que as coisas que acontecem com você se devem às suas ações ou a elementos externos a você. Então, todo mundo lembra quando o Daniel falou dessas coisas. Eu não vou gastar muito tempo aqui. Agora aqui, só retomando. Então, a pesquisa de campo a gente aplicou o Senna versão 1.0 na linha de base e fizemos a coleta agora dos indicadores pós-tratamento. Notem, na própria turma que está terminando agora em 2015, a gente já fez a coleta. Então, notem a diferença da empregabilidade contra o sócio emocional. O da empregabilidade está esperando quase um ano pós-curso para avaliar a empregabilidade deles. E aqui, eu estou avaliando o sócio emocional imediatamente após o término do curso. E teve toda uma discussão de quando a gente iria fazer essa pesquisa. Optamos por fazer em Novembro e Dezembro, por alguns motivos. Primeiro, para diminuir o atrito dentro do grupo de tratamento. A pessoa foi lá, na última quinzena de Novembro, e aplicou na Liga. Então, é um custo muito baixo. Eu contratei uma pessoa para ir lá e fazer a aplicação do Senna. E a gente até teve que contratar uma empresa para fazer a aplicação no grupo de controle. E, aparentemente, deu tudo certo. Em termos de taxa de cobertura, foi como a gente tinha planejado. A desvantagem de se fazer em Novembro e Dezembro é que pode-se pensar assim: “mas o curso ainda não terminou. Então, pode ser que algum efeito em termos sócio emocionais que não tenha aparecido”. Pode ser que o principal efeito a pessoa perceba depois da formatura dela, na hora que ela termina e recebe o diploma. Mas a gente achou que era um risco muito grande de deixar esse campo para Fevereiro ou Março de 2016, porque aí perderíamos muita gente. Então, acabou-se optando por fazer na última semana de curso. A gente acredita que praticamente todo o efeito do curso já teria aparecido aqui nesse momento, ok? Então, a nossa ideia inicialmente era usar a diferenças em diferenças, como eu falei para vocês. Qual é a hipótese de diferenças em diferenças? A evolução desses indicadores sócio emocionais teria sido a mesma, na média, entre os dois grupos. Se o grupo de tratamento não tivesse passado pelo tratamento, ele teria a mesma evolução que a do grupo de controle. A única diferença entre os grupos seria pós-tratamento, que um passou pelo QP e o outro não. Então, essa diferença a gente atribuiria ao tratamento. Então, essa era a nossa ideia inicial. Só que aí, aconteceu uma coisa que foi muito interessante. Houve um evento organizado pelo Instituto Ayrton Senna, em Agosto de 2014 se não me engano. E a gente estava fechando a definição dessa estratégia de identificação e dessa avaliação do sócio emocional. E aí, os gestores da Liga Solidária foram a esse evento e eles ficaram encantados com essa história de sócio emocional. Foi super legal o evento. E aí, na semana seguinte, a gente foi falar para eles da proposta de avaliação e que a gente iria usar aqueles instrumentos. Então, a gente deu sorte porque eles já estavam meio que convencidos de que era um instrumento legal, de que era interessante avaliar. E ficou mais fácil para a gente vender para eles a ideia de aleatorização. Eu falei assim: “vocês estão vendo que é super importante porque vocês trabalham com 20 por cento do curso com essa questão sócio emocional. Mas a gente tem uma oportunidade de pensar em fazer uma avaliação que vai ter uma robustez super grande para a turma que vai ingressar agora em Agosto de 2015!”. Então, havia tempo de planejar. Então, a gente propôs a realização da aleatorização para a seleção dos participantes da turma de 2015. E eles toparam. Então, as coisas deram certo. E assim, foi uma reunião para a gente tirar um monte de resistências, porque eles querem colocar sempre as pessoas que estão com mais dificuldade. E com a aleatorização, eles perderam totalmente o poder de selecionar quem iria participar. Depois, eu vou mostrar aqui o processo. A gente que selecionou nesta edição.

Áudio Aluno: Esse “dif-in-dif”, você está controlando por aquelas variáveis que a gente estava falando antes ou não?

Áudio Professor: Aqui, a gente está falando assim: “essa era a minha ideia de estratégia inicial. Era fazer um “dif-in-dif” com variações. Essa era a nossa ideia inicial. Porque a gente não estava pensando a princípio que a gente ia conseguir aleatorizar. Agora, como a gente conseguiu aleatorizar...

Áudio Aluno: Para a turma de 2015?

Áudio Professor: Só para a turma de 2015.

Áudio Aluno: Então, isso é a avaliação de 2015 que vai ser feita. É isso?

Áudio Professor: Isso, que está rolando já. A gente acabou de coletar as informações também. Mas é uma turma diferente daquela de empregabilidade. Mas eu tenho as informações também na ficha de inscrição. Porque a gente vai utilizar para ver se a aleatorização foi bem feita... A gente já demonstrou que, em geral, não tem diferenças entre os dois grupos.

Áudio Aluno: Professor, o questionário Senna tem um desenho um pouco diferente. Porque lá você aplica para sala de aula! Alunos do quinto ano, aluno do primeiro ano, aluno do terceiro ano... Então, dentro da sala, o questionário é um pouco mais homogêneo para os alunos. Já no curso, parece que tem uma certa heterogeneidade. Eu estou aplicando o mesmo questionário para um aluno de 15 anos e o mesmo questionário para um aluno de 24 ou 27 anos. Então, a maneira que ele vê o questionário é diferente!

Áudio Professor: Isso. Foi excelente a sua pergunta. O que a gente fez? Junto com a equipe do Ricardo Primi e do Daniel, foi feita uma adaptação, porque tem alguns itens do Senna que são muito específicos de sala de aula. É bem o que você falou! Então, alguns destes itens foram alterados para você não colocar as suas perguntas em um contexto de sala de aula. Por exemplo, a pergunta lá da vinheta âncora: “a pessoa entrega a lição no prazo. Ou faz a lição antes do prazo”. Então, estes itens o Ricardo e o Daniel alteraram. Então, ficou uma versão Senna para adultos. Então, para o públic=o aqui, todos eles poderiam responder tranquilamente, sem ter uma vinculação com a questão escolar específica.

Áudio Aluno: Professor, mais uma pergunta da internet. O João Evangelista novamente. Como são tratados os casos de evasão ou baixa frequência? Nos casos de cursos do Pronatec, isso ocorre com uma certa frequência.

Áudio Professor: Isso é uma preocupação que a gente teve na primeira reunião que a gente fez com eles. A gente perguntou: “qual é a taxa de evasão que vocês têm no curso? É muito alta?”. A gente tem uma taxa de evasão entre 5 e 7 por cento. Então, a gente já sabia que, a princípio, não seria um problema tão grande a evasão. O que a gente está fazendo? Eu vou pegar aqui esse exemplo de 2015. A gente tem um acompanhamento de todo mundo que evadiu. Então, assim que uma pessoa evadia, eles comunicavam a gente. E o processo de eventual substituição também era feito sob a nossa supervisão. Então, por exemplo: “eu preciso preencher uma vaga aqui!”. Essa pessoa que entrou, ela vai estar fora da avaliação. A pessoa que foi evadida, a gente foi atrás dela agora para aplicar o questionário. Então, a gente vai conseguir ter um pouco da ideia sobre o seguinte: o cara ficou seis meses no curso ou a primeira parte. A gente vai conseguir alguma ideia dos efeitos também de ter feito parte do curso, se tem alguma diferença ou se não tem. A questão de frequência: a gente também tem informação sobre a frequência dos alunos no curso. Não é uma frequência baixa. É um perfil diferente do curso do Pronatec, por exemplo. Mas a gente também vai levar em consideração para saber, controlando pela frequência, qual o impacto que isso pode ter. Então, como a gente não realizou a análise ainda. Só pegou a base de dados. A gente está juntando tudo para considerar. Mas, com certeza, são informações relevantes, tanto de evasão como de frequência, que a gente vai considerar no resultado final.

Áudio Aluno: E nota? Tem nota ou vai até o fim e conquista o certificado?

Áudio Professor: Eles têm uma avaliação. Mas se o cara for até o final, fizer tudo direitinho, ele conquista o certificado. Não tem uma nota no final do curso. Porque, senão, você poderia considerar. Qual é o resumo da avaliação da parte sócio emocional ? É essa. Então, seleção em Novembro de 2014. A gente aplicou a linha de base do Senna 1, o projeto rolou agora durante o ano e a gente foi lá em Novembro para fazer a aplicação da pós-intervenção para capturar os indicadores de interesse. A gente aplicou o Senna 1 de novo, mas também perguntou se as pessoas tinham feito outras coisas, se estavam estudando... Então, na verdade, é um questionário muito parecido com o de empregabilidade, mais o Senna 1 para praticamente poder controlar por essas outras coisas, que eventualmente eles possam ter feito. E aí agora no primeiro semestre, essa turma vai ter esse acompanhamento pela Liga Solidária, que não está coberto na nossa avaliação. A nossa avaliação termina aqui. Então, essa parte, a princípio, não está coberta. Agora, como foi feito com aleatorização, nada impede que a gente consiga fazer uma avaliação do efeito mais de longo prazo desse programa. Então, no final do ano que vem, fazer uma nova rodada com essa geração aqui que passou pelo programa e ver o que aconteceu com ela. Então, é possível também de ser feita. Aqui, eu coloquei coisas que apareceram nas nossas conversas com eles e que acho que foi importante. A questão dos indicadores de impacto a partir do Senna, que envolveu toda aquela conversa. Eles tinham ido lá no evento do Instituo Ayrton Senna. Então, foi muito mais fácil. Eu cheguei lá e falei: “vamos usar o Senna”. Eles já sabiam o que era o Senna, porque eles tinham ficado o dia inteiro lá ouvindo pessoas falando e explicando o que era dimensão sócio emocional, como você consegue traduzir... Porque, no fundo, aquelas dimensões que eles trabalham ali, elas têm relação com essas dimensões mais amplas do Senna. Então, ficou mais claro para eles isso. Essa questão do tempo entre a finalização do tratamento e a aplicação da pesquisa de campo. Tudo foi validado com eles e eu também já comentei da aleatorização que eles toparam fazer, ok?

48:58 ao Fim (Cartela)

Imagem: Ilustração de um mapa múndi em tom azul claro ao fundo. E, em primeiro plano, duas imagens de capítulos posteriores a esta aula com o cabeçalho “Veja Também” em azul escuro. No rodapé, o texto: “Conheça mais em www.redeitausocialdeavaliacao.org.br”.

Áudio: Trilha moderna percussiva.