Ir para conteúdo

Biblioteca

Avaliação de Resultado e de Impacto

Aula sobre Avaliação de Resultado e de Impacto ministrada por Ricardo Paes de Barros.



Avaliação de Resultado e de Impacto - Parte 06

Quando realizar o sorteio?

Ir para a transcrição do vídeo

Transcrição

00:00 a 00:08 (Vinheta de abertura)

Imagem: Vinheta de abertura. Ilustração de um mapa múndi na cor azul clara ocupa toda a tela. A logomarca da Fundação Itaú Social aparece ao centro e alguns ícones na cor branca aparecem formando um círculo central ao redor da logomarca. A logomarca desaparece, dando lugar ao texto em azul escuro: “Curso Avançado de Avaliação de Políticas Públicas e Projetos Sociais”. Na sequência, os textos são substituídos por um retângulo grande azul escuro na parte central da tela. Dentro dele, está escrito: “Avaliação de Resultado e de Impacto, Professor Ricardo Paes de Barros, 20 de Janeiro”. Abaixo do retângulo, também em azul escuro, o texto “Quando realizar o sorteio?”.

Áudio: trilha moderna percussiva.

00:09 a 42:49 (Ricardo Paes de Barros)

Imagem: Professor Ricardo Paes de Barros, da Fundação Itaú Social, está à frente de uma sala de aula com um telão e lousa verde atrás dele. Ele está de pé e apresenta os conteúdos olhando para a turma.

Áudio Professor: Embora eu vá falar aqui para vocês de vários programas, que são avaliações experimentais, tem muita gente que ainda argumenta que tem alguma coisa errada em você fazer um sorteio. Pode ser que vocês estejam todos convencidos de que fazer sorteio é uma coisa boa, mas talvez vocês precisem de algumas argumentações adicionais. Pode ser que vocês não estejam convencidos. Então, vou tentar convencê los e dar alguma argumentação a mais. Se você tem excesso de demanda, excesso de pessoas querendo fazer o programa, e você tem que selecionar beneficiários e não beneficiários, talvez a coisa mais ética a ser feita é usar uma seleção aleatória. Nesse caso do Rio de Janeiro, eu descobri algumas coisas fantásticas. Todos a aqui conhecem o colégio Dom Pedro Segundo? É um colégio federal no Rio de Janeiro. Eu descobri o seguinte. A seleção deles é por sorteio. Ponto. O Colégio Aplicação, boa parte da seleção dele é por sorteio. Então, os colégios de alta qualidade, hoje em dia estão selecionando por sorteio. E na UERJ, Universidade Estadual do Rio de Janeiro, tem um grupo de pessoas lá preocupadas e trabalhando. Eles têm umas cestas e umas bolas só para produzir sorteio. Eles é que fazem o sorteio do Colégio Aplicação, do Dom Pedro Segundo etc. Como os americanos escolhiam quem ia para o Vietnã? Era por sorteio. É o que eles chamavam de draft. Então, se você tem alguma coisa boa ou ruim e que tem excesso de demanda ou insuficiência de oferta, a maneira de você eleger e que vai garantir igualdade de oportunidade é por sorteio. Então, existe uma razão ética de se fazer isso. Existem algumas escolas técnicas federais usando sorteio para dar entrada. Eu vou falar depois um pouco na questão da meritocracia, como é que se lida com a meritocraria nisso. A outra questão fundamental que você tem que ter a seguinte: a probabilidade de seleção pode perfeitamente ser diferenciada pelo o grau de vulnerabilidade. Um programa que a gente trabalhou com avaliação experimental é o “Protejo”. O “Protejo” é um programa do governo federal que pertence ao PRONASCI, que é o Programa Nacional de Segurança com Cidadania. E é um programa que tenta resolver o problema de violência nas comunidades pobres, tentando converter os jovens e em bons jovens. É o que eles chamam de retomada do percurso produtivo formativo, o que significa se tornar um bom menino. O que o “Protejo” faz? Ele dá uma bolsa de mil e tantos reais por ano e dá um programa de 800 horas. Ou seja, fica-se durante 200 dias, quatro horas por dia, no “Protejo”, que é uma espécie de um contraturno. Existe uma série de atividades ali, desde formação social. Tem um curso de 160 horas do Senac, tem um monte de coisas culturais e esportivas. É como se fosse um contraturno de uma escola de ensino médio bem de alta qualidade e pago. Pagam-se 100 reais por mês para se frequentar isso. Na hora em que a gente foi fazer esse programa, o que aconteceu? Você vai na na comunidade pobre. Isso aqui foi feito em vários lugares do Brasil. Na região metropolitana do Rio de Janeiro, foi feito em todos esses lugares aqui. Você vê lugares famosos como Vila Kennedy, Pavão-Pavãozinho, Cantagalo... para quem não conhece o Rio de Janeiro, Pavão-Pavãozinho é aquela favela que fica ali no Posto 6, na fronteira de Copacabana e Ipanema. Favela da Providência, que fui uma das primeiras que teve a UPP. Fica ali no centro do Rio e, que agora, tem um teleférico absolutamente fantástico. A Rocinha... E essa coluna aqui é o número de vagas em cada lugar desse. Mas aí me falam o seguinte: “o grupo de jovens que esse tipo de programa quer atender é tipicamente de meninos com baixa escolaridade”. Agora comecem a imaginar o seguinte: quantos meninos de baixa escolaridade, em uma comunidade pobre, querem participar de um programa que eles têm que ir lá todos os dias, 4 horas por dia, durante 200 dias? Quantos vão conseguir fazer isso ganhando cem reais por mês, que é o que eles ganhas no final do mês ou no início do mês? Então, o que a gente fez? A gente tinha 2.425 vagas e apareceram 4.857 inscritos. Havia dois candidatos por vaga. Havia uma situação ideal que e podia ter 2.425 tratados e a diferença seria o meu controle. Eu estava no melhor dos mundos. Mas, qual era o problema? A minha distribuição de pessoas era esta aqui na tebala. O que se queria fazer era pegar todas as vagas e colocar aqui, em homens de baixa escolaridade. Agora, se colocassem todas as vagas aqui, eu teria um quarto dos meus candidatos. Então, ao invés de ter aqueles 4 mil, eu votu ter mil. Provavelmente, não vou conseguir preencher todas as vagas. Daí a pessoa disse o seguinte: “preenche primeiro isso aqui e depois eu deixo você colocar o resto das vagas nos outros cantos”. Só que, se eu fizesse isso, o grupo que eu estou mais interessado em saber qual o impacto sobre os homens de baixa escolaridade, eu não teria nenhum controle. E se não houver nenhum controle, não se saberá qual o impacto disso! Eu só vou poder fazer sorteio em algumas dessas outras células que estão aqui. O que eles achavam um absurdo, com razão, era o seguinte: “você não vai me dizer que esses homens com baixa escolaridade vão ter a mesma chance de entrar no programa do que essa menina aqui super bem comportada e alta escolaridade! Eu quero que esse aqui tenha mais chance de estar no programa do que essa daqui”. Obviamente, se eu fizer um sorteio simples, a chance dessas meninas vai ser a mesma desse daqui. Se eu fizer uma distribuição aleatória das vagas, vai acabar sendo proporcional a isso aqui. Então, a ideia era não ter igualdade disso. Eu disse; “está bom! Então, vamos combinar essas probabilidades”. Então, eles falaram o seguinte: “eu quero 60 por cento das vagas alocadas a homens e 40por cento alocadas a mulheres. Eu quero um terço das vagas alocadas à alta escolaridade e dois terços à baixa escolaridade”. Assumindo essas marginais e independência desse negócio, você consegue chegar nessas coisas. Então, 40 por cento das suas vagas, vocês querem que seja de homens de baixa escolaridade e 13 por cento, para meninas de alta escolaridade. Então, isso daqui vai ser padrão das vagas. Então, tem-se o seguinte: 26 por cento dos candidatos vão concorrer para 40 por cento das vagas (homens de baixa escolaridade). Enquanto que 29 por centos dos candidatos vão concorrer para 13 por cento das vagas aqui (mulheres com alta escolaridade). Então, vai ser três ou cinco vezes mais difícil com a mulher de uma alta escolaridade entrar do que um homem com baixa escolaridade. Em parte, porque tem mais meninas com alta escolaridade se candidatando e, em parte, porque tem menos vagas para meninas com alta escolaridade se candidatando. Ou seja, a tentativa de garantir alguma focalização aqui foi, na verdade, fazer quatro sorteios. Nada te diz em um experimento, que todo mundo tem que entrar com a mesma probabilidade. Tudo que o experimento diz é que eu tenho que ter um sorteio, que eu tenho que ter uma seleção aleatória. Mas, a moeda que eu vou jogar na seleção aleatória ela completamente variar dependendo do grupo que eu tenho. Isso aqui foi feito de uma maneira ainda mais intrincada, porque havia uma questão de quem indicou esse menino. Porque alguns desses meninos era egressos do sistema penitenciário. Outros, tinham sido indicados pelo conselho tutelar. E essa menina foi indicada pelo diretor da escola que dizia que ela era uma ótima aluna. Então, havia uma discussão aqui sobre o grau de vulnerabilidade. Então, o que a gente fez aqui foi, em cada célula dessa, dividir em dois grupos. A gente criou um índice de vulnerabilidade que tinha a ver se ela morava na rua ou não, se ela tinha pais, se era vítima de violência... ou seja, um monte de coisas. A gente criou esse índice de vulnerabilidade e a seleção era feita da seguinte maneira: vamos supor que eu tinha 60 vagas e 120 candidatos. Era dois para um. Aí a gente pegava metade das vagas, que eram 30, e dizia que essas vagas eram são exclusivas para os homens de alta vulnerabilidade. Então, a gente pegava os homens de alta vulnerabilidade e sorteava aqui. Vamos supor que de alta vulnerabilidade eu tinha 60, porque eu pegava a metade de mais alta vulnerabilidade e a metade de mais baixa vulnerabilidade. Então, havia 60 candidatos de alta vulnerabilidade que concorriam para essas 30 vagas. Evidentemente, se eu pegasse 60 concorrendo com as suas 30 vagas, eu não teria feito praticamente nada, porque a probabilidade desses homens é meio; e a probabilidade desses outros é meio. Aí eu não dei nenhum privilégio para o menino de alta vulnerabilidade. Então, o que a gente fez? Pegou esses 60 homens que concorrem para essas 30 vagas. Só que, quem concorre para essas 30 vagas, não são só esses 60! São estes 60 mais os 30 daqui, que não entraram. Ou seja, o menino de alta vulnerabilidade tem duas chances: a primeira, concorrendo com os amigos deles de alta vulnerabilidade, pela metade das vagas; e depois, concorrendo pela outra metade das vagas, agora junto com os de baixa vulnerabilidade.

Aí tem um passo intermediário, que mostra que metade dos alta vulnerabilidade, ou seja, 30 meninos são alocados em um pimeiro passo. Daí, 30 deles vêm para cá, para o segundo passo. Tem-se 90 candidatos, 60 de baixa vulnerabilidade e 30 de alta vulnerabilidade, que vão concorrer para 30 vagas. A probabildide de cada um entrar é 33 por cento. Logo, eu vou ter basicamente: alta vulnerabilidade mais 10 e de baixa vilnerabilidade, 20. Logo, de alta vulnerabilidade, vão entrar 40. E, de baixa vulnerabilidade, 20. Então, isso são maneira de se fazer o sorteio e ser sensível à focalização. Então, o resumo dá isso aqui. Tem-se que 50 por cento dos candidatos eram de alta vulnerabilidade mas 67 por cento das vagas foram preenchidas por esses meninos. E que 50 por cento dos candidatos eram de baixa vulnerabilidade mas só 33 por cento das vagas foram preenchidas com eles. Ou seja, você dobrou! A probabilidade desse menino aqui (alta vulnerabilidade) é duas vezes a probabilidade desse menino (baixa vulnerabilidade) entrar. E você tem um sorteio. O que é importante aqui é que a probabilidade de seleção pode perfeitamente ser diferenciada pelo grau de vulnerabilidade dos beneficiários. Então, você pode perfeitamente fazer o sorteio e levar em consideração que se está mais preocupado com um grupo da população do que com outro grupo da população. E para conseguir isso, um resultado do Ceará ajudou bastante a gente. Como abrir mão em deixar um jovem homem com baixa escolaridade de fora para colocar para dentro uma menina com alta escolaridade, super bem comportada, que sentou na primeira fila, tem um caderno cor-de-rosa e tomando nota de tudo direitinho? Por que eu vou deixar aquele menino de fora e colocar essa aqui para dentro? Dar uma bolsa para ela e não dar uma bolsa para ele? Era difícil de você convencer. Você podia argumentar: “se voc6e fixer isso, não conseguirá calcular o impacto lá!”. “Está bom, eu não vou conseguir calcular o impacto mas vou ajudar o menino lá”. Aí, por acaso, tínhamos uma evidência do Ceará, que era muito interessante. É muito importante nesses programas, preservar certa diversidade. O que eu estava tentando convencer a pessoa aqui era: “olha, para o seu programa é legal você misturar um pouco esses meninos mal comportados com essas meninas bem comportadas. Quem sabe elas vão ensinar um pouco para eles a serem bem comportados! E talvez eles ensinem um pouco elas a serem mal comportadas!” (risos).

Então, talvez vai ter uma regressão para média e você vai se beneficiar. E havia uma evidência do Ceará que era muito interessante. No “Protejo”, do Ceará, fez-se focalização fina. Só entrava menino problemático. E a Secretaria de Segurança descobriu. Aí ela foi lá na Secretaria de Assistência Social e falu: “vocês podem me dar a lista dos seus beneficiários do “Protejo?”. Aquilo passou a ser a bíblia dos policiais! Eles só corriam atrás daqueles meninos, porque se tinha o nome, endereço, tudo! Exatamente os jovens que criavam problemas na comunidade. Então, participar do “Protejo” virou um atestado de praticantes de violência, de alguma coisa errada. Isso é um fato real. Não se quer estigmatizar ou eliminar toda a diversidade. Se colocar só os meninos com baixa escolaridade e envolvidos com atividades ilegais juntos, vai ser difícil você quebrar o ciclo desse negócio. A diversidade, a mistura é que talvez vá convencer os dois lados do que é adequado ou inadequado. Então, a ideia de se trazer alguma diversidade é importante. E a ideia é que se pode trazer a diversidade sem fazer um único sorteio. Pode se fazer um sorteio enviesado. E hoje em dia, é muito comum! Por exemplo, aquele trabalho que eu estava mostrando, o “Laborarte”! No Espírito Santo, a gente está fazendo um sorteio parecido, inspirado no “Protejo”, ou seja, com quatro células com probabilidades diferenciadas, como aqui. Uma outra razão é essa coisa de universalização. Se houver um problemas universal, aí realmente não tem excesso de demanda! Todo mundo que quer participar do programa participa. Aí, realmente, não tem como você argumentar que vai excluir alguém tendo vaga no programa simplesmente porque vai se fazer uma avaliação! Então, obviamente, tem-se que ter alguma restrição de demanda para poder fazer o sorteio. Ou seja, se não tiver excesso de demanda, programa universal é praticamente impossível você avaliar. Se todo mundo participa do programa, como é que você vai arranjar um grupo de tratamento? Praticamente não existe programa universal. O que as pessoas fazem, em geral, elas dizem que é universal porque elas não avisam a população toda. É aquele programa que chega na comunidade e ele atende algumas pessoas vulneráveis. Vai-se para o rádio e diz-se: “temos esse programa! Quem quer participar do programa?“. A maioria desses programas têm medo de se gerar uma fila. Todos os programas querem evitar excesso de demanda. Eles não querem que tenha uma quantidade enorme de candidato e que se tenha que dizer “não” para um monte de gente. Aí, aparentemente, não se tem excesso de demanda, mas na hora em que ele fizer uma divulgação adequada do programa, em geral, aparece excesso de demanda. Se não houver fila, não tem avaliação. Tem que gerar fila para ser ter avaliação. Então, tem-se que avisar todo mundo! Avisar todo mundo, em termos éticos, é ótimo porque se está dando igualdade de oportunidade. Se tem mais vagas no Dom Pedro Segundo e não aviso ninguém. Só pego um conjunto de pessoas ali que tem uma uma informação privilegiada, vai lá e usa aquelas vagas. Não existe filas, não se diz “não” para ninguém, mas se está fazendo uma coisa que não tem a ver com igualdade de oportunidade. Teria-se que avisar todo mundo. A grande dificuldade da aleatorização não é a universalização. O seu grande inimigo é a focalização e a meritocracia. Eu vou mostrar para vocês, a gente aleatorizou todas as crianças, do Rio de Janeiro, que entram em creche, porque essa era a maneira mais justa de dar acesso à creche. Obviamente, dando prioridades nos sorteios para os mais vulneráveis. Mas, a partir de um certo momento, a Claudia Costin, que era a secretária, começou a ficar cada vez mais séria a respeito da focalização. Se você afinar muito a focalização, o número de grupos vai a zero, ou seja, é sair de uma distribuição discreta para uma coisa contínua. Se você colocar todo mundo em uma fila de acordo com a prioridade, não tem como aleatorizar. Se você colocar todo mundo em uma fila de prioridades, vai-se atender até a pessoa com a mais baixa prioridade. Vai atender todos de alta prioridade até chegar no caso de baixa prioridade. Então, se você tiver realmente uma medida de focalização muito fina, acabou a sua possibilidade de sorteio. A mesma coisa acontece com a meritocracia. Uma possibilidade nessas escolas do Rio de Janeiro, que afetaria a realidade externa mas não a avaliação, seria você fazer uma prova, que eu acho que o Colégio Aplicação faz. Quem tirou o mínimo naquela prova, entra em um sorteio. O Colégio Aplicação faz meio que desse tipo. Isso você pode fazer! Isso é uma mistura de meritocracia, que tem que se ter uma nota mínima, com o sorteio. Agora se fosse assim: “a minha prova é tão boa que eu vou ordenar todo mundo pela nota da prova e pegar os últimos casos com a nota mais alta para entrar!”. Aí, se você quiser uma meritocracia fina, acabou o sorteio. Então, pode-se dizer que a meritocracia fina segrega e não promove a diversidade que você quer. Mas você pode também argumentar que a focalização e a meritocracia fina são ilusórias, porque, na verdade, não há nenhum instrumento que consiga realmente avaliar a vulnerabilidade das pessoas tão finamente assim, a ponto de colocar todas elas em uma fila. Isso tem tanto erro! É muito mais razoável você dividir as pessoas em categorias do que, na verdade, colocar em uma fila. Ou seja, a única maneira de você argumentar contra uma meritocracia fina e uma focalização fina, e portanto preservar a possibilidade de um experimento, é você argumentar que não existe uma medida suficientemente precisa que faça com que essa fila seja razoavelmente séria.Ou seja, se a pessoa que está colocando para dentro e a pessoa que não se está colocando para dentro é mais vulnerável e menos vulnerável, respectivamente. Qual o momento certo de você aleatorizar? O melhor obviamente é você aleatorizar o mais perto da hora em que a pessoa realmente vai fazer o programa. O “Jovem de Futuro”, por exemplo. Eu vou aleatorizar as escolas. Mas suponha que as escolas possam decidir participar ou não do programa. A participação no programa é voluntária. Então, eu tenho duas opções. Eu sorteio as escolas nos estados. E aí, as que eu sorteei, eu convido. É uma possibilidade. Aí, muitas delas que eu convidei vão dizer: “não, não quero”. Ou eu posso fazer o contrário. Eu posso convidar um conjunto de escolas para participar de um sorteio. E, depois que elas participarem do sorteio, em princípio elas aderiram e devem participar. Embora, pode ser que alguma mude de ideia e não participe. A pergunta é: faz diferença eu fazer o sorteio antes e convidar depois? Suponha que eu decida não chamar escolas para sorteio. Então, eu vou sortear a escola e depois eu chamo as que eu sorteei. Dessas que eu chamei para sortear, uma parte aderiu e outra parte não aderiu. Para que serve as que eu sorteei para não convidar? Elas me apontam para o que seria o desempenho dessas que eu cheguei para participar, caso estas não tivessem participado. Essa é a idéia do sorteio. As que eu sorteei para não participar me apontam para que seria o desempenho educacional dessas que eu sou sorteei para participar caso elas não tivessem participado. Só que parte das que eu sorteei para participar não vão aderir e não vão participar. Aí, eu não vou ficar só com as que aderiram. As que aderiram obviamente não é uma amostra aleatória das que eu sou sorteei para participar. E, portanto, se eu ficar só com as que aderiram, o meu grupo de controle não mais aponta para o que seria o desempenho dessas que aderiram, caso elas não tivessem acesso ao programa.

Deu para entender? O que eu estou dizendo aqui é que, se eu deixar a pessoa aderir depois, eu posso fazer isso. E se o meu grupo de tratamento forem aquelas que passaram pelo sorteio e depois aderiram a esse grupo de tratamento, eu não tenho um grupo de controle perfeito. Porque eu não tenho um grupo que me diz o que é que essas escolas seriam. Eu tenho o que aconteceriam com todas as sorteadas, caso elas não participassem. Mas apenas com as sorteadas que aderiram, eu não sei o que aconteceria. Logo, eu faço a reversão da ordem. Adere primeiro! Sorteio depois! Aí, eu tenho agora as que aderiram e foram sorteadas, que é o grupo de controle. À maneira como a gente conseguiu sortear todas as crianças de creches no Rio de Janeiro a secretaria não queria fazer. Aí, eu cheguei para a secretária e falei: “você deixa eu fazer uma pesquisa em todas as suas creches para saber como hoje são selecionadas as crianças?” Aí eu fiz. Entrevistamos com questionário todas as 250 creches da cidade para saber como era feita a seleção. Aí mostramos o relatório para ela. Quando ela viu como era feita a seleção, falou assim: “está bom! Que dia a gente faz o sorteio?”. Porque a maneira como era escolhido era assim: Prioridade 1, os filhos dos funcionários da creche. Claro! Se a pessoa vai trabalhar, onde vão ficar os filhos dele? Então, colocava; para os líderes comunitários, tantas vagas. Então, a coisa era completamente louca. A secretária falou: “é melhor fazer porque sorteio porque é uma bagunça muito grande”. Só que ela falou assim: “essa transição não vai ser assim! Separa dez, porque a diretora tem que ter na mão dela. Sabe, lá na comunidade coisas acontecem e ela tem que ter dez vagas com total poder discricionário”. Eu disse: “nenhum problema. Dou dez vagas”. Aí a pergunta dela: “eu pego essas dez vagas depois ou antes do sorteio? Faz o seu sorteio. Se as minhas dez crianças não forem sorteadas, eu vou lá e pega elas de volta!”. Ou seja, eu deixo a diretora escolher essas dez antes de sortear ou depois? Porque, o melhor para a diretora seria que eu fizesse o sorteio e depois ela escolhesse as dez

Crianças. Eu disse: “não! Escolhe você primeiro as dez, depois eu faço o meu sorteio”. Porque se ela escolhe as dez dela e eu faço depois o sorteio, eu perco validade externa porque eu não estou sabendo o impacto nessas dez que ela escolheu. Mas eu não perco o meu grupo de controle. Se ela escolhe as dez depois de mim, eu perdi o meu processo de aleatorização. Então, a ordem disso é delicada. Se a pessoa quer interbir, ok. Faça tudo antes! Eu sou o último a botar a mão nesse negócio. Estou perdendo validade externa com isso. Cada vez mais, a minha população é uma subpopulação. Mas dessa subpopulação, eu tenho controle e tratamento. É claro que nem sempre é assim porque a pessoa desiste depois de jurar pra você que quer participar. Acontece isso. Para terminar, a gente quem que ter muito cuidado com estímulo à demanda. Eu achei que era esperto. Nem de longe sou tão esperto quanto eu achava que era. (risos). Houve dois casos e a gente entrou pelo cano total. Nós estávamos lá no Rio para sortear a entrada nessas escolas públicas do Instituto Ayrton Senna, que são três. Aí, abrimos inscrições. A gente achou que por ser escola de tempo integral e com o nome Aiyton Senna, iriam aparecer milhões de alunos! Que iria ter um excesso de demanda fantástico. A gente começou a contar os dias e não apareciam os candidatos. Daí a gente falou: “as pessoas não sabem que existe essa escola Ayrton Senna!”. Aí, a secretaria começou a fazer uma certa publicidade lá, mas procura das vagas não subia. Aí, a Camila e a Marina, que trabalham comigo, são super assertivas e conhecem bem à beça essas escolas com que a gente estava trabalhando. Aí eu falei para elas: “vão para o Rio de Janeiro e vão visitar as escolas ali em volta. Convençam as pessoas de que é legal participar do programa! Mostrem lá onde elas têm que entrar! Levem um computadorzinho e mostrem como é que se faz a inscrição! Mostrem como é fácil fazer a inscrição”. E elas fora lá! Visitaram não sei quantas escolas. Em um dia, a demanda subiu assim! Então, eu estava querendo o seguinte: “se eu tiver três vezes o número de vagas, eu estou tranquilo”. Elas conseguiram mais de três vezes muito rapidamente em poucos dias! Houve sorteio e tal. Aí, dia da inscrição. Foi duas semanas atrás. Das sorteadas, quantas crianças efetivamente se matricularam na escola? Um terço! O resultado final: vai consumir todo o grupo de controle para preencher a escola. Ou seja, na verdade, aquele estímulo à demanda que eu fiz foi um estímulo à demanda totalmente artificial. Empolgou as pessoas: “ah, é só apertar estes botões aqui que eu ficou amigo do Ayrton Senna? Legal!”. (risos). Agora, a pessoa vai realmente se matricular naquela escola de tempo integral? Não! A pessoa se matriculou em outra escola, o pai dele mudou de ideia... Ou seja, a gente perturbou as pessoas. E, naquele momento que estavam sendo perturbados, elas disseram:”está bom, eu me inscrevo”. Mas, na hora realmente de se inscreve, não se inscreveu! Então, na verdade, eu percebi que é melhor ter uma divulgação mais básica, como a Secretaria de Educação estava fazendo; Se você tenta fazer um super estímulo à demanda, aparece uma demanda que não é a real, entendeu? Aí você faz um sorteio e não adianta nada. No “Laborarte”, aconteceu a mesma coisa. Para estimular a demanda, fizeram eventos culturais. Fizeram um monte de coisas. Aí chegavam nas pessoas e falavam assim: “assina aqui que você quer participar do programa!”. Eles assinavam. Daí, depois a gente foi visitar essa pessoa na casa dela. Um terço dos que assinaram ali disseram que iriam participar do programa, quando visitei na casa deles. Imagina no dia que começar o programa então! Então, você tem que ter muito cuidado com essa demanda! Porque senão, depois na hora que você fizer o sorteio e tiver um problema como a geste está tendo, não tem avaliação! Porque se achava que tinha excesso de demanda e na verdade o seu sorteio não adianta de muita coisa. Porque, na verdade, não há excesso de demanda e você mal está conseguindo preencher as suas vagas. Entendeu? Porque você precisa de um excesso de demanda, não adianta gerar um excesso de demanda. Porque, em certo sentido, é artificial. No caso do “Laborarte”, a gente teve até um problema. O pessoal que faz a entrevista é o mesmo pessoal que é de uma ONG que faz o programa. Então, na hora em que eles perceberam que não havia excesso de demanda, o que eles fizeram? Eles tinham uma cota. Se havia “X” vagas, eles tinham que ter “3X” de questionário. E saíam na rua, convencendo as pessoas: “você não quer participar do meu programa?! O programa é muito bom! Pelo amor de Deus!”. Aí mandavam um entrevistador simpático ou uma entrevistadora simpática. Daí as pessoas falavam: “ok, por você, eu vou dizer aqui que quero participar do programa”. E aí, na hora do sorteio, não adianta nada. Então, nós estamos agora tendo que refazer toda a comunicação com essas pessoas para saber se realmente querem participar do programa. E aí, decidir se eles realmente vão entrar no sorteio e fazer um sorteio com uma estimativa real de excesso de demanda. Então, um dos truques que a gente está fazendo agora são vários sorteios. Em vez de fazer um sorteio onde os sorteados não entrando, você chama a lista de espera e assim acaba com a sua lista de espera; a gente está fazendo sorteios sucessivos, ou seja, faz-se o sorteio. Quem veio, veio. Quem não veio, abre-se de novo a inscrição. Aí você faz propaganda de novo. Daí, os novos mais os que não foram sorteados participam de um outro sorteio. E aí, você vai fazendo sorteios até se preencher. Então, vai se fazendo sorteios até você preencher. As pessoas do seu último sorteio sempre vão ser um grupo válido. Entendeu? Então, aqui é só para ficar esse aviso. Cuidado para não ser esperto demais e estimular a demanda igual eu estimulei, porque não adianta nada.

42:50 ao Fim (Cartela)

Imagem: Ilustração de um mapa múndi em tom azul claro ao fundo. E, em primeiro plano, duas imagens de capítulos posteriores a esta aula com o cabeçalho “Veja Também” em azul escuro. No rodapé, o texto: “Conheça mais em www.redeitausocialdeavaliacao.org.br .

Áudio: Trilha moderna percussiva.