Ir para conteúdo

Biblioteca

Avaliação de Resultado e de Impacto

Aula sobre Avaliação de Resultado e de Impacto ministrada por Ricardo Paes de Barros.



Avaliação de Resultado e de Impacto - Parte 09

Sortear o quê? Que unidade utilizar?

Ir para a transcrição do vídeo

Transcrição

00:00 a 00:08 (Vinheta de abertura)

Imagem: Vinheta de abertura. Ilustração de um mapa múndi na cor azul clara ocupa toda a tela. A logomarca da Fundação Itaú Social aparece ao centro e alguns ícones na cor branca aparecem formando um círculo central ao redor da logomarca. A logomarca desaparece, dando lugar ao texto em azul escuro: “Curso Avançado de Avaliação de Políticas Públicas e Projetos Sociais”. Na sequência, os textos são substituídos por um retângulo grande azul escuro na parte central da tela. Dentro dele, está escrito: “Avaliação de Resultado e de Impacto, Professor Ricardo Paes de Barros, 20 de Janeiro”. Abaixo do retângulo, também em azul escuro, o texto “Sortear o quê? Que unidade utilizar?”.

Áudio: trilha moderna percussiva.

00:09 a 53:43 (Ricardo Paes de Barros)

Imagem: Professor Ricardo Paes de Barros, da Fundação Itaú Social, está à frente de uma sala de aula com um telão e lousa verde atrás dele. Ele está de pé e apresenta os conteúdos olhando para a turma.

Áudio Professor: Bom, você tem que sortear o quê? Você pode sortear o acesso ao programa. Falar: “olha, você vai ter acesso ao programa ou você não vai ter acesso ao programa”. Aquilo que eu estava falando do “Protejo” era meio que isso. Ou se tem acesso ao programa ou não se tem acesso ao programa. Quando eu estava sorteando creche aqui, era isso: ou você tem acesso à creche ou não tem acesso à creche. Quando eu estou falando do Unibanco, ele não vai lá e diz assim: “essa escola tem acesso ao meu programa e essa escola não tem acesso ao meu programa”. O que ele faz? Ele diz: “eu não estou sorteando se você tem ou não acesso. Todos vocês terão acesso. A questão é quando. Eu estou sorteando o quando”. Ou seja, cria-se uma janela de quando a unidade entrará no programa. E é curioso porque a maioria dos programas têm um phase-in, onde as várias unidades são espalhadas no tempo. Só que em vez de a pessoa sortear aquilo, ela usa uns critérios mais loucos, o que atrapalha dramaticamente a avaliação e que resolveria totalmente o problema da avaliação. Eu vivo lutando com o instituto Ayrton Senna, com isso. Eles espalham o atendimento, mas nunca espalham atendimento de maneira aleatória. Aí, a gente fica sempre contrastando os beneficiários atuais com os futuros beneficiários. Eu nunca sei se o beneficiário atual é representativo do futuro beneficiário, entendeu? Se há algum viés de seleção na ordem disso. Dado que não se tem nenhum critério, a melhor coisa é escolher aleatoriamente a sequência. Na verdade, o Unibanco escolhe quem vai ser atendido no primeiro ano, no terceiro ano e no quarto ano. Evidentemente que, para mim, a grande a utilização é o primeiro ano com o quarto ano. No fundo, eu abro uma janela de três anos de avaliação. Durante três anos, eu tenho escolhidos aleatoriamente alguém no programa e alguém fora do programa. É claro que, no primeiro ano, eu tenho também quem vai ser atendido no segundo e no terceiro. Em uma avaliação de três anos, tem-se isso. Só que a partir do quarto ano, não existe impacto. Então, eu sei que aquele impacto que eu mostrei para vocês é o impacto de três anos. Mas o impacto de quatro anos, eu não faço mais a vaga a ideia e nem vou conseguir saber, porque eu não tenho controle para o quarto ano. O controle foi embora. Mas, às vezes, você não aleatoriza o momento. Você pode aleatorizar outras coisas. Existe um estudo da Geekie, que o INSPER está fazendo. Sabem o que é a Geekie? É uma empresa, uma dessas startups já bem grandinhas. Eles criaram um programinha que ensinam como fazer o GRE, ou seja, ele diz em que você está errando e o que você deve estudar para acertar mais. O Geekie é um programinha como esse para o ENEM. São simulados e simulados. Você vai fazer simulados e ele vai te dizer: “o que você não sabe é isso. E se você não sabe isso, olha essa aula da Khan Academy. Olha isso! Leia isso! Veja isso!”. Então, ele tem uma série de coisas que ele pegou na internet e em outros cantos. Ele te avalia e vai te dizendo o que você tem que estudar. Então, muitos colégios privados usam isso. É individualizado. Ele te ensina e começa a entender, inclusive, que tipo de meio você aprende melhor. Você diz assim: “não estudei tal vídeo”. E ele: “mas você continua errando! É melhor ler alguma coisa, porque escutar direito você não sabe. Então, vai lá e lê alguma coisa”. (risos). Daí, o aluno vai lá, lê e aí acerta. O Geekie está fazendo a meta cognição por você. Ele está dizendo: “olha, a sua melhor maneira de aprender é desse jeito, não é daquele jeito”. Ele vai te guinado. Ele é exatamente a meta cognição, feita por uns caras egressos do ITA, sei lá! É um tremendo programa de computador que faz esse negócio para você. Em breve, estará disponível no Brasil inteiro. Qualquer pai poderá comprar isso para o filho dele fazer! Deve ser difícil evitar que alguém pegue emprestado com um amigo e faça também. Ou seja, como é que ele mantém a propriedade privada desse negócio. Em São Paulo, parece que eles deram de graça para a rede. Só que para você usar isso, obviamente você precisa de um computador! E voc6e precisa de um computador relativamente bom e o acesso à internet tem que ser muito bom para a coisa realmente funcionar. Senão, você manda um monte de informação para a pessoa, processa lá, manda para cá... você está trabalhando com o seu computador junto com outro computador, processando um monte de coisas. Eles deram isso para várias escolas. Aí, eles resolveram avaliar o impacto. Eles falaram assim: “não tem como aleatorizar! Eu já dei para todas as escolas. Como é que eu vou excluir escolas?”. “Você deu para a escola mas eles nao estão usando”. E, na verdade, na Geekie, eles sabem quem está usando porque obviamente está acessando o sistema deles e gastando o tempo de sistema deles. Eles sabem exatamente quem está usando o sistema deles. Então, eles sabem qual a intensidade de uso em cada escola, de cada aluno. No caso do usuário, eles sabem quem está usando, que horas está usando, quantas horas usou, sabe tudo.. Então, foi aleatorizado um sistema de incentivar o uso do programa. Então, em algumas escolas, eu chego lá e posso fazer uma palestra de como usar o Geekie. Ou eu posso levar alguém que usou Geekie e passou no ENEM ou tirou uma nota muito boa do ENEM. Ou eu posso disponibilizar computadores para usarem o Geekie. Então, eu posso aleatorizar não o acesso ao Geekie, mas eu posso aleatorizar o incentivo para que se use o Geekie. O que isso vai gerar? Vai gerar uma variação exógena na intensidade com que as pessoas usam Geekie. Portanto, a intensidade com que as pessoas usam Geekie pode ser instrumentalizada. Eu posso ter a intensidade com que as pessoas usam Geekie como a minha variável cujo coeficiente dela seria o impacto. E um instrumento para essa variável o quanto intensamente você usa o Geekie é uma coisa que eu aleatorizei, que é esse programa. Então, essa é uma maneira de você fazer uma coisa experimental para uma coisa que, em princípio, seria universal. O grande problema com isso é você ser muito cuidadoso de que este programa que você está tentando fazer, o de as pessoas usarem o Geekie, não tenha um impacto direto sobre o ENEM. Se eu levo alguém lá que passou ou que tirou uma nota boa no ENEM e todo mundo ficar falando que vai estudar mais para o ENEM, eles não estão acessando mais o Geekie. Eles estão querendo estudar mais para o ENEM. Então, eu tenho que ter cuidado de não motivar mais para o ENEM. Eu tenho que motivar mais para usar o Geekie, dado o incentivo que ele tem para fazer o ENEM. Caso contrário, eu não estou pegando o impactado do Geekie, mas o impacto do Geekie mais o impacto desse incentivo que eu dei. Então, eu tenho que er certeza de que esse incentivo afeta a utilização e só afeta a minha nota do ENEM via essa utilização. Ele não tem um impacto direto sobre o ENEM. Ele só afeta a minha nota do ENEM via o impacto que ele tem sobre essa variável.

Áudio Aluno: Como eu operacionalizo isso?

Áudio Professor: Para um conjunto de escolas, a Geekie montou um programa especial de ir lá e motivar os alunos. O grande desespero deles é que eles não estão conseguindo uma grande diferença na utilização do Geekie nas escolas que eles incentivam daquelas que eles não incentivam. E toda identificação aqui vem da diferença do nível de utilização. Então, basicamente um conjunto de escolas aleatório foi escolhido. E aí uma equipe, nessas escolas, dá um tratamento especial. Dão a essas escolas acesso privilegiado ao laboratório de informática para os usuários do Geekie. Coisas assim. O que é aleatorizado é essa segunda onda do programa, que é o incentivo para usar o programa.

Áudio Aluno: Um acaso análogo que eu estou pensando aqui, na área da Saúde. Não entendo muito de economia da Saúde, mas... Por exemplo, vamos supor que eu vou te dar um remédio para alguma doença. Pelo conselho de ética, você precisa estar ciente que vai tomar um remédio. Então, nesse cenário, se eu sei o remédio que eu vou te dar, eu posso impactar no resultado final. Aí, o que eles fazem em muitas vezes? Eles fazem com que a pessoa que está dando o remédio também é cega. É o duplo cego. No caso, o médio não sabe o que está te dando. Porque se eu souber que estou dando o remédio correto, eu posso falar: “tome água, faça isso, faça aquilo”. E tem um outro tipo que é triplo cego. É quando eu coloco algum intermediador aí no meio para fazer a ponte entre o médico e quem está tomando o remédio. Essa ideia aí é algo parecido com isso?

Áudio Professor: Não, não. Não, porque aqui não tem nada cego. O problema da política social é que você não consegue fazer cego. Na medicina, a pessoa que está tomando remédio não sabe. Ele acha que está tomando remédio, mas ele não está. Ou pelo menos, ele não sabe se está tomando remédio ou não está tomando o remédio. Aqui, não tem jeito! Voce fala assim: “vá e faça o Pronatec!”. Mas aí não existe de não saber se está fazendo o Pronatec ou não. Eu teria que fazer um Pronatec que eu esteja absolutamente seguro de que não serve para nada, que é o placebo! É o remédio que eu sei que não serve para nada. É pura água com açúcar. Então, na área social, não tem como gerar o placebo. É visível para a pessoa que ela está ou não fazendo o programa. Aqui, o equivalente na Medicina seria o seguinte: eu te dou um tratamento, mas esse tratamento depende muito de você seguir à risca o que o médico está mandando fazer. Só que eu vou ter que dar o tratamento para todo mundo! Uns vao seguor mais à risca, outros menos. Então, para um grupo aleatoriamente escolhido, eu sento com eles e explico sobre o programa. Então, esse grupo vai levar mais a sério as recomendações e vai seguir o protocolo, que ele tem que seguir, mais à risca. E a diferença entre seguir mais à risca e seguir menos à risca é que vai definir o impacto do programa. Entendeu? Este seria o análogo na Medicina. Ou várias outras coisas! Existe o agente comunitário de saúde. Todo mundo tem gente que é comunitário de saúde. Mas, você pode, em um lugar, dar um incentivo para as pessoas levarem mais a sério o que o agente comunitário de saúde está fazendo. Você dosa alguma coisa que tem a ver com a intensidade com que uma pessoa realmente usa o que ele está recebendo. A outra coisa é se você puder, você mesm,o modificar a dosagem! Existem programas em que a pessoa participa um ano, outro participa dois, outro participa três. E, em vez de ser definido por sorteio, é definido de uma maneira com não sorteio. Então, você pode mexer na dosagem. Se todo mundo recebeu alguma dosagem de um, você tem como dar um dosagem maior, outra bem maior e o outro, pequenininha. E aí, pela diferença de dosagem, você consegue pegar o impacto do programa onde a diferença de dosagem foi definida em sorteio. A outra coisa é o seguinte: existem programas que têm vários módulos. Isso aqui é muito importante, porque tem a ver com o que estava falando em definir bem as alternativas. Então, por exemplo, no Instituto Ayrton Senna, a gente está fazendo uma coisa desse tipo. Existe um programa chamado “Se Liga”, que é um programa de alfabetização de crianças que, aos 9 ou 10 anos de idade, ainda não estão alfabetizadas. Faz-se um teste de alfabetização na sua rede, pinça as crianças com mais de 9 e 10 anos, que ainda não estão alfabetizadas e que estão ali na rede. Joga em uma sala especial. Essa sala tem um programa de um ano, que alfabetiza a turma bem à beça. Depois, você joga de novo essas crianças na série em que elas estavam. Então, é esse o programa “Se Liga”. A gente tem um outro programa, que não é do Instituto Aytton Senna. É de uma outra ONG chamada ZAC, que é o “Amigos do Zippy”. É um programa sócio emocional que faz aquelas coisas que o Professor Daniel deve ter explicador para vocês. Ele ensina as crianças a lidarem com as suas emoções. Fundamentalmente, lidar com frustrações, com perdas e etc. É um programa de coping, ou seja, você poder lidar com os seus problemas. Então, o que a gente está fazendo é o seguinte: em Manaus, todo mundo vai receber o “Se Liga”. E metade das turmas, que tem o “Se Liga”, tem o “Amigos do Zippy” também. Então, a diferença é que um grupo está recebendo duas coisas e o outro grupo está recebendo só uma. Então, a vantagem disso é que eu sei exatamente o que é não receber o “Amigos do Zippy”. Não receber o “Amigos do Zippy” significa receber o “Se Liga”. Eu sei exatamente o que é a minha alternativa. E eu sei também quem é o meu controle. Então, muitos programas têm vários módulos. No caso do “Jovem de Futuro”, do Unibanco, a gente fica sempre tentando fazer isso. Só que a gente não consegue amostra suficiente para fazer isso. O programa tem vários módulos. Então, a gente gostaria, por exemplo, de em um estado aplicar o programa com um módulo em algumas escolas, não aplicar em outras e aplicar com os dois módulos numa outra. Só que isso quer dizer que você tem que pegar a sua amostra e dividir por três. E já se tem dificuldade em estimar o impacto, como vocês viram aqui com dois grupos! Ter três grupos complica em duas dimensões. Primeiro, por ter três grupos, você tem amostras menores. Você vai dividir por três a sua amostra total ao invés de dois. E, por outro lado, como você tem três grupos, o impacto é como você tivesse uma escada e que você colocasse um degrau no meio, ou seja, o tamanho do impacto é menor. Então, você tem que estimar um impacto menor, porque, obviamente, é uma fração do seu impacto total, como uma amostra menor. Então, você está complicando dramaticamente a sua vida! É como se tivesse que ver uma estrela menor com um telescópio pior. Você está dificultando. Esse aqui é um outro programa em que a gente está trabalhando, que é o programa “Rio Rural”, de pobreza rural no Rio de Janeiro, mas que tem um programa muito parecido em São Paulo, no Paraná e em Santa Catarina. Basicamente, é um programa cuja a unidade dele é uma microbacia. É um programa que trabalha com microbacias. Você tem que entender que todo mundo do planeta Terra vive em uma microbacia. Quem são as pessoas que vivem em uma mesma microbacia? São aquelas que, se um pingo d'água cair ali, elas vão correr para o mesmo lugar. Então, se existem duas montanhas, tanto nesta encosta quanto naquela encosta, a água vai correr para o mesmo canto. Se a pessoa estiver ligeiramente depois do pico dessa montanha, a água vai correr para o outro lado e aí é uma outra microbacia. Todo mundo vive em alguma microbacia. Em alguns lugares muito planos, fica difícil à beça se decidir exatamente como é o negócio. Então, existem as regras técnicas dele, mas o questão é que a pessoa consegue dividir o mundo em microbacias. Na área rural, em uma microbacia tipicamente, vào existir de 500 a 100 pessoas vivendo. Então, no Rio de janeiro, o programa está em 200 microbacias e a nossa avaliação é em 92 microbacias, porque é a área aonde o programa foi expandido. O programa começou no Norte-Noroeste do Estado. Já universalizou lá e não dá para avaliar lá. Então, ele saiu do Norte-Noroeste do Estado e foi para o Centro-Sul do Estado do Rio, que é onde a gente pode aleatorizar. Então, estamos falando aqui de um milhão de hectares. É um negócio grande. O que a gente fez aqui? Esse é um programa que vai na microbacia e faz as pessoas se organizarem. O programa dá um dinheiro relativamente grande. Alguma coisa como 5 mil reais para o agricultor familiar fazer um melhoramento na propriedade dele. Então, dá-se dinheiro e a pessoa gasta o dinheiro do jeito que quiser. Não é um empréstimo, é dado. Então, chega-seà microbacia e fala: “cada um aqui vai ganhar 5 mil reais”. Daí a pessoa fala: “opa, estamos dentro!”. Só que não é assim. Eles têm que se organizar e criar um conselho gestor da microbracia, porque, no fundo, isso é uma questão de gestão da água. Quer que sejam feitas melhoras na sua propriedade que vão melhorar a drenagem da água. Dessa maneira, não só você vai poder usar água, mas a sua água, na verdade, vai servir alguém rio abaixo. E aí esta pessoa vai se dar melhor, porque vai existir mais água menos poluída. A ideia é essa! Então, é um programa de melhora ambiental com aumento da aprodutividade agrícola. Então, você vai ficar menos pobre e você vai melhorar o meio ambiente. E eu vou te dar 5 mil reais para se fazer isso. Só que, para fazer isso, envolve uma tremenda organização da comunidade, porque ela tem que fazer um diagnóstico rural participativo, um DRP. Então, eles se juntam, fazer um diagnóstico da microbacia deles do que estão ou não precisando etc. E formam um grupo gestor da microbacia. Então, eles criam um grupo gestor e eles têm um diagnóstico do problema geral deles. E aí, é como eles formassem uma associação. Então, essa associação acaba tendo uns 100 produtores participantes daquilo. Aí, o que eles têm que fazer? Cada um daqueles 100 vai receber 5 mil reais. Só que não todos ao mesmo tempo. Cada produtor entra na fila. E aí, chega para conversar com ele um ATER, que é o assistente de extensão rural. Aí, ele vai sentar com cada produtor e fazer um plano de desenvolvimento daquela propriedade. Ele pergunta: “o que é uma coisa legal para a sua propriedade melhorar?”. Então, faz-se um plano completo de desenvolvimento daquela propriedade, que o produtor ganha gratuitamente! Uma tremenda ciência técnica! E aí fala-se: “bom, dado que o plano é esse, vamos pegar o nosso 5 mil reais e colocar aqui”. Tem que se fazer isso produtor a produtor. Então, tem que se pegar os produtores e colocar em uma fila. O que a gente conseguiu com eles? A gente queria primeiro aleatorizar as microbacias. E as microbacias também têm processo sequencial. Mas, quando a gente chegou, já se tinha negociado um processo de entrada das microbacias. Então, a gente não pôde aleatorizar a entrada das microbacias. O que a gente aleatorizou? A entrada dos produtores em cada microbacia, ou seja, a ordem com que os produtores entram é aleatória. O divertido disso é o seguinte: a gente fez um programa que aleatoriza isso por sorteio, que é feito por eles mesmos. Eles mesmos que aleatorizam. O curioso é que eles usam isso inclusive nas microbacias que nós não estamos avaliando! Chegaram à conclusão de que a melhor maneira de eles mesmos descobrirem quem vai ser o primeiro era por sorteio. Então, a gente dá para a pessoa o mecanismo de eles fazerem um sorteio, que é um sorteio feito por computador de qual é essa ordem com que eles vão entrar. Então, eles usam isso em tudo que é microbacia, mesmo na Norte-Noroeste, onde a gente não está avaliando. Então, o que eu tenho? Eu tenho os primeiros a entrarem e os últimos a entrarem. Qual o problema disso? O grande problema disso é o que está aqui. Suponham que tem um certo resultado que varia no tempo assim. Aqui é como o resultado variaria no tempo sem o programa. Com o programa, provavelmente o resultado variaria assim. Então, se eu pudesse acompanhar o controle para sempre, eu iria ver isso. Se eu pudesse acompanhar o tratamento para sempre, iria ver isso. A diferença disso seria o impacto do programa. E dado que é um programa agrícola, essas coisas, em geral, levam um tempo para maturar. O que acontece? Eu só consigo observar o controle por um curto período de tempo. Então, eu observo o controle até aqui. E depois, o meu controle vira tratamento, porque ele começa a ficar paralelo a essa linha aqui, de tratamento. Então, isso aqui já não é mais impacto. Ou seja, a minha janela de avaliação é curta, porque depende quão rápido a fila anda. E as pessoas estão querendo que a fila ande rápido, porque quem está atrás está deixando de receber 5 mil reais. Então, faz-se essa fila andar. Então, eu estou limitado por quantas pessoas têm na fila e por quanto tempo vai demorar entre a primeira e a última. Esse é sempre o problema de você aleatorizar o momento de entrada. Aleatorizando o momento de entrada, está se colocando um limite em até quando se pode avaliar o impacto. Você pode avaliar o impacto até quando os controles comecem a ser atendidos. Então, o impacto no curto prazo é aquele. E o impacto no longo prazo, eu não vejo. Não posso nem estimar. É claro que eu não vou calcular isso aqui e chamar de impacto a longo prazo, porque eu sei que essas pessoas aqui já estão sendo beneficiadas desde aqui. A partir daqui, esse grupo começa a ser beneficiado e ele começa a descolar dessa linha e sobe. Então, eu só consigo medir até ali, enquanto ele é controle. É exatamente a mesma coisa do “Jovem de Futuro”. Que unidade a gente deve usar? O indivíduo é o ideal, porque, no fundo, a gente quer modificar as pessoas, a maioria dos impactos. Apesar, por exemplo, de o Unibanco ser um programa de gestão de PDCA, a gente quer calcular o impacto sobre o aprendizado dos alunos. Mas, você pode ter impacto sobre turma e sobre escola. Mas, deixa eu mostrar para vocês o tipo de confusão naquela coisa do Unibanco. Vou contar a confusão em quem a gente está metido. E aí você começa a ver a diferença de simplesmente se falar de “Y1” e “Y0” e você conheceu o “Y1” e “Y0” na prática. Vamos pensar no Unibanco. É um programa que chega lá na escola, tenta mudar a gestão da escola e mede a nota dos alunos no final da terceira série. Então, isso aqui no eixo horizontal do gráfico é antes. E isso aqui é três anos depois. Aqui no eixo vertical, isso é o aprendizado em Matemática. Eu estava aqui. No controle, fui para cá. O tratamento foi para cá. Esse ponto inicial de ambos é mais ou menos parecido, porque eu aleatorizei. A diferença entre as duas linhas é o impacto. Esse aqui é o controle e esse, o tratamentose. Tudo isso são as notas na terceira série. Dado que são as notas na terceira série, óbvio que esse aluno antes é igual a esse aluno depois, porque eu estou pegando a nota na terceira série no início e no final. A pergunta é: isso aqui é um impacto sobre aluno ou não? Isso é outra coisa que o conselho do Unibanco fica preocupado. E eu não sei se eu já consegui explicar isso para eles. Nós estamos medindo o impacto sobre o aprendizado do aluno ou não? Isso aqui deu 5.

Áuduio Aluno: Provavelmente não.

Áudio Professor: Em que sentido. Eu não entendi.

Áudio Aluno: O programa vai ter um efeito, só que esse efeito provavelmente é potencializado pelos coleguinhas de classe dele, que também estão no programa.

Áudio Professor: Sim, se for isso, é sobre o aluno. Mas o que afeta não ser sobre o aluno?

Áudio Aluno: Esse 5 não vai ser sobre o aluno. Não vai ser sobre o programa. Vai ter outra finalidade aí.

Áudio Professor: Não estou vendo. Qual?

Áudio Aluno: Na minha cabeça, ele vai ter contato com outras crianças...

Áudio Professor: Mas todas as crianças estão sendo beneficiadas pelo programa. Se ele está aprendendo mais porque o coleguinha dele aprendeu, o coleguinha dele aprendeu por causa do programa. Então, ou ele aprendeu mais que porque o colega dele aprendeu ou por causa do programa. Nesse sentido, todo peer effect é parte do meu programa, porque eu estou atingindo toda a comunidade. Se o meu grupo de controle fosse uma outra turma naquela mesma escola, pode ser que aquela outra turma tivesse contaminada. Aí eu estaria em apuros. A minha outra turma está em outra escola. Vamos esquecer esse número aqui, porque tanto faz se eu vou trabalhar com a diferença ou com a diferença de diferença. Dado que isso aqui é igual, vou me concentrar nessa diferença aqui, entre tratamento e controle. Isso aqui é o que aconteceu, 3 anos depois, com o aprendizado dos alunos na escola de controle. E isso aqui é o que aconteceu, 3 anos depois, com os alunos na terceira série da escola de tratamento. Isso aqui aponta para o que seria o aprendizado na terceira série dessa escola, caso essa escola não tivesse tido acesso ao programa. Certo? Se essa escola não tivesse tido acesso ao programa, o resultado na terceira série deveria ter sido esse aqui. Então, isso aqui é a nota que esta escola teria na terceira série, se ela não tivesse tido acesso ao programa. Também é verdade que essa nota aqui é o que essa escola teria, se ela tivesse tido acesso ao programa. Só que o programa tem dois efeitos. O programa, pensando daqui para cá fica mais fácil, não sei porque. Se eu pegar essa escola de controle aqui, ela hoje tem um conjunto de alunos “Ac”. Se ela tivesse acesso ao programa, esses alunos “Ac” teriam aprendido mais Matemática. Mas, o que esses alunos “Ac” teriam aprendido de Matemáticas na presença do programa não é isso (nota do tratamento). Porque? Porque o programa tem um impacto sobre o “Ac”. É como se o impacto do programa fosse 1 sobre “N” dos “Y1”de cada aluno, menos o 1 sobre “N” do número de alunos. Só que o número de alunos pertence a um “Ac1”. E os alunos daqui pertencem a um “Ac0”. Ou seja, o programa afeta duas coisas. Ninguém disse que, ao ter o programa, o corpo de alunos não vai mudar mesmo que a escola fosse uma coisa fechada, porque as suas taxas de aprovação mudam. Se o programa reduz a taxa de reprovação, vai haver muito mais aluno aqui (no tratamento) do que aqui (controle), porque estarão reprovados. Então, se o programa vai lá na escola e reduz a taxa de reprovação, ele faz um monte de aluno, que estariam retidos, aparecer na terceira série. Além disso, ele pode atrair alunos de fora. E reduzir a taxa de evasão. Então, alunos que não apareceriam aqui (no controle) porque tinham evadido, pode ser que apareçam aqui (no tratamento), porque deixaram de estar evadidos. Alunos que não apareceriam aqui (no controle) porque foram reprovados, poderiam aparecer aqui (no tratamento) porque deixaram de ser reprovados. Ou seja, o programa tem impacto não só no aprendizado de cada aluno, mas ele tem impacto no conjunto de alunos que aparecem na terceira série.

Áudio Aluno: Mas se você segue os alunos ao longo do tempo, você tem como saber isso, certo?

Áudio Professor: Aqui, eu não tenho como seguir os alunos ao longo do tempo. Estes alunos são completamente diferentes desses. Há menos que o aluno repetiu três vezes a terceira série!! Isso aqui é a terceira série da escola e aquilo é a terceira série da escola. Mesmo que você esteja seguindo os alunos, os alunos que estavam aqui originalmente não estarão ali, três anos depois. Alguns estarão na segunda série, outros ainda estarão na primeira série, outros estarão em outras escolas, outros estarão fora da escola... Então, uma coisa que a gente fez no “Jovem de Futuro” foi pegar um conjunto original de alunos que foram aleatorizados e seguir. Só que esses alunos estão em tudo, menos na terceira série da mesma escola. Pegar os alunos aqui (no controle) que, há três anos, estavam na primeira série, não tem nada a ver com avaliação experimental, porque os alunos que estão aqui (no controle) e que estavam na primeira série são completamente diferentes dos alunos daqui (do tratamento) e que estavam na primeira série no início. Um não é amostra aleatória do outro. Não tem nenhuma razão para ser exatamente porque o programa tem impacto sobre as taxas de reprovação, aprovação e etc. Algumas vezes, olhando para isso aqui, a pessoa fala o seguinte: “então, isso aí não é nada”. Iso aqui é uma coisa muito clara. É uma característica da escola. A nota média da escola na terceira série é uma característica da escola. Logo, isso aqui é um número bem definido. E esta nota média da escola no final da terceira série, na ausência do programa, seria essa (do controle). Então, este aqui é o impacto sobre a nota média da escola na terceira série. Só que este programa afeta duas coisas. Ele afeta o aprendizado e ele afeta o suporte da distribuição. Ou seja, a nota média na terceira série com o programa é a média de uma outra variável que foi afetada pelo programa. Só que a média é medida em um outro conjunto de alunos, em outro suporte. Você está mudando o suporte. Obviamente que o que o conselho do banco quer saber é: “qual foi o impacto sobre o aluno? Porque, é isso que importa para mim”. E se você está atraindo bons alunos? e se tudo o que a escola fez foi roubar bons alunos dessa escola aqui (controle) e levar para lá (tratamento)? Eu posso não mudar o “Y” e simplesmente mandar embora todos alunos ruins e ficar só com os alunos bons. Se eu quero uma escola típica para ser uma escola de elite, eu trouxe os alunos bons, mandei os alunos ruins embora, a minha nota aumentou e eu não tive impacto nenhum sobre o aprendizado! Não é esse o programa que eu quero fazer, porque esse programa eu faço para um conjunto de escolas. Se eu tentar fazer para todo mundo, não vai ter de quem roubar os alunos. Então, como eu separo essas duas coisas? Eu não tenho como separar, porque simplesmente isto não é o impacto sobre aluno. Para ser um impacto sobre aluno, teria que ser um conjunto fechado de alunos. Eu teria que pegar um conjunto fechado de alunos e tentar calcular o impacto sobre eles. Seria o seguinte: pega esses alunos que estão aqui (no controle). Esses são os alunos que, na ausência do programa, estavam aqui. Qual seria a média desses alunos, caso essa escola tivesse acesso ao programa? Não faço a mais vaga ideia. Não é isso! Porque aqui mudou o suporte, mas tudo o que a aleatorização me dar é isso o que acabei de escrever: a soma dessas duas coisas. Eu aleatorizei as escolas aqui e segui as escolas. Você pode dizer o seguinte: “vamos seguir os alunos!Mas vamos pegar uma coisa retrospectiva”. Esse alunos aqui você sabia quem eram eles aqui atrás?. Sim, sei quem são eles. Na presença do programa, esses alunos (do controle) seriam diferentes. Seriam o “Ac0”. Esses outros aqui (no tratamento) seriam o “Ac1”? Sim. Mas aqui eu tenho uma outra coisa. É uma outra escola, com um bandode aluno. Como é que eu vou na terceira série dessa escola, que tem um conjunto de alunos, saber qual desses alunos (no tratamento) são esses aqui (no controle)? Eu não tenho como saber. Não tenho como calcular uma média aqui, porque o conjunto de alunos aqui é sempre diferente do conjunto que eu tinha três anos atrás. Por que? Reprovação, aprovação etc.... O que eu tenho que simular aqui não é um conjunto igual ao que eu tinha três anos atrás, na primeira série. Eu posso fazer isso também! Mas aqui, eu tenho um conjunto de alunos da terceira série. Eu tenho que descobrir quais alunos que eu teria aqui, na terceira série, caso eu não tivesse acesso ao programa. Eu não sei quais alunos eu teria aqui se a escola não tivesse acesso ao programa, porque eu não sei que impacto teria sobre as reprovações, aprovações... e eu tinha que ter essas reprovações e aprovações para cada aluno! Então, eu não consigo saber isso. E esse aluno aqui não está me apontando para isso e vice-versa. Eu podia pegar quem está aqui (no controle) e que, há três anos, estava na primeira série. Isso, eu sei. Os alunos sempre aprovados. Os sempre aprovados é um subconjunto desses alunos aqui (no controle). Eu sei que eu tenho um grupo de sempre aprovados aqui. E eu tenho aqui (no tratamento), um sempre aprovado. Eu posso daqui destacar o aluno que foi sempre aprovado, que é quem, três anos atrás, estava na primeira série quando o programa começou. Eu sei quem são esses alunos. É um subconjunto. Eu sei quem são esses outros sempre aprovados aqui. É um subconjunto aqui. Eu posso calcular a média das notas desses alunos? Eu posso. Não tem nada que me diga que o contrafactual desse aluno (do tratamento) é esse aluno (do controle). Não tem nada aqui que me diga que esse grupo é equivalente a esse outro grupo, na ausência do programa. Por que? Porque o programa modifica quem é esse grupo dos sempre aprovados do tratamento. O programa modifica as taxas de reprovação. Por exemplo, pode ser que aqui todo mundo foi aprovado. Então, pode ser que eu tenha todo o meu grupo inicial de alunos. E pode ser que aqui eu tenha um terço do meu grupo original de alunos, onde todos os alunos ruins foram reprovados. Pode ser que a nota desse aluno (do controle) seja maior que a nota desse outro aluno (do tratamento). Porque, aqui (no controle), essa escola mandou todos os alunos ruins embora e os alunos bons ficaram. E essa escola aui (no tratamento), continua com amostra original intacta. Mas eu estaria comparando amostra original intacta com aqueles que sobreviveram nessa escola. Obviamenteque que isso aqui não é uma amostra aleatória daquilo ali. Obviamente que eu perdi a avaliação experimental há algum tempo. Então, isso mostra que essa coisa de qual unidade utilizar é delicado.

Áudio Aluno: Aquele método que você comentou mais cedo, de eu fazer um casamento antes, um tratado e um controle. Neste caso, eu não resolveria esse problema, não?

Áudio Professor: Isso aqui é com casamento. Eu faço o casamento a priori. A questão é que o programa tem impacto sobre as taxas de progressão. Se o programa elimina toda a reprovação, o número de alunos que eu vou ter aqui é iguaizinho aos alunos que eu tinha três anos atrás, quando o programa começou na primeira série. E se antes, essas escolas reprovavam loucamente, esse aluno aqui vai ser um grupo completamente diferente daquele grupo que está lá. Então, eu estou comparando a nota de dois grupos, onde o aprendizado do aluno mudou, que é o efeito aprendizado puro. Um outro efeito é o efeito composição. E, por mais que eu tenha feito sorteio, eu não tenho como usar, porque a mensagem básica aqui é o seguinte: não adianta você fazer nada longitudinal, de trás para frente, que preserve o sorteio. Você quer fazer alguma coisa longitudinal que vai em nível de alunos, e a gente fez? Tem que fazer daqui para cá. Ou seja, o que agente fez foi pegar todos os alunos que estavam na primeira série, no primeiro dia de aula, e seguir esses alunos no tempo. Mas é uma loucura, porque existem alunos desses que já estão em casa, alunos desses que estão na segunda série, alunos desses que estão na primeira série, alunos desses na terceira série de outra escola, alunos desses na segunda série em outro lugar... esses alunos são uma bagunça. Você consegue calcular o impacto deles? Consegue. Só que tem que ter o atrito, que é enorme. E mesmo os alunos que você encontra são aqueles que se encontram em casa. “Vamos fazer uma prova de Matemática, tipo ENEM”. O aluno morre de rir, porque ele não vai fazer por nada! Então, a gente deu para eles entrada de cinema na Estação Itaú e ninguém fazia a prova de Matemática, nem de Português. Se fizer, ele vai marcar “X” aleatório direto! Então, não tem como não ter uma quantidade enorme de atrito nesse processo. E tem um outro problema aqui fundamental também na definição do contrafactual. O que você quer dizer é o que esse aluno seria na ausência do programa. Note o seguinte: volta aquela discussão do ex-GAIN e ex-GAP. Se eu pegar aquela escola que está beneficiada e falar: “vamos fazer o seguinte: isso aqui é um par. Vamos trocar? Você é beneficiada e eu sou o controle? E vamos refazer isso”. A expectativa é de que, em média, se eu trocar o par, o caminho vai ser esse (do tratamento). Agora, esse aluno não será esse, se eu acabar com o programa. Por que? Porque esse aluno aqui está sofrendo o impacto do programa, porque o programa faz com que alunos entre escolas mudem de escola. Então, essa escola pode estar perdendo bons alunos. Essa escola, que está aqui, pode estar atraindo alunos daqui, que passaram alguns anos sem se beneficiar do programa. Essa escola que está aqui pode estar se beneficiando de atrair alunos que participaram alguns anos do programa nessa escola. Então, essa escola daqui (no controle) é o que vai acontecer com essa escola aqui (no tratamento), se eles trocarem de posição. Ou seja, se o programa continua existindo, simplesmente eu não tenho acesso ao programa. Então, o que vai acontecer comigo é isso aqui (grupo de controle), porque eu vou estar sujeito a todas essas depredações e canibalismos das escolas no programa Agora, se eu acabar com o programa, o que vai acontecer comigo não é isso. Provavelmente, eu vou ter uma posição melhor, porque eu não vou ter a concorrência de nenhuma escola do programa. Então, isso vem do fato que há certas externalidades, em um certo sentido, porque alunos de uma escola vão para outras escolas. Você não consegue fechar a porta das escolas. O problema existe para quem está no controle. Mesmo que ele não afete o aprendizado de quem está no controle, ele afeta o suporte da distribuição de quem está no controle, porque afeta a composição de quem está no controle. Então, só para falar para vocês que para interpretar essa equação aqui não é trivial. Você não sabe o que é a alternativa e todas essas coisas que a gente está discutindo são delicadas.

53:44 ao Fim (Cartela)

Imagem: Ilustração de um mapa múndi em tom azul claro ao fundo. E, em primeiro plano, duas imagens de capítulos posteriores a esta aula com o cabeçalho “Veja Também” em azul escuro. No rodapé, o texto: “Conheça mais em www.redeitausocialdeavaliacao.org.br .

Áudio: Trilha moderna percussiva.