Ir para conteúdo

Biblioteca

Indicadores Socioemocionais

Aula sobre Indicadores Socioemocionais ministrada por Daniel Santos.



Indicadores Socioemocionais - Parte 05

Quinta parte da aula sobre Indicadores Socioemocionais ministrada por Daniel Santos

Ir para a transcrição do vídeo

Transcrição

00:00 a 00:07 (Vinheta de abertura)

Imagem: Vinheta de abertura. Ilustração de um mapa múndi na cor azul clara ocupa toda a tela. A logomarca da Fundação Itaú Social aparece ao centro e alguns ícones na cor branca aparecem formando um círculo central ao redor da logomarca. A logomarca desaparece, dando lugar ao texto em azul escuro: “Curso Avançado de Avaliação de Políticas Públicas e Projetos Sociais”. Na sequência, os textos são substituídos por um retângulo grande azul escuro na parte central da tela. Dentro dele, está escrito: “Indicadores Socioemocionais, Professor Daniel Santos, 7 de Janeiro”. Abaixo do retângulo, também em azul escuro, o texto “Parte 5”.

Áudio: trilha moderna percussiva.

00:08 a 23:49 (Daniel Santos)

Imagem: Professor Daniel Santos, da Fundação Itaú Social, está à frente de uma sala de aula com um telão e lousa verde atrás dele. Ele está de pé e apresenta os conteúdos olhando para a turma.

Áudio Professor: Quando eu tenho vários itens e vários indivíduos, eu tenho duas fontes diferentes de informação, de variação dos meus dados. Eu tenho indivíduos acertando e errando em diferentes quantidades e acertando mais ou menos diferentes itens. Isso me permite separar as duas coisas. Então, porque eu tenho variação tanto entre itens quanto entre indivíduos, eu consigo separar esses dois conjuntos de parâmetros. Eu consigo ter indicadores distintos para a dificuldade de cada item e para habilidade de cada sujeito. Bom, mas aí, o que acontece? Quando eu vou olhar o ajuste aos dados desse meu modelo, eu tenho uma complicação. Quando eu vou plotar as curvas características no gráfico, eu percebo que dois itens com a mesma dificuldade podem ter formatos de curva diferentes. Aí, eu me deparo com a seguinte questão: esse modelo é muito restrito, porque ele impõe ex-ante que todos os itens devessem ter a mesma capacidade discriminatória. Só que um desses itens é muito mais discriminatória do que o outro item, que, por sua vez, é muito mais que discriminatório do que um outro que tivesse um outro formato de curva. Por exemplo, se o sujeito tem uma habilidade um pouquinho maior do que o grau de dificuldade do item e ele acerta quase com certeza, então se eu souber qual o grau de dificuldade do item e souber se ele acertou ou errou esse item, eu quase que descubro a variável aí. E se eu gostaria de ter um modelo alternativo que fosse capaz de dar conta de que, em princípio, os itens poderiam ter poderes discriminatórios distintos? No caso anterior, eu estou impondo que todos eles têm a mesma capacidade discriminatória. Foi então que surgiu com isso o modelo de TRI de dois parâmetros, que transforma esse nosso logit. Daí assim, eu consigo estimar esse parâmetro do poder discriminatório do item. Existe uma outra coisa que difere os itens que é a chance de você acertar a resposta chutando! Isso é uma propriedade do item também. Eu tenho alguns itens que, por eliminação, eu tenho mais chances de acertar. Isso levou ao surgimento do terceiro modelo de TRI. Então, esses são os três mais usados. Esse terceiro é o do ETS, que sugeriu um modelo que existe a chance de se acertar chutando. O GRE e o TOEFL tem essa inspiração e foram desenvolvidos no ETS, Educational Trainning Service, lá dos Estados Unidos. É uma organização que, se não me engano, hoje concentra o maior número de estatísticos. ETS começou vinculada a Princeton e depois se tornou uma entidade autônoma. Hoje, faz o TOEFL, GRE e uma série de outras coisas. O Pisa segue o modelo de um parâmetro só. Evidentemente que, para montar o Pisa, é muito mais difícil. Depois que as pessoas perceberam que os itens podiam ter curvas características distintas, para montar uma prova reischiana bem montada, eu preciso tentar estimar um modelo maior e pegar só os itens que realmente têm a mesma variância para montar provas com itens que discriminam de maneira idêntica. Então, isso seriam as duas grandes escolas de psicometria. A primeira delas, como vocês podem ver, a inspiração dela é fortemente o teste high stakes, tem certo e errado. A minha fonte de inspiração é que, com certo e errado, eu começo a descobrir a habilidade das pessoas. Como eu transponho isso para um cenário de low stakes, onde as minhas perguntas são do tipo: “quanto você acredita que consegue falar em público?”. Não é muito claro! Por outro lado, o que foi o enorme ganho da TRI? Foi estimar parâmetros que descrevem o comportamento do item. E, porque eu consigo agora estimar as características do item, eu consigo construir duas provas totalmente diferentes e compará-las. O sujeito faz o TOEFL hoje e um outro faz daqui um mês. E a prova é totalmente diferente. Mas, eu consigo saber o resultado de um e comparar com o do outro. Eu sei descrever quão difícil é cada item e consertar, recalcular e achar o resultado dos indivíduos, livre da contaminação de quão fácil ou difícil foi a prova. Essa é a grande contribuição da literatura. Mais do que isso, TRI permite, de uma maneira quase que trivial, calcular valor adicionado. Quanto que eu aumentei minha proficiência em Matemática ao longo de um ano? Faço duas provas diferentes ajustadas para quanto de um aluno de quinta série deveria saber e eu consigo saber como era o meu resultado antes e como era o meu resultado hoje. Com isso, se eu aplicar várias vezes à mesma prova, existe um efeito do viés de memória: “já fiz essa pergunta antes, já sei qual a resposta certa”. A pessoa pode esquecer, mas vai superestimar o valor adicionado se fizer isso.

Áudio Aluno: Cai a chance de você acertar, dado que você chutou! É isso?

Áudio Professor: Imagina que você tem duas variáveis aleatórias. Uma é a sua intuição. “Quão sugestivo é, por causa da construção da pergunta, a resposta certa?”. Isolando essa primeira, condicional nela, quanto que de fato é, dado a sua habilidade e a dificuldade do item, a sua chance de acertar?”. Aqui, o que eu estou compondo são essas duas variáveis. A primeira é binária, zero ou um. Ou seja, a chance de acertar chutando ou não acertar. Então, a chance de eu acertar o item é a chance de eu acertar chutando mais a chance de eu não acertar chutando, mais a chance de acertar porque eu sei. Então, esse exemplo é um evento onde duas coisas estão acontecendo. Eu não acertei chutando e sabia a resposta, de fato.

Áudio Aluno: A função do logit só entra quando você sabe a resposta? Se você chutou, você não sabe a função do logit. É isso?

Áudio Professor: Imagina o seguinte exemplo. Qual a chance de eu ser pobre, de a minha renda do trabalho ser baixa? Minha renda do trabalho pode ser baixa porque eu estou desempregado ou porque eu estou empregado mas o meu salário é baixo. Se eu sorteasse uma pessoa da população e tivesse que computar a chance de a renda dela estar abaixo da linha de pobreza, como seria a equação? A chance de a sua renda ser menor do que a linha de pobreza seria a chance de ela estar desempregada mais a chance de ela estar empregado, vezes a chance de a renda ser menor que alinha de pobreza, dado que se está empregado. Se ela estiver desempregada, a renda é zero. Eu não preciso multiplicar aquele outro componente porque eu já sei que dá zero. Agora, se ela estiver empregada, não necessariamente a sua renda supera a linha de pobreza. E quais maneiras que tudo isso fica muito mais complexo? Por exemplo, vamos supor que eu também gostaria, no socioemocional, se ele está crescendo ou diminuindo, longitudinalmente, entre o grupo de tratamento e controle, se eu tenho uma linha de base, se o efeito de curto prazo difere do efeito de longo prazo... Vários dos ganhos com esses modelos de TRI a gente gostaria de ter, mas a gente não sabe se isso se aplica a um teste que é low stakes. “Quão bem você consegue falar em público?”. Não existe um certo ou um errado. Como é que eu uso essa estrutura para isso? A gente tem transposto de maneira imediata simplesmente: “essa característica, para um sujeito que é extrovertido, ela é mais difícil. Falar em público é menos difícil falar em público. Se o sujeito consegue mesmo, isso discrimina muito porque ele é muito extrovertido e esse negócio é super difícil. Abordar alguém em uma festa é uma coisa menos difícil”. E assim por diante. Essa é a maneira como tem sido feito, mas não sei se essa transposição direta é a melhor forma de fazer isso. Segunda grande dificuldade que a gente esbarra aqui. A nossa escala não é 0 e 1. É uma escala de 5 níveis, com “concordo muito”, “concordo pouco” etc. Como a gente faz? Existe TRI policotômico, também. Quais outras dificuldades que se tem nessa área? Na TRI, eu preciso acreditar, de imediato, que aquele bando de perguntas é unidimensional. Eu até posso imaginar uma situação em que, se o sujeito estudar muito Português, ele entenderá melhor o anunciado da prova de Matemática isso afeta de alguma forma. Porém, é mais fácil alguém comprar a ideia de que a prova só tem Matemática ali dentro. Em um instrumento socioemocional, a gente aprendeu que existem várias variáveis influenciando aqueles comportamentos. E uma TRI multidimensional é um negócio bastante sofisticado, hoje em dia. Menos sofisticado pela Matemática que está por trás, mas muito sofisticada pela computação que está por trás.

Áudio Aluno: Se você monta uma prova, faz um TRI multidimensional e coloca as coisas lá dentro. Existe um ganho em termos da estimação?

Áudio Professor: Claro. Não é só os ajustes aos dados que está em jogo, não! Olha só, se eu te desse a mesma prova de Matemática. Imagina que eu quero saber se a minha intervenção educacional funcionou ou não funcionou. E daí, eu fui lá e construí uma prova de Matemática. E aí eu quero ver o impacto de curto, médio e longo prazo. Se essa é a única prova que eu tenho na mão e começo a aplicá-la o tempo todo, vai parecer que o impacto do meu programa vai desaparecendo. Isso, simplesmente porque, após a segunda vez que o grupo de controle fizer a prova, ele já sabe as respostas. Então, uma das coisas que o ENEM faz, que o GRE faz e que o SABE faz é ter um banco de itens justamente porque, muitas vezes, o que eu quero é justamente não ter a mesma prova! Quando eu quero comparar quem tirou a nota mais alta para ver quem vai entrar na faculdade, eu até gostaria de ter a mesma prova. A razão para isso poderia ser que eu quisesse dar as mesmas chances para alunos que fizeram provas em meses diferentes. Existe um argumento que se quer ter algo parecido com TRI, porque idealmente eu gostaria que todos os alunos tivessem feito a mesma prova. Mas, se fosse assim, eu teria tirado muitas oportunidades dos agentes. Para avaliação de impacto é o contrário. Especialmente em um estudo longitudinal, eu quero aplicar provas diferentes para não te ter o viés de memória. E eu queria poder comparar um com o outro e falar assim: “aumentou!”. Agora, seu não houver TRI por trás, que é o meu exemplo, eu não sei se ela aumentou porque a prova está mais fácil ou porque o sujeito aprendeu. Então, o ganho que existe aqui não é desprezível, não! No caso socioemocional, a gente tem um banco com mais de 600 itens, todos calibrados. A gente gostaria de aplicar provas diferentes. Existem esses desafios todos por trás dessa aplicação direta.

23:50 ao Fim (Cartela)

Imagem: Ilustração de um mapa múndi em tom azul claro ao fundo. E, em primeiro plano, duas imagens de capítulos posteriores a esta aula com o cabeçalho “Veja Também” em azul escuro. No rodapé, o texto: “Conheça mais em www.redeitausocialdeavaliacao.org.br”.

Áudio: Trilha moderna percussiva.