Ir para conteúdo

Biblioteca

Indicadores Socioemocionais

Aula sobre Indicadores Socioemocionais ministrada por Daniel Santos.



Indicadores Socioemocionais - Parte 08

Última parte da aula sobre Indicadores Socioemocionais ministrada por Daniel Santos

Ir para a transcrição do vídeo

Transcrição

00:00 a 00:07 (Vinheta de abertura)

Imagem: Vinheta de abertura. Ilustração de um mapa múndi na cor azul clara ocupa toda a tela. A logomarca da Fundação Itaú Social aparece ao centro e alguns ícones na cor branca aparecem formando um círculo central ao redor da logomarca. A logomarca desaparece, dando lugar ao texto em azul escuro: “Curso Avançado de Avaliação de Políticas Públicas e Projetos Sociais”. Na sequência, os textos são substituídos por um retângulo grande azul escuro na parte central da tela. Dentro dele, está escrito: “Indicadores Socioemocionais, Professor Daniel Santos, 7 de Janeiro”. Abaixo do retângulo, também em azul escuro, o texto “Parte 8”.

Áudio: trilha moderna percussiva.

00:08 a 34:05 (Daniel Santos)

Imagem: Professor Daniel Santos, da Fundação Itaú Social, está à frente de uma sala de aula com um telão e lousa verde atrás dele. Ele está de pé e apresenta os conteúdos olhando para a turma.

Áudio Professor: Vou falar para vocês um pouquinho do Senna, que é um sistema de mensuração. A versão 1.0 foi aplicada, em 2013, em 25 mil jovens do Rio de Janeiro. Depois disso, a gente passou os anos de 2014 e 2015 refinando. E ele media inicialmente seis dimensões de personalidade. Hoje, a gente tem uma versão que mede pelo menos 23, mas a gente quer chegar a 36. E ele tem como matriz até os cinco grandes fatores de personalidade, que estão mais ou menos descritos aqui. De onde que vem esses cinco fatores de personalidade? Apesar de muita gente achar que isso não é verdade, os cinco fatores foram criados de uma maneira quase que ateórica. Qual é a origem dos Big Five? O origem dos Big Five está muito ligada à origem do QI. Por que? Se a gente pegar a teoria do Fator G, que desemborcou no teste de QI, percebe-se que as pessoas fazem testes de conhecimento desde a Idade Média para recrutar soldado! Desde aquela época, percebia-se que, se dessem dez provas diferentes de conhecimento para as pessoas, o indivíduo que ia bem na primeira prova era o mesmo que ia bem na segunda, que é mesmo que ia bem na terceira prova. E na nossa vivência, o sujeito que era o primeiro aluno de Matemática também era de História! Só não era de Educação Física! (risos). No resto, ele era o primeiro aluno. Bom, baseado nisso, as pessoas começaram a cultivar a percepção que uma única característica oculta conduzia os resultados dessa bateria de provas. E, no século 19, quando se popularizou a análise fatorial, as pessoas começaram de fato a usar análise fatorial. Em princípio, era só uma técnica de redução de dimensão. Mas, começaram a levar a sério a história dos fatores latentes que estão por trás e a ver quanto por cento o fator principal explica da variância. E quase toda a variância dessas dez provas de conhecimento era explicada por um único fator principal. Ele foi batizado de Fator G. E a história dos testes de QI tem muito a ver com o seguinte: “Se tem uma única característica oculta que conduz todas essas dez provas, deixa eu criar um único teste refinado que capture de maneira mais cristalina esse Fator G cada vez mais!. Porque, daí eu não preciso mais aplicar dez! Eu aplico só um!”. Na virada do século 19 para o século 20, os indivíduos falaram assim: “já existe a suspeita de que conhecimento não é a única coisa relevante e não é a única coisa que gera diferenças entre indivíduos. Os indivíduos se diferem em outras dimensões. Então, eu gostaria de saber se existe também uma característica oculta que explica as diferenças individuais nas outras dimensões?”. E foi formulada a chamada ‘hipótese léxica’, que é o seguinte: qualquer que seja a diferença individual, em algum momento alguém descobriu um adjetivo para definir essa diferença individual. Então, as pessoas que começaram a estudar personalidade foram aos dicionários, pegaram todos os dicionários da língua inglesa, fizeram uma lista de todos os adjetivos, eliminaram os sinônimos, eliminaram aqueles que não pareciam refletir inclinações estáveis ou permanentes dos indivíduos, ficaram só com aqueles que pareciam identificar diferenças sistemáticas entre indivíduos e começaram a bolar inventários enormes de quanto que você era intenso em cada um desses adjetivos. De início, esses inventários seriam colossais. O que é regularidade empírica? Quando se usa a mesma técnica que você fez pra confirmar o Fator G nos testes de conhecimento para tentar ver quantos são as características que explicam essas outras diferenças, você chega a cinco. E se chega em cinco em diferentes culturas, em diferentes hemisférios, ao longo dos tempos. E as pessoas começaram a acreditar que as diferenças que não são QI e que explicam sistematicamente porque um indivíduo é diferente do outro se agrupam. Isso aqui não são cinco características, são cinco domínios! São eles: energia ou engajamento, colaboração, regulação emocional, autogestão executiva e criatividade. São cinco grandes temas. E depois disso, muita gente tenta ver o que são os bloquinhos que estão por trás daqui. Por quê? Porque a gente também sabe que dentro de inteligência, existem vários tipos de inteligência. A versão 1.0 do Senna foi um Big Five ex post, porque a origem dela foi totalmente anti Big Five! O que a gente fez foi montar um grupo de psicólogos. E o que eu mais queria era fugir da discussão com os psicólogos de qualquer maneira, não queria entrar na briga deles. Então, a gente montou uma estratégia de recolher todos os instrumentos que a gente pudesse na literatura, independente da tradição e que tivessem poder preditivo sobre sucesso futuro. Cada vez que a gente achava um desses, começávamos a classificá-lo numa bateria de mais de 40 critérios. Dava nota para factibilidade, validade interna, validade e assim por diante. E, no final do dia, a gente chegou a 123 instrumentos que tinham escala e que tinham um poder preditivo. E filtrando, filtrando, a gente chegou a 10 que empataram em todos os critérios. E o que a gente queria, que é a nossa principal vontade até hoje, era ter uma ferramenta que permita tirar o retrato socioemocional periódico do Brasil. Então, o que a gente fez? A gente bolou um exercício mais ou menos sofisticado de como é que a gente escolhe as melhores perguntas desses 10 instrumentos para montar um instrumento mais enxuto e que meça tudo o que precisa ser medido. E, na minha cabeça, sempre importou muito pouco o que eu estou medindo. Eu pensava assim e ainda penso um pouco assim: qualquer coisa que eu meça, que está associado ao sucesso futuro, que eu perceba que variações disso daqui estejam associadas com variações de sucesso futuro e que eu perceba que uma intervenção educacional ou escolas com contextos diferentes foram capaz de modificar, não importa o que eu estou medindo, que rótulo eu dou e como eu chamo. Se isso for verdade, eu quero medir e modificar isso. Então, o que eu precisava era mostrar que é uma coisa mensurável e que a escola modifica. Com esses dois critérios, é o melhor que eu consigo fazer de que isso tenha impacto no futuro, porque, por conta do problema de simultaneidade, é muito difícil isolar o impacto disso. Daí, eu me dava por satisfeito. Era isso que a gente tinha que medir na escola e ver lá na frente o resultado. Então, depois de chegar nessa salada de 10 instrumentos, a gente tentou ver quais eram os itens mais preditivos, mais associados com sucesso, vários critérios para tentar pegar os melhores. Aí a gente chegou a 90 itens e aplicou no Rio de Janeiro. O negócio teve relativo êxito. A primeira novidade, quando a gente fez uma análise fatorial, essa pilha de perguntas, que vinha cada uma de uma tradição totalmente diferente, agruparam-se nos mesmos cinco. Na verdade, agruparam-se em seis, mas o sexto fator que apareceu foi um fator de crenças e que era diferente das diferenças intrínsecas entre os indivíduos. E segundo, a gente teve um relativo êxito empírico. As regularidades que a gente encontrou não só bateram com o resto da literatura como trouxeram pistas bastante interessantes. E era um instrumento bastante barato e fácil de aplicar em larga escala. Então, fez um certo sucesso, chamou a atenção de alguns nomes bem maiores que nós, que disseram: “legal, mas dá para fazer melhor! Vamos tentar fazer isso com uma estrutura um pouquinho mais organizada. Vamos ter um instrumento que mantenha o poder empírico, mas que tenha um pouco mais de estrutura por trás”. E aí, dois dos indivíduos que são papas em construir instrumentos de cinco grandes fatores se juntaram. Aí, eu e o Ricardo fomos quem bolaram a versão 1.0 e a gente passou esses dois anos criando um banco de itens. A gente pegou aqueles que a gente já tinha, juntou com mais um outro tanto, e dissemos: “vamos tentar fazer isso, mas da maneira como os psicólogos constroem instrumentos. Se agruparem em cinco, ótimo! Se não agruparem, ótimo também!”. E a gente conseguiu localizar cinco domínios. E conseguimos dividir cada domínio em facetas, que ao mesmo tempo eram significantes que psicologicamente agradavam a demanda das escolas. E a gente conseguiu juntar duas tradições que sempre se odiaram na Psicologia: a psicologia da personalidade e as teorias sociocognitivas. A psicologia da personalidade tentando discriminar como você é, essas coisas mais estáveis. E as teorias sociocognitivos tentando medir o que você acha que é capaz de fazer. A gente mostrou que a contribuição até agora é que o sociocognitivo também se agrupa nos mesmos cinco, então você consegue fazer uma teoria de desenvolvimento psicológico baseado em feedback de um para o outro. Então, a gente tem esses cinco grandes temas divididos em caixinhas, totalizando 18 dimensões, em dois níveis nível: de traço e de alta eficácia. Foi isso que a gente lançou e que tem sido usado agora em algumas avaliações de impacto e em alguns esquemas de monitoramento. O que justifica eu queria sintetizar em poucas dimensões? É que existe muita redundância. Então, aqueles dez vencedores, antes de a gente buscar a sua sintetização, a gente mostrou que, de fato, tem muita informação redundante entre instrumentos que vem de tradições distintas. E essa informação redundante, em parte, é conduzida porque a sua autopercepção está por trás disso. Então, por exemplo, alta eficácia, que é um instrumento tipicamente sociocognitivo, conversa um bocado com conscienciosidade, que é um dos fatores do BFI, Big Five Inventory, que vem da teoria dos Big Five. E conversa um bocado com a Escala Grit, da Ângela Duckworth, que é baseada na psicologia do otimismo. No fundo, a Ângela tem sido a maior referência americana em psicologia do esforço, que é uma das coisas que mais importam no contexto educacional. Então, medir essas três coisas, apesar de terem rótulos diferentes, no fundo eles querem dizer, em grande medida, a mesma coisa. Quando a gente faz uma análise fatorial dos resultados consolidados das escalas e agrupa em torno de grandes fatores, a correlação de cada um desses com esse fator é de mesma ordem de magnitude. Da mesma maneira, a gente detecta que extroversão, em dois instrumentos diferentes, e no outro sociocognitivo de alta eficácia social também. Ou seja, eles se agrupam, a grosso modo, em cinco grandes temas, mesmo vindo de tradições bem diferentes. Então, a gente não precisa aplicar um instrumento de cada tradição se a gente quiser ser completo. A nossa ideia é que, com um instrumento único, a gente consegue capturar as principais ideias que estão em todas essas literaturas. Finalmente, deixem eu só contar para vocês um pouco do que foi com o Senna 2. Já houve 130 mil jovens que passaram por algum dos instrumentos. A aplicação que a gente mais estudou, porque foi a mais antiga, foi a do Rio de Janeiro, com 25 mil. Então, aqui existem alguns resultados interessantes. O primeiro deles é que a gente reproduz, em grande medida, aquela evidência internacional dos Big Five. Aqui são as seis dimensões do Senna 1.0 que, mesmo não tendo sido construídas na tradição do Big Five, misturam itens de diferentes literaturas e se agruparam nos mesmos cinco. É interessante notar que elas reproduzem parte da evidência internacional. A gente tinha uma grande dúvida: “será que, ao dar esse rótulos, a gente está medindo a mesma coisa que o BFI nos Estados Unidos chama de ‘extroversão’, por exemplo?”. Então, a diferença por gênero, tirando o bloco de lócus controle que eram mais crenças, as meninas maiores em conscienciosidade, extroversão, neuroticismo e amabilidade. E pouca diferença em abertura. Isso é exatamente o que estava naqueles gráficos anteriores. Outra coisa que a gente conseguiu reproduzir da literatura internacional é que os dois construtos dos Big Five mais associados com o aprendizado eram ‘abertura a novas experiências’, que têm curiosidade e imaginação, e conscienciosidade, responsabilidade e perseverança. Uma contribuição nova foi mostrar que conscienciosidade está altamente relacionada com Matemática, enquanto que abertura a novas experiências está totalmente relacionada com Português. A literatura simplesmente documentava que esses eram os dois dos Big Five mais relacionados, mas não fazia essas sutilezas. E ela não é desprezível! Aqui, a gente está chamando de ‘lócus de controle’, mas não é exatamente isso. Aqui são ‘crenças’. Porque, na literatura de lócus de controle, ele tem um impacto grande. Aqui, a gente detectou esse impacto nas notas de Português. E extroversão, com impacto negativo. Uma coisa que a gente também reproduziu da literatura é que extroversão muda de sinal do Ensino Fundamental para o Ensino Médio. Existem meta análises que mostram isso. A extroversão ajuda o aprendizado no Fundamental, mas atrapalha no Ensino Médio. Como da nossa amostra, 20 mil dos 25 mil são do Ensino Médio, possivelmente é isso que conduz este resultado mostrado. Mas, quando a gente divide por série, também se reproduz esse resultado. Esse resultado é interessante porque esses seis construtos, que a gente está chamando aqui de socioemocional, fazia parte do nosso “épsilon”, era a nossa variável omitida até então. E o que esse gráfico está mostrando? Quando a gente faz regressões parciais, ou seja, primeiro fazemos só notas contra os socioemocionais. Por exemplo, nota contra sexo, raça, idade... ambiente familiar medido por educação da mãe, se o pai sabe ler e índice socioeconômico... nota contra atitudes da família, se incentiva os filhos a ler, se vai ao cinema, esse tipo de coisa... Esse conjunto de coisas, que são transformações em R quadrado, estão relacionados com esses outros blocos que são tradicionais na literatura de desempenho educacional, mas estavam omitidos. Ou seja, estava se omitindo uma coisa que parece bastante importante. Essa última barrinha aqui não conta porque é efeito fixo de escola. Porque a gente está medindo em cada um desses blocos o que é possível medir. E o efeito fixo é quase como estivesse medindo o total. Então, comparar o total da escola com pedaços dos outros blocos é uma comparação injusta. Outra coisa interessante é quando a gente vai para o ambiente familiar e tenta medir quais características estão associadas com desempenho escolar, quase sempre a educação da mãe é a coisa mais importante da face da Terra. Filhos de mães mais educadas tiram notas mais altas. Como socioemocional parece que não é muito verdade isso. Não se vê padrões nítidos de diferença nessas características pela educação da mãe. Mas, o que parece importar bastante? São os hábitos e atitudes da família. Quando a gente olha, por exemplo, a frequência com que os filhos veem os pais lendo; se, na percepção dos filhos, os pais incentivam ao estudo; se os próprios jovens leem mais ou menos... Em todas elas, a gente vê claramente uma relação grande, que não sei se é causal ou não, com o desenvolvimento emocional dos indivíduos. São variações sistemáticas e bastante fáceis de a gente conseguir interpretar. Então, isso são pequenas pitadas de uma num trabalho recente que a gente tem feito. O que eu pretendi, aqui nessa aula, foi mostrar que essas características são bastante importantes tanto para o futuro quanto para o próprio aprendizado. A escola é capaz de modificar e que as características vinham sendo mantidas, até hoje, de maneira imperfeita, sujeita a todos aqueles vieses, mas que a gente está tentando atacar. Já existem ferramentas que permitem essa literatura deslanchar um pouco. Então, várias dessas bases de dados são disponíveis ou disponibilizáveis com burocracia relativamente pequena. E encorajo quem tiver interesse a se aventurar por aí. Dúvidas?

Áudio Aluno: Você pode passar uma lista de referências?

Áudio Professor: Posso passar lista de referências. Algumas delas são obrigatórias. Então, existe um capítulo do Heckman com a Ângela e mais três autores. Está no Handbook de Economia de Educação, Volume 3, versão gratuita. Ela está quase completa. Se você acessar a página do IZA, o Instituto Empírico Alemão, pelo www.isa.org, é o discussion paper número 5500. Uma outra referência é o estudo do Durlak, chamando Child Development. Se vocês quiserem esses resultados desses gráficos que eu acabei de apresentar, estão também na internet. Estão sendo submetidos em pedaços. No endereço www.educaosec21.org.br, você encontra grande parte das coisas que a gente andou fazendo nesses últimos anos. Uma palavra chave é Pisa 2012, Anchoring Vignettes, do Gary King. Existe muitos trabalhos com vinheta âncora. Aconselho fortemente a olhar, quem tiver interesse, o trabalho da Ângela. Ela tem uma página de internet também e toda a produção dela está lá. Procure por “Ângela Duckworth’s Lab”. Procure também pela página do Heckman, acho tem bastante coisa. Para referências de lócus de controle, por exemplo, é a Deborah Cobb-Clark. Bom, eu sei que essa aula deve ser diferente das outras. Um pouquinho mais experimental e, por isso, um pouco mais caótica. Eu acho que a cabeça da gente tem funcionado de uma maneira um pouco caótico ainda para organizar essas ideias todas. Mas, espero que vocês tenham aproveitado. Obrigado!

34:06 ao Fim (Cartela)

Imagem: Ilustração de um mapa múndi em tom azul claro ao fundo. E, em primeiro plano, duas imagens de capítulos posteriores a esta aula com o cabeçalho “Veja Também” em azul escuro. No rodapé, o texto: “Conheça mais em www.redeitausocialdeavaliacao.org.br”.

Áudio: Trilha moderna percussiva.