Em Pauta

A aprovação da Base Nacional Comum Curricular (BNCC) em 2018 estabeleceu  um importante cenário para que o Brasil aprimore seu sistema de avaliação da Educação Básica e para que haja coerência entre o que se aprende e o que se avalia. Isso porque o documento  de caráter normativo estabelece os direitos de aprendizagem, conhecimentos, as competências e as habilidades que se espera que todos os estudantes desenvolvam ao longo da escolaridade básica -, assim como a finalização das metas estabelecidas para o Ideb (Índice de Desenvolvimento da Educação Básica) em 2021 - indicador que mede o fluxo escolar e as médias de desempenho no Saeb. 

Um instrumento importante para verificar se a qualidade do ensino está sendo assegurada para todas e todos são as avaliações em larga escala. É por isso que avaliações consistentes e alinhadas à BNCC garantem uma melhor  gestão para contribuir com a busca por equidade nos resultados educacionais. 

Desde 2019, o Saeb  (Sistema de Avaliação da Educação Básica), conjunto de avaliações educacionais em larga escala de abrangência nacional sob responsabilidade do Inep e do MEC, vem passando por uma grande reestruturação para adequar-se à BNCC. Nesse momento de discussão sobre o futuro desta avaliação nacional, a produção de conhecimentos sobre avaliação em larga escala é fundamental para enriquecer o debate qualificado sobre as mudanças necessárias para o aprimoramento dos nossos sistemas avaliativos. O Saeb é uma referência tanto para as avaliações estaduais quanto para indicadores de qualidade, como o Ideb e outras iniciativas de accountability.

Além dos avanços conceituais da BNCC, as inovações teórico-metodológicas das avaliações internacionais indicam novos caminhos a serem trilhados nos processos avaliativos. O desafio de avaliar competências, conhecimentos, novas habilidades, atitudes e valores impõe um novo esforço na elaboração das matrizes de avaliação do Saeb e de seus itens. 

O Instituto Reúna realizou uma pesquisa inédita que mapeou 14 avaliações de larga escala no mundo, sendo seis no Brasil e oito fora do país. No Brasil, foram analisados o Saeb e uma avaliação estadual por região geográfica, ambas com pelo menos duas edições já realizadas. Fora do país, foram selecionadas cinco avaliações estrangeiras aplicadas em diferentes países, um em cada continente (França, Estados Unidos, Singapura, Austrália e Moçambique) e três avaliações internacionais (PISA, PIRLS e TIMSS), contemplando, assim, uma diversidade de componentes e público-alvo.  

A pesquisa revelou alguns pontos importantes que podem contribuir para a melhoria do Saeb, como reflexões acerca do propósito das avaliações analisadas,  além de  informações sobre a devolutiva dos resultados, escalas de proficiência, tipos de itens, escopo e matrizes de referência.  

Em relação às devolutivas, no plano nacional observa-se que os resultados - tanto das avaliações do Saeb quanto das estaduais - são disponibilizados em cadernos para download. Modelos internacionais, como o da Austrália, que apresenta recortes a nível nacional e estadual, podem servir de referência para aprimorar a apresentação dos resultados das avaliações para diferentes públicos, permitindo, também, mais agilidade na divulgação.

As avaliações estaduais adotam, em sua maioria, a mesma escala do Saeb reforçando, mais uma vez, a influência que as avaliações nacionais exercem  sobre as estaduais. Embora a escala seja a mesma para a maioria das etapas avaliadas, não se observa a existência de uma interpretação pedagógica comum em relação ao desempenho dos estudantes, ou seja, uma definição do quão próximos ou distantes os alunos estão de resultados considerados adequados. A ausência de uma definição nacional comum nesse aspecto pode gerar variações que comprometam a interpretação dos diagnósticos e, consequentemente, tomadas de decisão coerentes do ponto de vista da gestão política e pedagógica. A Austrália, com os  National Minimum Standards (Padrões Nacionais Mínimos), nos dá um bom exemplo de escala de proficiência que explicita o desempenho desejado, assim como osAchievement Standards (Padrões de Alcance) ue contribuem para a definição das habilidades que devem ser desenvolvidas pelos estudantes ao término de cada ano escolar.

Outro destaque a respeito das avaliações de larga escala é a apresentação de diferentes tipos de itens. PISA, PIRLS, TIMSS e quase todas as avaliações estrangeiras (com exceção de Moçambique) apresentam itens em formatos variados (tais como itens de resposta construída curta ou longa e gráficos interativos). Já no Brasil, as avaliações contam com itens majoritariamente dicotômicos (múltipla escolha). A introdução de novos itens, além de permitir avaliar habilidades mais complexas, também pode contribuir para um plano de transição de avaliações em papel para avaliações digitais, que podem oferecer outras possibilidades de interação do estudante com a prova. 

Sobre o escopo das avaliações, as estrangeiras apontam para aplicações majoritariamente amostrais com periodicidade bianual para os componentes de Matemática e Linguagem e trienal, ou quadrienal para os demais componentes. Essas avaliações buscam retratar o sistema e progressões ao longo do tempo e não analisam os estudantes de maneira individual. Essa discussão envolve refletir sobre os benefícios de aplicações censitárias no nível do Saeb em detrimento de aplicações amostrais. Ao olhar a experiência de outros países, observa-se que há periodicidades diferentes a depender do componente. Vale também a reflexão dos tomadores de decisões sobre ter mais avaliações, ou realizar avaliações mais complexas em menor número. Definir o propósito que a avaliação irá desempenhar no sistema e como seus resultados serão utilizados, ajuda a entender qual escopo é mais apropriado em termos de cobertura, formato e periodicidade.

Quando analisamos as matrizes de referência, boa parte das avaliações estrangeiras e todas as internacionais contam com quadros conceituais estruturados em dimensões cognitivas, conteúdos da área, assim como as competências esperadas. Todas as estrangeiras fazem referência ao currículo nacional como base para as avaliações. No Brasil, até o momento, as matrizes das avaliações dos testes cognitivos estão organizadas em dois eixos, basicamente, tópicos e seus descritores. Uma das características centrais da BNCC é a aprendizagem na lógica das competências e do desenvolvimento integral, para tanto, é de grande importância que o quadro conceitual das avaliações em larga escala no país incorpore essa perspectiva na sua estrutura.  

Uma referência sobre como estruturar um quadro conceitual mais abrangente pode ser encontrada no PISA para 2022, que articula dimensões do raciocínio com conhecimentos da área e com as competências consideradas essenciais para o século XXI, se desdobrando em diferentes contextos nos quais essas competências podem se desenvolver.

Para saber mais sobre a pesquisa, acesse aqui. Veja também uma série de vídeos feitos com especialistas de avaliação sobre o assunto aqui.