Prova Brasil : uma análise da complexidade cognitiva de itens de Matemática por meio da Taxonomia SOLO.

Abstract

O objetivo geral desta pesquisa foi analisar os itens de Matemática do 5º e do 9º anos do Ensino Fundamental da Prova Brasil pertencentes à Plataforma Devolutivas Pedagógicas, por meio dos níveis de complexidade cognitiva da Taxonomia SOLO. Os objetivos específicos foram: realizar uma revisão da literatura sobre o uso da Taxonomia SOLO na avaliação educacional no Brasil; classificar e analisar os itens a partir da dificuldade (nível de proficiência e índice de dificuldade) e da discriminação (índice de discriminação); relacionar e diferenciar a dificuldade e a complexidade cognitiva dos itens; elaborar uma escala de proficiência a partir dos dados da Plataforma Devolutivas Pedagógicas, usando os itens associados às suas respectivas sentenças descritoras para criar níveis de proficiência com uma interpretação pedagógica clara. Utilizamos como referencial teórico a Taxonomia SOLO, uma taxonomia cognitiva composta por cinco níveis que crescem em complexidade: 1) préestrutural; 2) uni-estrutural; 3) multi-estrutural; 4) relacional; e 5) abstrato estendido. A aprendizagem superficial é composta pelos níveis uni-estrutural e multi-estrutural. Já a aprendizagem profunda é composta pelos níveis relacional e abstrato estendido. O nível préestrutural não indica construção de aprendizagem. Analisamos um total de 123 itens que estavam disponíveis na Plataforma Devolutivas Pedagógicas do INEP, sendo 57 referentes ao 5º ano e 67 ao 9º ano. Usamos métodos qualitativos (análise de conteúdo para classificação dos itens nos níveis de complexidade cognitiva da SOLO) e quantitativos (concordância entre juízes, por meio dos coeficientes Kappa de Cohen e Alfa de Krippendorff, para comparar as classificações de duas pesquisadoras independentes). Dentre os principais resultados, destacamos: a) a Taxonomia SOLO é pouco conhecida no Brasil: encontramos 14 trabalhos, sendo que a maioria usa a SOLO para analisar respostas a tarefas de alunos; b) entre os itens do 5º ano, o nível predominante foi o uni-estrutural (77,2%), enquanto, no 9º ano, foi mais recorrente o nível multi-estrutural (62,1%). Apenas o 9º ano teve itens classificados no nível relacional (6,1%). Nenhum item foi classificado no nível abstrato estendido. Esses resultados mostram a expressiva proporção de itens que exigem aprendizagem superficial; c) analisamos os resultados em relação a três variáveis: 1) faixa de dificuldade do item; 2) nível de proficiência; 3) faixa de discriminação do item. O tipo de aprendizagem superficial prevaleceu em todas as variáveis. Isso significa que esse tipo foi dominante, inclusive, na faixa de dificuldade alta, nos níveis de proficiência considerados adequado e avançado e na faixa alta de discriminação do item. A partir dessas constatações, ficou clara a diferença entre os conceitos de complexidade cognitiva e dificuldade do item, que não podem ser tomados como sinônimos; d) fizemos uma transposição das escalas do SAEB de Matemática do Ensino Fundamental (5º e 9º) para uma escala usando os quatro níveis de desempenho apresentados por Soares (2009): abaixo do básico, básico, adequado e avançado. Essa escala é composta por exemplos reais de itens associados às suas respectivas sentenças descritoras, fornecendo um material útil e com uma interpretação pedagógica mais clara para os docentes na sala de aula. Por fim, para ampliar a possibilidade de considerações mais consistentes sobre o nível de complexidade cognitiva dos itens dos testes da Prova Brasil, pesquisas complementares são necessárias. Sugerimos o uso da Taxonomia SOLO para analisar a complexidade cognitiva de outras avaliações externas e também para outras finalidades na área educacional.