Como promover avaliação autêntica, com integridade

Roslyn Miller, Doutora em Ciências Humanas, e Amanda E. Major, Doutora em Educação, são designers instrucionais na Universidade da Flórida Central (UCF), e o trabalho e a pesquisa delas focam em instrução efetiva e avaliação autêntica da aprendizagem do aluno. Como equipe, suas experiências cobrem tanto instituições privadas, quanto públicas, ensino médio e superior e áreas que abrangem Ciências Humanas e Exatas.

Em resumo, Roslyn Miller e Amanda Major são recursos incríveis para orientações sobre avaliação. Para este fim, nós tivemos, recentemente, o prazer de conversar com Roslyn e Amanda via Zoom, e discutir sobre os desafios, recomendações e o futuro da avaliação.

DESAFIOS

Primeiramente, discutimos os desafios de avaliação na recente aprendizagem remota.

De acordo com as pesquisadoras, a rápida mudança no ambiente de aprendizagem presencial para on-line exacerbou questões crônicas e trouxe à tona os seguintes desafios:

1. O medo da tecnologia por parte do corpo docente emergiu com a transição para o ensino on-line.
2. Quaisquer práticas inadequadas que os professores usavam em sala de aula foram transferidas para o ensino on-line
3. Os professores expressavam incertezas sobre a integridade acadêmica no ensino remoto

1. Medo de tecnologia:

Amanda Major observou que “os professores tiveram que superar seus medos da tecnologia. A rápida mudança para plataformas remotas foi difícil para professores e alunos que não estavam acostumados. Muitos membros do nosso corpo docente já tinham as ferramentas que precisavam para fazer essa mudança e a fizeram efetivamente, mas outros não. Quaisquer práticas inadequadas que os professores empregavam presencialmente foram transferidas para as aulas remotas nos casos em que o professor não tinha o conhecimento requerido para a transição para o Sistema de Gestão de Aprendizagem (LMS) e fornecimento de instrução assíncrona. Alguns docentes estavam apenas dando aulas sem se atentarem ao que faz o ensino-aprendizagem eficaz — as atividades, a interação. No entanto, equipes de suporte tecnológico instrucional, designers instrucionais, técnicos e especialistas em multimídia estavam lá para orientá-los e apoiá-los durante esta transição”.

2. Práticas pedagógicas:

Fundamentos pedagógicos sólidos ficaram mais críticos do que nunca na transição para o ensino e a avaliação remotos. Miller afirmou que “um dos desafios surgiu dos docentes que nunca tinham dado aulas on-line anteriormente, ao pegarem o que era feito presencialmente, incluindo avaliações, e simplesmente passarem para o Sistema de Gestão de Aprendizagem (LMS). Os resultados, assim, foram frustrantes tanto para os professores quanto para os alunos. O ambiente on-line realmente precisa ser levado em consideração”, acrescentando que “os princípios de ensino eficaz são os mesmos, independente de ser em sala de aula ou on-line; entretanto, os ambientes são muito diferentes, e é onde as diferenças em técnicas e estratégias precisam ser consideradas. Essas considerações têm relação com tempo - síncrono ou assíncrono - e o ambiente físico -todos estão em um mesmo lugar ou em lugares diferentes. Então, tempos diferentes, locais diferentes, e a maneira com que o conteúdo é ministrado, recebido e trabalhado, tudo afeta a estratégia de ensino.

3. Integridade Acadêmica:

“Um dos maiores desafios que escutei dos professores, quando fizemos a transição para o aprendizado remoto, foi a preocupação com a integridade em avaliações”, disse Miller. “Algumas das preocupações eram sobre os alunos usarem livros, ou a internet, para completar uma avaliação que era para ser feita sem consulta, ou os alunos copiarem e compartilharem as avaliações. Essas eram as maiores preocupações que escutei, e essa foi uma das questões que passamos mais tempo trabalhando com o corpo docente”.

Miller acrescenta que “um curativo imediato que os docentes solicitaram foi a tecnologia para supervisionar alunos. Então, houve investimento de tempo e dinheiro em sistemas de supervisão. No entanto, mesmo providenciando isso aos professores, nós tentamos enfatizar as avaliações de qualidade, para as quais essas ferramentas de supervisão seriam menos necessárias”.

Major concluiu que “os designers instrucionais tinham como objetivo colaborar com os docentes para planejarem muitas avaliações autênticas e variadas, incluindo prática em exames de baixa pontuação atribuída, ou atividades não pontuadas”.

RECOMENDAÇÕES:

Então, quais são as recomendações de Miller e Major para avaliações com integridade?

• Promova familiaridade com a tecnologia:
  

“Eu ajudei professores que não tinham dado aulas on-line ou cursos híbridos por algum tempo; eles precisavam se atualizar. Conversamos sobre incorporar atividades de aplicação ou análise em seus cursos, usando eventos atuais ou desafiando os alunos a relacionarem o conteúdo com a vida deles, para facilitar experiências de aprendizagem significativas. Uma professora com quem trabalhei criou uma linha do tempo colaborativa como atividade para que seus alunos pudessem mapear os acontecimentos de suas vidas durante a pandemia da COVID-19”, compartilhou Major.

2. Empregue ferramentas que apoiem as melhores práticas pedagógicas:

Amanda Major relembra: “Tive um influxo de professores que estavam ensinando sincronicamente por Zoom e apenas alguns que estavam curiosos com Panopto, também. Senti a necessidade de atividades/avaliações colaborativas em grupos, já que isso poderia simular as atividades que os professores desenvolvem em sala de aula. Às vezes, as atividades não são, necessariamente, transferidas uma a uma ao formato on-line, exigindo alguma habilidade para reprogramá-las. Eu comecei investigando maneiras para que os alunos colaborassem em tempo real, por meio da tecnologia”. Major, então, explorou atividades de Sutori, Padlet, Google Docs, Jamboard, Materia activities. Ela também analisou “atividades como linhas do tempo, KWLs (Know, What, Learn), e as reflexões de Rose, Bud e Thorn, além dos tipos mais clássico de avaliação, documentados por Angelo e Cross, como testes de respostas rápidas, atividade de um minuto, mapas conceituais e, assim por diante.

3. Mantenha a integridade acadêmica com as melhores práticas pedagógicas no design de avaliações:

Varie suas avaliações. Miller afirma que “se uma avaliação é feita exatamente com as mesmas questões de um semestre para o outro, sim, essas questões estarão disponíveis para pesquisa no Google, e isso aumenta a tentação dos alunos consultarem quando tiverem a oportunidade; eles estão sozinhos em uma avaliação on-line, e têm o tempo e a tecnologia necessárias para fazer isso.”

Frequentemente, avaliações de baixa pontuação asseguram a integridade acadêmica e aumentam a qualidade das avaliações. Major afirma: “Os designers instrucionais colaboraram com os professores para planejar avaliações autênticas e variadas, incluindo a prática de exames de baixa pontuação, que valem poucos pontos, ou até mesmo nada.”

“Acredito que o maior desafio, relacionado com as circunstâncias que criaram a preocupação com a integridade acadêmica, é que muitos cursos do ensino superior têm duas ou três avaliações principais de múltipla escolha - a média avaliativa é extraída dessas poucas avaliações”, afirma Roslyn Miller. “Então, o que isso provoca em relação às preocupações com integridade acadêmica é que cada avaliação tem o risco suficientemente alto para que o aluno pondere as complicações de ser desonesto: Consigo ser aprovado nessa avaliação estudando sozinho, ou posso tentar algo adicional para ser aprovado mais facilmente?”

“Um dos passos para abordar as preocupações com a integridade acadêmica é mudar a natureza das avaliações fazendo com que não sejam de alto risco e, sendo assim, que elas não meçam apenas o conhecimento de fatos que são perguntados a todo instante e que estão lá para consulta a qualquer momento. Logo, ao invés de procurar por mais ferramentas tecnológicas para evitar que os alunos copiem respostas, nós precisamos mudar a natureza das avaliações. Algumas formas de fazê-lo, como Amanda já mencionou, é ao invés de ter dois ou três exames principais, distribuir o método avaliativo da aprendizagem do aluno em mais oportunidades. Quando cada avaliação é de baixo risco, a tentação de copiar as respostas é menor; não vale a pena tanto esforço para tentar copiar se você pode demonstrar a sua aprendizagem com mais autenticidade”.

4. Habilite ciclos de feedback formativo em avaliações através de ferramentas e trabalho colaborativo:

Major recomenda que “os membros do corpo docente que estão preocupados com a Integridade Acadêmica podem fazer com que seus alunos entreguem suas dissertações através do Turnitin Feedback Studio. Os alunos podem fazer a autocorreção dos trabalhos e ver quando estão usando as citações corretamente, por meio do Similarity Score. Eles podem melhorar a escrita e reenviar suas dissertações para avaliação. Outras ideias de atividades para estimular a integridade acadêmica são as revisões em pares e debates entre colegas porque, assim, os docentes podem observá-las para determinar se o aluno teve um desempenho satisfatório, enquanto os próprios alunos também se responsabilizam uns pela aprendizagem dos outros”.

Major afirma que “há esperança da interatividade e das atividades colaborativas oferecerem aos alunos uma oportunidade de se relacionarem em um momento em que o isolamento é real. O trabalho em grupo é uma boa maneira de garantir que os alunos não estejam cometendo fraude, porque os membros do grupo, certamente, denunciariam aquele que não estivesse presente e ativo no grupo. Os docentes poderiam promover uma avaliação para os membros do grupo para que os alunos pontuassem a colaboração uns dos outros e, então, o professor usaria essa pontuação para calcular a nota de cada estudante”.

O FUTURO DA AVALIAÇÃO

• O que aprendemos até aqui sobre avaliação?

De acordo com Miller, “certamente os alunos já expressaram o desejo de voltarem para as salas de aula. Eles gostam de estar na presença dos professores e dos colegas; muitos realmente sentem que aprendem melhor presencialmente. Então, o que eu espero, ao voltarmos para o presencial, é que docentes e alunos - principalmente os docentes - tenham aprendido sobre sistemas de gestão de aprendizagem podendo usá-los para apoiar suas aulas presenciais. Talvez, algumas maneiras pelas quais possam fazer isso seja com uma curadoria de conteúdo no sistema de gestão de aprendizagem, videoaulas curtas, ou links para recursos externos, para que os alunos possam processar o conteúdo fora de sala de aula. Assim, podem usar o tempo em classe para aprendizagem mais ativa e esse ambiente comunitário para mais atividades colaborativas. Essa é uma mudança que eu espero que aconteça quando voltarmos”.

“Sim, eu concordo totalmente com você, Roslyn”, afirma Major. “Espero que estejamos caminhando para uma experiência de aprendizagem invertida. Nosso Diretor Executivo do Center for Distributed Learning, Kelvin Thompson costuma dizer: ‘O futuro é homogêneo'”. E completa, “além disso, nós, enquanto corpo docente durante a crise da COVID-19, aprendemos que a avaliação pode acontecer durante uma conferência por vídeo, ao vivo e síncrona, bem como as atividades de planejamento podem ser usadas como avaliações. As divisórias entre avaliações e atividades estão desaparecendo e acho que isso seja uma coisa boa”.

2. Como o que aprendemos de 2020 até agora mostra o futuro da avaliação?

Miller aconselha que “para iniciar qualquer debate sobre avaliação, devemos começar perguntando quais são os objetivos de aprendizagem. Esses objetivos devem estar claros e explicitamente comunicados aos alunos em linguagem acessível. Isso deve ser feito para o curso como um todo e para cada unidade de aprendizagem, assim os alunos sabem o que se espera que eles aprendam, saibam e façam até o fim dessa unidade de aprendizagem e até o fim do curso” .

“Comece comunicando esses objetivos de aprendizagem e então o conteúdo do curso precisa estar alinhado com esses objetivos. Estejamos em sala de aula ou em ambiente remoto, podemos usar o sistema de gestão de aprendizagem para tornar essas conexões explícitas. Podemos usar um gráfico, como uma matriz, para mostrar quais componentes do conteúdo se relacionam com quais objetivos específicos de aprendizagem. E aí, será útil se deixarmos explícito em cada atividade ou avaliação qual objetivo específico de aprendizagem pretendemos alcançar. Por fim, as avaliações também devem estar alinhadas com os objetivos, conteúdos e atividades. As avaliações devem realmente parecer com as atividades que o aluno faz em sala de aula; devem parecer com a prática que os estudantes vêm tendo.”

Nós agradecemos Roslyn Miller e Amanda Major por se unirem a nós para essa discussão sobre avaliações com integridade. E esperamos que isso te ajude a compreender melhor as avaliações e apoie a sua avaliação autêntica da aprendizagem de seus alunos.