El problema de medir

El artículo que nos llega de la mano de Emilio Delgado aborda la complejidad de evaluar el rendimiento académico de los estudiantes, comparándolo con la medición de una habitación: medir en partes puede acumular errores, mientras que una evaluación global ofrece mayor precisión.

Los profesores suelen utilizar criterios objetivos y subjetivos para emitir calificaciones cualitativas fiables.

Sin embargo, al traducir estas evaluaciones a notas numéricas, especialmente con decimales, surge la cuestión de la exactitud. Las rúbricas de evaluación, aunque clarifican los criterios para los alumnos, pueden fragmentar la valoración, incrementando la posibilidad de errores acumulados y desviaciones en la calificación final.

…

Un problema muy común al que nos enfrentamos los arquitectos es que cuando tenemos que medir la longitud de una habitación es más probable que cometamos un error mayor si medimos por partes que si medimos de una sola vez. El error es indudable en ambos casos debido a diversas circunstancias, pero el error acumulado en las medidas parciales suele diferir de forma sustancial respecto a la medida total y también respecto a la medida real. Algo parecido ocurre cuando tenemos que comparar objetos con diferentes medidas. Es más probable que seamos capaces de ordenarlos si los consideramos todos relacionados, que tomarlos de uno en uno de forma independiente, sin mediatizar, para después concluir una posición en su relación con el resto. En el primer caso, el todo es más fiable que la parte. En el segundo, lo relativo es más fiable que lo absoluto.

Los profesores nos dedicamos, entre otras cosas, a esto de medir el rendimiento y la evolución de los alumnos. En realidad, la medición es una manera de disponer de unos indicadores para hacer una evaluación, que es -o debería ser- la realización de un juicio integral acerca de las actitudes y aptitudes de un alumno respecto a su aprovechamiento respecto a una materia. Pero el problema al que nos enfrentamos no es muy diferente de cuando tenemos que medir una habitación. Por mucho que pensemos en las bondades del “juicio integral”, el sistema actual nos obliga a emitir una calificación con al menos un decimal, cuya valoración objetiva siempre es cuestionable. ¿Por qué un 7,3? Los baremos cualitativos de evaluación -suspenso, aprobado, notable y sobresaliente- nos ayudan a ubicar, al menos, la parte natural del valor cuantitativo de la calificación, y ofrecen al alumno una perspectiva algo más nítida del umbral en el que se encuadra su rendimiento. Sin embargo, este sistema siempre arroja las mismas preguntas en el ámbito docente: ¿por qué esa calificación? ¿qué falta para conseguir un 10? En términos de medidas, siguiendo el ejemplo de la habitación, sería algo así como cuestionarse: ¿qué tipo de medidor se está utilizando? ¿qué error se ha cometido respecto a la medida real?

Normalmente, cuando los profesores tenemos que evaluar un trabajo, una práctica o un proyecto, solemos disponer de un elenco de elementos de juicio objetivos y subjetivos que nos permiten emitir una calificación cualitativa bastante fiable. Sin necesidad de muchos indicadores numéricos, sabemos distinguir -intuir- con claridad cuándo un alumno está aprobado o suspenso, o cuando un alumno está en un rango de notable o de sobresaliente. En los sistemas de evaluación continua, es muy extraño que un profesor se equivoque respecto a evaluación cualitativa de un alumno que haya seguido una materia. En cualquier caso, la institución universitaria requiere de la calificación numérica y, es precisamente aquí, donde la precisión del sistema de evaluación se mueve dentro de umbrales y horquillas diversos.

Pero lo que inspira este ensayo no son los umbrales o las horquillas, que suelen ser fruto de impresiones subjetivas que tratan de ordenar aspectos intangibles de la formación como la participación, el interés, el entusiasmo, la fiabilidad, el rigor, etc. Lo que promueve esta disertación es el error como tal, entendido como una desviación en la valoración global. O lo que es lo mismo, en la diferencia que se puede producir entre lo que se intuye y lo que se mide al sumar los diferentes indicadores con los que se construye la evaluación de un alumno.

Las rúbricas de evaluación han incrementado aún más el problema de la fiabilidad de un sistema basado en percepciones parciales. Mediante este sistema, el alumno comprende mejor el ámbito en el que se le evalúa. Esto supone que el profesor deba de establecer una serie de criterios que sirvan para dirimir una serie de rangos o “estados de consecución”. Unos rangos permitirán saber si el alumno ha superado el ejercicio y otros si lo ha hecho de forma excelente. Los criterios descritos en los rangos deben de ser acumulativos, es decir, que la rúbrica debe contemplar la consecución, por parte de los criterios de mayor rango, de los aspectos descritos en los criterios de rango menor. Por lo tanto, la dificultad de utilizar este sistema de medición radica en:

(1) Determinar los criterios, ya que deben ser elementos observables y por lo tanto susceptibles de ser calificados dentro de los rangos que se establecen.

(2) Distinguir los rangos de evaluación dentro de la rúbrica, ordenados según su orden de consecución.

(3) Evitar resquicios y “ángulos muertos” en la redacción de los criterios. Esto último es lo más complejo, ya que requiere una finura importante a la hora de exponer qué se pretende conseguir a través de la asignatura.

Como se ha señalado, las rúbricas miden la consecución de una serie de criterios, pero ¿realmente se puede conseguir un criterio completamente? Aquí empiezan los errores. Si la rúbrica es muy generalista, la evaluación hace aguas por todas partes. Si la rúbrica es muy exhaustiva, siempre se dejan abiertos ámbitos -resquicios y “ángulos muertos”- que pudiendo ser muy relevantes no se contemplan en la redacción del criterio. Pongamos un ejemplo. Imaginemos cómo sería una rúbrica generalista de una práctica de Dibujo Técnico del primer curso de Arquitectura, que trata sobre un análisis de la Robie House de Frank Lloyd Wright. Supongamos que se pretende que el alumno presente lo siguiente: plano de situación, plantas de la vivienda, dos secciones características y cuatro alzados.

Surgen muchas dudas respecto a esta rúbrica. ¿Qué sucede si un alumno presenta una documentación dentro del rango de sobresaliente, pero le falta un alzado? ¿qué sucede si dispone todos los elementos característicos de un plano y “se le olvida” el norte? ¿qué sucede si presenta todos los elementos del plano, pero confunde de forma persistente lo que es seccionado y lo que es proyectado? ¿qué sucede si incorpora todos los elementos del enunciado, pero comente unas faltas de ortografía importantes en los pocos textos que tiene que introducir?

Si la rúbrica es exhaustiva siguen surgiendo infinidad de dudas. ¿Qué sucede si falta algún ítem? ¿Y si se elige una “mala tipografía”? ¿Qué sucede si el alumno nunca ha ido a clase y presenta todo correctamente el día de la entrega? ¿Qué sucede con aquel alumno que ha ido a infinidad de tutorías y presenta una suerte de aciertos y errores en la entrega? ¿Por qué una planimetría tiene un 7,3 y otra un 8,4? ¿Qué sucede si un alumno demuestra que sabe dibujar, pero el resultado de la rúbrica es suspenso?

Asumiendo que las rúbricas descritas son muy mejorables, lo cierto es que, aunque se incremente la definición y la precisión de los criterios de evaluación, la casuística a la que se abre el tratamiento de cada caso es infinita. El error al que debe salir al encuentro el docente puede venir ejemplificado en la figura anterior. Un alumno puede hacer una práctica y obtener unas calificaciones dentro de diversos rangos superiores señalados en naranja. Sin embargo, la visión global -el juicio integral- puede llevar al profesor a intuir un resultado de aprobado 5,0. Esto sucede, por ejemplo, cuando se comparan trabajos. Es posible que dos ejercicios tengan una percepción global completamente diferente, aunque su evaluación mediante la rúbrica sea exactamente la misma. De cara a los alumnos, es más asequible justificar el resultado de una evaluación por comparación que de forma individualizada y descontextualizada. Por este motivo las sesiones críticas tienen tanto interés y relevancia dentro del ámbito de la evaluación.

Todo esto no pretende quitar valor a la evaluación mediante rúbricas, sino poner en valor la indiscutible presencia y relevancia del profesor en el proceso de valoración del aprendizaje del alumno. Las rúbricas dotan de transparencia al sistema de evaluación y expresan con claridad las expectativas. Es misión del profesor poner en valor este instrumento de medida y, sobre todo, acompañar al alumno en la toma de conciencia de su crecimiento en lo personal y en lo académico. Detrás de una rúbrica hay aspectos que superan lo puramente técnico y que son, en la mayoría de las ocasiones, más valiosos que los conocimientos que se pretenden inculcar.

Volviendo a la medida de la habitación, quizás debiéramos considerar cuál es el error que se produce al medir el edificio y no tanto la habitación, es decir, que al final toda medida hace referencia a otra más grande que, seguramente, le da pleno sentido.

También te gustará:

LA BUENA ARQUITECTURA

LA BUENA ARQUITECTURA