Revista TyCE / Número 26

Evaluación del aprendizaje por competencias en los posgrados a distancia del ILCE

Cesáreo Morales Velázquez
cesareom@ilce.edu.mx

Introducción

A partir de 2006, los posgrados a distancia del Centro de Estudios en Comunicación y Tecnologías Educativas (CECTE) del Instituto Latinoamericano de la Comunicación Educativa (ILCE) empezaron a adoptar como una de sus líneas formativas el desarrollo de competencias en el módulo propedéutico, impartido a todos los aspirantes a la maestría en Comunicación y Tecnologías Educativas y a la maestría en Valores para la Acción Educativa. Argudín (2005) señala que competencia es sinónimo de saber, específicamente, “saber de ejecución”. De esta manera, al final del módulo propedéutico el estudiante debe demostrar el dominio de las competencias, de acuerdo con una ejecución-criterio establecida previamente en los objetivos de aprendizaje.

Por otro lado, Quesada (2006) advierte acerca de la escasa información escrita que se encuentra en la literatura sobre evaluación del aprendizaje en la educación a distancia, particularmente en aquella que se clasifica como educación “en línea”. Las razones de esta carencia pueden ser múltiples, pero lo que enseña la experiencia es que existen diversas formas de evaluar el aprendizaje en educación a distancia, algunas de ellas dirigidas hacia el desarrollo del individuo en la llamada evaluación auténtica, de tal manera que los “datos duros” de la evaluación no son una prioridad para los evaluadores. Además, la información sobre la evaluación del aprendizaje en un programa educativo específico es un tema delicado que no se expone o discute fácilmente, aún en foros académicos, por las posibles repercusiones que ello tiene en la percepción de la calidad del servicio que se ofrece.

El propósito de este estudio fue analizar los resultados de la aplicación de una metodología para el desarrollo y evaluación de competencias en informática, pensamiento crítico, comunicación escrita y estudio independiente en el módulo propedéutico impartido por el ILCE-CECTE durante el segundo semestre de 2007.  

Selección y definición de las competencias

Las competencias seleccionadas para el módulo propedéutico tuvieron por objeto actualizar a los estudiantes en aquellas habilidades básicas que deben utilizar cotidianamente en su proceso formativo en la maestría. El pensamiento crítico se dirige fundamentalmente hacia el desarrollo de la  argumentación y la formulación de juicios académicamente confiables, esto es, sostener un punto de vista, expresar criterios de verdad en sus escritos y participar en foros y debates en las sedes de los posgrados; la comunicación escrita en este nivel educativo está enfocada hacia la lectura crítica y el manejo fluido de la escritura de ensayos y textos académicos; el uso de la tecnología se particulariza en el dominio de la plataforma electrónica en la cual se asienta el campus virtual del posgrado; el estudio independiente en el ILCE-CECTE comprende habilidades de organización para el estudio, autorreflexión, y autoevaluación.

El desarrollo deseable de cada una de las cuatro competencias fue discutido y finalmente determinado por un grupo de expertos, coordinados por el autor de este estudio, quienes definieron tres niveles de competencia por los cuales deberían transitar los estudiantes del propedéutico. A continuación se presenta la definición de cada competencia, en términos de los estadios que debió presentar su desarrollo:

Pensamiento crítico.Los tres niveles de competencia por los que debió transitar el pensamiento crítico del estudiante fueron los siguientes: 

• En un primer nivel, se esperaba que el estudiante pudiera definir diversas destrezas cognitivas como interpretación, análisis, evaluación, inferencia, explicación y autorregulación, además, encontrar el significado de los juicios de verdad y las actitudes mentales que deben prevalecer en el discurso académico.
• En un segundo nivel se esperaba que el estudiante demostrara en sus escritos al menos un pensamiento crítico inicial, aplicando las destrezas cognitivas que hubo definido previamente, incorporando el pensamiento de otros sin llegar al plagio.
• En el tercer nivel se esperaba que el estudiante demostrara un pensamiento crítico fuerte, construyendo juicios de verdad con sustento académico, es decir, que en su argumentación tomara en cuenta diversos puntos de vista, evidencias extraídas de investigaciones, o información documentada y verificable.

Comunicación escrita.Esta competencia se definió con base en dos componentes esenciales para su desarrollo, la lectura y la escritura:

• En el primer nivel de desarrollo el estudiante debió ser capaz de definir las características de diferentes tipos de textos, académicos y no académicos, y elaborar pequeños textos expresivos (de carácter personal) e informativo-referenciales (aquellos que presentan datos y secuencias temporales y espaciales). 
• En el segundo nivel el estudiante debió ser capaz de documentarse, definir un tema, resumir y reseñar un texto, hacer síntesis y explicar usando datos.
• En el tercer nivel, el estudiante debió ser capaz de leer críticamente y elaborar un texto académico informativo-argumentativo, en el cual presentara argumentos a partir de datos, relaciones causales y la confrontación de ideas propias con las de otros autores.

Uso de la tecnología.Esta competencia se definió con base en elementos genéricos de la utilización de la tecnología con los que se desenvuelve el estudiante en su vida cotidiana, así como aquellos de carácter específico que debe utilizar constantemente durante su maestría:

• En un primer nivel, el estudiante debió ser capaz de utilizar las herramientas de productividad comunes (procesador de palabras, hoja de cálculo, presentador electrónico) en un nivel medio o avanzado, además del manejo incipiente de la plataforma del ILCE-CECTE.
• En el segundo nivel, el estudiante debió ser capaz de manejar (buscar, seleccionar y evaluar) información, sobre todo de Internet.
• En el tercer nivel, el estudiante debió ser capaz de utilizar con “soltura” las herramientas para el aprendizaje que se encuentran en la plataforma tecnológica del ILCE-CECTE, particularmente, el foro, el Wiki y el Blog, así como diversas herramientas necesarias para compartir información.

Estudio independiente.Se definió mediante la consolidación de la gestión individual, así como diversos elementos del desarrollo del estudiante dentro de un grupo:

• En un primer nivel, el estudiante debió demostrar la planeación y organización de su estudio, que se evidenció en la presentación de trabajos y la participación en foros en tiempo y forma.
• El segundo nivel se centró en la autogestión del aprendizaje, cuya evidencia fue la conformación de una red de apoyo para sus estudios y el trabajo colaborativo.
• En el tercer nivel el estudiante debió mostrar autorreflexión y automonitoreo de su aprendizaje, los cuales se evidenciaron a través de la autoevaluación y la coevaluación.

A partir de estas definiciones, se diseñó una matriz de evidencias por nivel y competencia con base en la cual se elaboraron ejercicios para desarrollar y en su momento evaluar cada una de ellas. La evidencia de dominio fue establecida mediante criterios de ejecución, los cuales siguieron un orden de dificultad creciente.

Hipótesis

Se planteó la hipótesis de que el desarrollo de las competencias es un proceso gradual y progresivo, que se compone de diversos niveles de dominio mediante los cuales se va perfeccionando y “complejizando” la competencia. El estudiante se acerca a la meta deseada del dominio en una progresión dialéctica, es decir, puede ir avanzando en círculos cada vez más complejos y superiores de la competencia, y en cada nivel el ciclo se cierra con una síntesis de las habilidades del nivel anterior enriquecido con las nuevas habilidades aprendidas en el periodo.

Se planteó una segunda hipótesis acerca del desarrollo uniforme de las competencias a partir del ingreso del estudiante al propedéutico. La estrategia didáctica del aprendizaje por competencias supuso que a través de ejercicios complejos los estudiantes desarrollarían las competencias de manera integral, por lo que se asume que el proceso de desarrollo de las cuatro competencias fue equivalente.

Muestra

La muestra que se tomó en consideración para este estudio fueron 184 aspirantes a la maestría en Comunicación y Tecnologías Educativas (que incluyó a un grupo especial compuesto por 53 profesionales de la salud), y 9 aspirantes a la maestría en Valores para la Acción Educativa, los cuales acreditaron el módulo propedéutico en el segundo semestre de 2007. La muestra estuvo compuesta por 81 hombres (42%) y 112 mujeres (58%).

Instrumento de medición

Se discutieron dos alternativas para medir las competencias: presentar ejercicios discretos que dieran cuenta de cada una por separado, esto es, medir a través de un primer ejercicio la competencia de pensamiento crítico, mediante un segundo ejercicio medir comunicación escrita y ejercicios sucesivos para medir las competencias restantes, o bien, a partir de un ejercicio comprehensivo, medir las cuatro de manera integral. Se optó por la segunda alternativa, con base en el supuesto de que un ejercicio global de nivel sería más cercano a la realidad académica del estudiante en los posgrados del ILCE. De esta manera, la evaluación se operativizó a través de ejercicios que incluían las cuatro competencias, en un nivel de dificultad supuestamente correlativo.

La medición de las competencias se realizó mediante rúbricas las cuales se utilizan de manera habitual en los módulos de los posgrados del ILCE. El procedimiento para su diseño incluyó el establecimiento de criterios cimentados en los niveles de demostración y la asignación de valores numéricos a cada nivel de ejecución, en una escala de 1 a 10, de tal manera que se identificaran cinco segmentos de menor a mayor valor de la competencia: nula, incipiente, en proceso, avanzada y superada.  De manera general, el nivel de nulidad se evidenciaba cuando el estudiante no había respondido a la actividad o había presentado una ejecución diferente a la requerida. La calificación equivalente tenía un rango de 0 - 2.5 puntos. El nivel incipiente se otorgaba en el caso de estudiantes con deficiencias graves en la ejecución. El rango de la calificación en este nivel era de 2.6 - 5.0. El nivel en proceso se evidenciaba con una ejecución débil, pero encaminada a cubrir el criterio. El rango de calificación para este nivel era 5.1 – 7.0. El nivel avanzado se otorgaba al cubrir el criterio, con una calificación equivalente de 7.1 – 9.5 puntos, y el nivel superado se reconocía cuando el estudiante presentaba una ejecución de experto, con calificación de 9.6 – 10 puntos.

Cada uno de los tutores de los 11 grupos del propedéutico aplicó de manera independiente la rúbrica de la evaluación diagnóstica y los tres niveles de competencia, de acuerdo con los criterios establecidos. La Tabla 1 resume el número de criterios que se aplicó a cada nivel de medición de las competencias.

Número de reactivos por competencia y nivel

Tabla 1

Como se puede apreciar en la Tabla 1, la medición de las competencias no se llevó a cabo con un número equivalente de criterios. Comunicación escrita y pensamiento crítico tuvieron una mayor oportunidad de ser medidas, comparadas con las competencias sobre uso de la tecnología y estudio independiente.  

Confiabilidad de las medidas

Dado el carácter de aparente inequidad con la cual se midió las competencias individualmente, era indispensable establecer el grado de confiabilidad de las medidas globales a las cuales se expuso a los estudiantes, es decir determinar la consistencia de los niveles de competencia medidos. El grado de consistencia interna de cada una de las medidas se definió a partir del alfa de Cronbach, cuyos resultados se presentan en la Tabla 2.

Confiabilidad de las medidas de cada nivel de competencia
Tabla 2

Como se puede observar en la Tabla 2, los índices de consistencia interna variaron de .72 a .85. De Vellis (1991) propuso los criterios para juzgar la confiabilidad de medidas escalares como las empleadas en este estudio, los cuales se presentan en la Tabla 3.  

Niveles de aceptación de los índices de confiabilidad de medidas, de acuerdo con De Vellis (1991)
Tabla 3

De acuerdo con estos criterios, la confiabilidad de las medidas de los niveles de competencia varió de “respetable” en el caso del primer y segundo nivel, a “muy buena”, en el caso del diagnóstico y el tercer nivel. 

Procedimiento de análisis

La medida de las competencias cubrió dos formas de evaluación: la formativa que describe el proceso por el cual transita el estudiante en el desarrollo de las competencias, y la sumativa, que consiste en la evidencia del dominio o falta de dominio de éstas, al final del proceso educativo. Para medir la primera forma, se tomaron en consideración la evaluación diagnóstica y las evaluaciones parciales, las cuales cerraban ciclos de aprendizaje de cinco semanas, mientras que la segunda se midió con la evaluación final la cual determinó la acreditación o la no-acreditación del módulo.

El análisis estadístico de la información se practicó únicamente al grupo de estudiantes que contaba con la totalidad de las evaluaciones, es decir, la evaluación diagnóstica y los tres niveles de competencia. En esta condición se encontraban 124 estudiantes.

Para poner a prueba la primera hipótesis planteada, se determinó el rango en el cual se ubicaba cada uno de los niveles de competencia, utilizando la prueba de rangos de Friedman. Para la prueba de la segunda hipótesis se obtuvo la correlación existente entre los puntajes de cada competencia por nivel y la diferencia entre medias en cada uno de los niveles medidos, definida por el tamaño del efecto.

Para evaluar el aprendizaje, se compararon las medias de los puntajes de niveles sucesivos, mediante la prueba t y el tamaño del efecto. Además, se determinaron las ganancias en la progresión del dominio de la competencia, restando el puntaje obtenido en la evaluación diagnóstica del puntaje obtenido en el primer nivel; restando este puntaje del obtenido en el segundo nivel, y éste del obtenido en el tercer nivel, de tal manera que se pudiera dimensionar el tamaño del efecto.

Resultados

Los resultados se presentan en tres apartados los cuales siguen de manera aproximada el orden en que fueron planteadas las hipótesis y la evaluación del aprendizaje.

Desarrollo de las competencias

En este apartado se presentan los resultados de la prueba de la primera hipótesis, es decir, el supuesto de que el desarrollo de las competencias es un proceso gradual y progresivo que se puede medir en diversos niveles de dominio.

La Tabla4 presenta un concentrado de las medias de las calificaciones de los estudiantes en cada una de las competencias y los rangos en los cuales se ubicaron, para determinar la progresión y la significatividad de esa progresión desde la evaluación diagnóstica hasta el tercer nivel.

Medias y rangos de Friedman por competencia y nivel
Tabla 4 

Código: M = media, R = rango.

Como se puede observar en la Tabla 4, el rango en el que se ubican las medias desde el diagnóstico al tercer nivel es progresivo, en concordancia con el valor de las medias. Todos los rangos fueron estadísticamente diferentes, es decir, el avance de uno a otro nivel fue estadísticamente significativo. En el caso de la competencia pensamiento crítico, χ² = 109.15, gl = 3, p<.01; para la competencia comunicación escrita, χ² = 167.87, gl = 3, p<.01; en cuanto a la competencia uso de la tecnología, χ² = 160.11, gl = 3, p<.01, y en el caso de la competencia estudio independiente, χ² = 190.09, gl = 3, p<.01. Para la evaluación global de cada nivel, los resultados fueron similares (χ² = 198.29, gl = 3, p<.01). Sin embargo, en el caso de la competencia estudio independiente, el rango del nivel 2 superó al del nivel 3. Este es el único caso en el que la hipótesis no se sostiene.

Uniformidad del avance

La manera en que se puso a prueba la hipótesis de la uniformidad con la que se desarrollan las competencias se realizó, en una primera instancia, mediante la correlación o falta de correlación existente entre medidas al interior de cada nivel de medición. Los resultados indicaron la existencia de una correlación positiva y significativa que iba de r = .377 a r = .709 en el caso de la evaluación diagnóstica; en el caso de la evaluación del primer nivel los índices iban de r = .222 a r = .668; para la evaluación del segundo nivel el valor más bajo fue de r = .268 y el más alto fue de r = .849; por último, en la evaluación del tercer nivel los índices variaron de r = .505 a r = .819. En todos los casos, el margen de error fue inferior a .01.

Por otro lado, la comparación entre las medias de cada una de las competencias en los diversos niveles medidos arrojó resultados interesantes. La Tabla 5 resume los resultados de las comparaciones a través del tamaño del efecto.

Tamaño del efecto entre las medias de las competencias pensamiento crítico, comunicación escrita, uso de la tecnología y estudio independiente por nivel de desarrollo
Tabla 5

Código: Com = competencias, PC = pensamiento crítico, CE = comunicación escrita, UT = uso de la tecnología, EI = estudio independiente, M = media, DE desviación estándar, TE = tamaño del efecto.

De acuerdo con el significado práctico que le da Cohen (1969) a los diversos tamaños del efecto (<.2 es insignificante, >.2 es un tamaño “pequeño”, >.5 es un tamaño “medio”, y >.8 es un tamaño “grande”), la mayoría caen en el rango de insignificante o pequeño excepto estudio independiente que resulta medianamente diferente de pensamiento crítico en el nivel 1, y estudio independiente que resulta claramente diferente comparado con pensamiento crítico, comunicación escrita y uso de la tecnología en el nivel 2.

A pesar de los resultados de las correlaciones, el tamaño del efecto en la comparación de medias no indica un patrón regular o una equivalencia (una no-diferencia) entre las medidas de un mismo nivel, por lo cual no hay una evidencia que apoye la hipótesis del desarrollo uniforme de las competencias. Sobre todo, la comparación de estudio independiente con pensamiento crítico, comunicación escrita, y uso de la tecnología produjo tamaños del efecto demasiado grandes comparados con el resultado de otros pares de medias.

Aprendizaje de las competencias

El puntaje general medio obtenido por los estudiantes en el diagnóstico y cada uno de los niveles se presentan en la Figura 1.

Figura 1. Curva de aprendizaje en el módulo propedéutico 2007-2.

 Como se puede observar en la Figura 1, los estudiantes iniciaron con un puntaje de 5.83 y terminaron con un puntaje de 8.75 en el tercer nivel. Esto representa una ganancia total de 2.92 puntos. En términos del tamaño del efecto (d de Cohen = 2.08), esta ganancia indica una diferencia de 2.08 desviaciones estándar entre la media de la evaluación diagnóstica y la media del tercer nivel, lo que hace la diferencia altamente significativa.

De acuerdo con la equivalencia numérica asignada a cada uno de los niveles de avance, se puede deducir que el estudiante medio inició el desarrollo de las competencias en el módulo propedéutico en un nivel en proceso (5.83) y terminó en un nivel avanzado (8.75).

En la Tabla 6 se presentan los resultados del análisis de la prueba t para muestras relacionadas, con las diferencias encontradas entre niveles. 

Comparación entre medias de niveles sucesivos en el desarrollo de las competencias
Tabla 6 

*Valor crítico de t = 3.29

Como se puede observar en la Tabla 6, las diferencias entre las medias son estadísticamente significativas, aunque el tamaño del efecto señala de manera más precisa cuáles son las diferencias importantes. Entre la evaluación diagnóstica y el nivel 1 los estudiantes avanzaron 1.40 puntos, lo cual representa una ganancia importante, de acuerdo con el resultado de la prueba t (t = 7.719, p<.01) y el tamaño del efecto (d de Cohen = .864); un resultado similar al anterior se observa entre el nivel 1 y el nivel 2, en el cual los estudiantes avanzaron 1.21 puntos, con una ganancia importante que se evidencia en el resultado de la prueba t (t = 10.272, p<.01) y el tamaño del efecto (d de Cohen = .960). Por otro lado, el avance entre el nivel 2 y el nivel 3 sólo fue de .31 puntos, por lo que, aunque la diferencia entre las dos medias es significativa (t = 4.18, p<.01), la ganancia entre un nivel y otro fue pequeña (d de Cohen = .298). 

El comparativo entre la evaluación diagnóstica y el nivel 3 de las competencias no solamente resultó en una diferencia significativa a través del valor de la prueba t (16.837, p<.01), sino en un tamaño del efecto significativamente alto (d de Cohen = 2.085) el cual sugiere una ganancia superior (2.92 puntos) en el dominio de las competencias.

Aprendizaje de cada competencia

En cuanto al comportamiento individual de cada una de las competencias, en la Figura 2 se presentan las medias de los puntajes obtenidos por los estudiantes en cada uno de los niveles.

Figura 2. Curva de aprendizaje por competencia medida en el módulo propedéutico 2007-1.

En la Figura 2 se observa la tendencia progresiva lineal de tres competencias: pensamiento crítico, comunicación escrita y uso de la tecnología. Estudio independiente presenta una trayectoria diferente. La uniformidad de las tres primeras competencias se observa sobre todo en los niveles 2 y 3, y la mayor diferencia entre estudio independiente y las tres competencias restantes se observa principalmente en el nivel 2. En la Tabla 7 se desglosa entre qué niveles se presentaron los mayores avances en el desarrollo de las competencias.

Comparación entre medias de niveles sucesivos por competencia medida
Tabla 7

Código: D = Diagnóstico, N1 = nivel 1, N2 = nivel 2, N3 = nivel 3, M = media, DE = desviación estándar, TE = tamaño del efecto.

El primer aspecto a destacar en la Tabla 7 es que en tres de las cuatro competencias el mayor avance se logró de la evaluación diagnóstica al primer nivel. El desglose de los avances por cada competencia se describe a continuación.

Pensamiento Crítico. La significancia de la prueba t y el tamaño del efecto sugieren que el mayor avance se logró de la evaluación diagnóstica al primer nivel para la competencia de pensamiento crítico (t = -7.620, p<.01; d de Cohen = .95). Del nivel 1 al nivel 2 no hubo avance significativo, y del nivel 2 al nivel 3 hubo un avance pequeño. Por otro lado, el avance de la evaluación diagnóstica a la evaluación del tercer nivel no solamente fue estadísticamente significativo (t = -11.52, p<.01) sino que el tamaño del efecto fue alto (d de Cohen = 1.48).

Comunicación escrita. En comunicación escrita hubo un avance relativamente alto entre la evaluación diagnóstica y el primer nivel de la competencia (t = -7.63, p<.01; d de Cohen = .86). Se presentó un avance pequeño entre el nivel 1 y el nivel 2 (t = -5.42, p<.01; d de Cohen = .47), y entre el nivel 2 y el nivel 3 (t = -4.53, p<.01; d de Cohen = .36). El avance global que experimentaron los estudiantes en esta competencia fue alto (t = -14.87, p<.01; d de Cohen = 1.84).

Uso de la tecnología. En uso de la tecnología hubo un avance relativamente alto entre la evaluación diagnóstica y el primer nivel de la competencia (t = -7.33, p<.01; d de Cohen = .82). Se presentó un avance medio entre el nivel 1 y el nivel 2 (t = -4.72, p<.01; d de Cohen = .50), lo mismo que entre el nivel 2 y el nivel 3 (t = -5.33, p<.01; d de Cohen = .54). El avance global que experimentaron los estudiantes en esta competencia fue alto (t = -15.60, p<.01; d de Cohen = 1.87).

Estudio independiente. En estudio independiente no hubo avance entre la evaluación diagnóstica y el primer nivel de la competencia (t = -1.64, p>.05; d de Cohen = .19). El mayor avance se registró entre el nivel 1 y el nivel 2 (t = -13.668, p<.01; d de Cohen = 1.83), mientras que entre el nivel 2 y el nivel 3 se registró un retroceso en el dominio de la competencia (t = 4.48, p<.01; d de Cohen = .48). El avance global que experimentaron los estudiantes en esta competencia fue alto (t = -12.12, p<.01; d de Cohen = 1.87).

Discusión

Los resultados reportados en la Tabla 4 y gráficamente expuestos en la Figura 1 aportan indicios de que el desarrollo de las competencias probablemente responda a un proceso gradual y progresivo, en el que la complejización de la tarea juegue un papel importante. Precisamente, en un entorno educativo formal los resultados del aprendizaje no pueden quedar desligados de la acción didáctica, sobre todo cuando ésta se concretiza en una tarea mediante la cual se evalúa el aprendizaje. Estas tareas son tan importantes en el aprendizaje mediado por tecnología que pueden propiciar que el aprendiz se olvide del tiempo transcurrido al estar aprendiendo (Morales, 2005).

Una buena tarea cognitiva implica una combinación de objetivos de aprendizaje y el logro de éstos; el establecer objetivos de aprendizaje por sí mismos puede resultar poco atractivo para los alumnos, pero si se combinan con un conjunto de normas o rúbricas que aborden el cómo lograr dichos objetivos, podrían obtenerse tareas motivantes (Morales, 2005).

En el módulo propedéutico hay dos tipos de tareas: las preparatorias y las de demostración. Generalmente las primeras son de carácter discreto, es decir, se concentran en la competencia específica, como el uso del “control de cambios” en un procesador de textos, o el dominio de una de las formas de argumentación. Las tareas de demostración, en cambio, son estructuradas para permitir la ejecución de todas las competencias en un ejercicio comprehensivo. En el propedéutico, las tareas se eligen y desarrollan bajo los criterios de que: a) resulten significativas a los estudiantes, teniendo en cuenta su condición de profesionales de alguna carrera en la que se desempeñan, b) estén directamente ligadas a las competencias que van a desarrollar o demostrar, c) se presenten en una progresión de complejidad creciente, de tal manera que una vez que se domina una habilidad, se siga practicando en el contexto de una tarea más amplia y compleja, d) se acompañen de rúbricas que indiquen exactamente de qué manera será evaluada y retroalimentada su ejecución. De esta manera, toda tarea se planea como una parte de la evaluación formativa, aunque en el caso de las tareas de demostración, también se considera parte de la evaluación sumativa.

La disquisición sobre la tarea con la que inicia la discusión tiene su razón de ser a partir de los resultados que se presentan en la Tabla 4 y la Figura 1. La evaluación sumativa que exige la demostración de la competencia tiene como base una tarea de demostración, con las características señaladas anteriormente, bajo el supuesto de que una complejización de la tarea permitirá ejecuciones de un dominio cada vez mayor y permite establecer niveles de ejecución que están en correspondencia exacta con los criterios de evaluación establecidos para cada nivel de ejecución. Así, los criterios y niveles de ejecución pueden considerarse validados a través de los resultados que se presentan en este estudio. Sin embargo, este no es el caso en estudio independiente. Su ejecución es marcadamente diferente de la ejecución en las competencias restantes, particularmente en el nivel 2. Pueden ser múltiples los factores por los cuales se presentan esas diferencias, que no pudieron ser indagados en este estudio. Será necesario revisar los criterios de demostración, el ejercicio con el que se evalúa el nivel 2 de la competencia y la rúbrica correspondiente, para posteriormente hacer un recuento del comportamiento que sigue a lo largo del propedéutico.

En cuanto al desarrollo uniforme de las competencias, no hay evidencia que apoye esta hipótesis. No hay un patrón regular en las medias comparadas, excepto en el caso de comunicación escrita y uso de la tecnología, entre las cuales no se observa diferencia a través de los niveles. Sin embargo, un apoyo real a la hipótesis del desarrollo uniforme tendría que provenir de la no-diferencia entre las medias de todas las competencias en un mismo nivel de desarrollo. Este no es el caso, por lo que es probable suponer también que cada competencia tenga su propio tren de desarrollo. Esta pretensión tampoco es corroborada con los datos presentados en la Tabla 5, por lo que será necesario indagar de manera más precisa la manera en la cual se desarrollan las competencias en un contexto de aprendizaje a distancia. Es probable que si se presentan tareas discretas para evaluar las competencias por separado, los resultados sean más favorables al desarrollo independiente de cada competencia.

Las particularidades de la evaluación de las competencias discutidas en los párrafos anteriores no resultan en menoscabo de la demostración del aprendizaje de los estudiantes. Los datos presentados en la Tabla 2, evidencian que las medidas de cada nivel de competencia son robustas y confiables. La curva de aprendizaje que muestra la Figura 1 es alentadora porque representa una figura clásica del aprendizaje de habilidades que se practican reiteradamente hasta su estabilización al lograrse la meta planteada: hay una aceleración inicial que paulatinamente se reduce a través de los ensayos sucesivos y termina en una línea recta al lograrse el dominio completo de la habilidad. Esta trayectoria es particularmente clara en las competencias de pensamiento crítico, comunicación escrita y uso de la tecnología (Figura 2).

De hecho, la Tabla 6 evidencia una aceleración continua a partir del diagnóstico hasta la evaluación del segundo nivel de competencias, con una reducción entre el segundo y el tercer nivel medidos. La diferencia entre el diagnóstico y el tercer nivel fue de 2.92 puntos, lo cual representa un gran avance, puesto que de acuerdo con Coe (2000), un tamaño del efecto como el que se señala para este avance (2.08) indica que el 98% de los estudiantes en el propedéutico caería por debajo de su propia ejecución promedio en la evaluación del tercer nivel. Ahora bien, ¿en qué competencias hubo los mayores avances? Al observar los tamaños del efecto en la Tabla 7 se pone de manifiesto que comunicación escrita y uso de la tecnología tuvieron los avances globales (es decir, del diagnóstico al tercer nivel de las competencias) más altos.

La evidencia del aprendizaje de alguna manera valida los contenidos de los niveles de competencia, aunque se encuentran particularidades al interior de algunas competencias que resultan atípicas y que se observan en la Tabla 7, por ejemplo, que en pensamiento crítico no hubiera avance del nivel 1 al nivel 2, o bien que en estudio independiente no hubiera avance del diagnóstico al nivel 1 y que hubiera un avance excesivo del nivel 1 al nivel 2, de tal manera que en el nivel 3 pareciera que el estudiante había retrocedido en su aprendizaje. En este sentido, la definición, evidencia y medición del aprendizaje en estudio independiente tendrán que ser revisadas para adecuar su progresión en el proceso educativo.

Un aspecto importante para la evaluación de las competencias, y que se hizo patente en estos resultados es que éstas no parten de cero al momento de iniciar el proceso educativo. Es muy claro que la fase en el desarrollo de las cuatro competencias medidas se encuentra en proceso al iniciar el propedéutico, y termina en un nivel avanzado. El estudiante ingresa al posgrado después de haber transitado por todos los niveles del sistema educativo formal, por lo cual se infiere que cuenta con un bagaje en lecto-escritura y en pensamiento crítico; por otro lado, la penetración de la tecnología en la sociedad permite inferir también que el estudiante ingresa al posgrado con las nociones y habilidades mínimas en esa área, mientras que algunos elementos del estudio independiente como la autorreflexión o la autogestión pudieran haber sido desarrollados en ciclos educativos anteriores, aunque sin la intencionalidad expresa que requieren los estudios en el posgrado a distancia del ILCE. 

Además, la evidencia de que la competencia ha sido adquirida es arbitraria, puesto que los estudiantes sólo permanecen en el módulo propedéutico un lapso de seis meses, y es probable que sigan perfeccionándola hasta llegar al nivel superado durante su estancia en el posgrado, la cual es de al menos dos años y medio. Por ello, estrictamente hablando, si las competencias que se midieron no tienen un inicio, o un fin, lo que en realidad se midió fue la evidencia de su desarrollo y perfeccionamiento en un periodo corto de tiempo, durante el módulo propedéutico.

Un último aspecto a considerar es que en este módulo se desarrollan habilidades complejas en los estudiantes, por lo que su acotación para la medición es imperfecta. Las variables que intervienen en el proceso son más bien “factores” susceptibles de explicar la adquisición de las competencias, aunque probablemente con un alto grado de error, porque al menos para este estudio no se tomaron en consideración las variables externas al proceso, como el grado en que el estudiante practicaba las competencias de manera independiente, en su trabajo, o en casa mediante la ejecución de tareas ajenas al proceso educativo formal, pero con repercusiones directas en la práctica de la competencia. Es decir, no existió un grupo de control a partir del cual se pudiera precisar el efecto de variables ajenas al proceso educativo. Sería deseable, por tanto, establecer en futuros estudios las bases de un grupo de control que pusiera en claro los efectos de tareas y ejercitaciones expresas en el propedéutico que son responsables del avance en el desarrollo de las competencias, y lograra identificar los factores que son directamente responsables del avance y los factores externos que pueden apoyar u obstaculizar ese avance.

Conclusiones

La manera en que se conciben las competencias básicas en los programas de  educación a distancia debe estar en concordancia estrecha con la forma en que se evidencian y se miden, para que se pueda asegurar su desarrollo efectivo. Las competencias de pensamiento crítico, comunicación escrita, uso de la tecnología y estudio independiente que se desarrollan durante el módulo propedéutico de los posgrados del ILCE fueron concebidas a partir de la manera en que podían evidenciarse. De acuerdo con los resultados de la medición reportada aquí, no se puede rechazar la hipótesis de que las competencias se desarrollan en niveles progresivos, particularmente en los tres niveles medidos. La tarea o tareas mediante las cuales se evalúa el avance de las competencias sería deseable que se revisaran, particularmente en la evaluación de la competencia estudio independiente.

El desarrollo de las competencias en el módulo propedéutico partió de un puntaje medio en la evaluación diagnóstica (5.83) y su desarrollo llegó a un nivel avanzado (8.75). Aunque este avance no se pueda atribuir enteramente a la mediación del currículo en el propedéutico, se sigue manteniendo la premisa de que sosteniendo el mismo proceso educativo, se obtendrán resultados similares en próximas emisiones del módulo. La evidencia mostró un proceso regulado de aprendizaje en los estudiantes, con un avance acelerado al inicio y una desaceleración al final, particularmente en las competencias de pensamiento crítico, comunicación escrita y uso de la tecnología.

Referencias

Argudín, Y.(2005). Educación basada en competencias. Nociones y antecedentes. México, D.F.: Trillas.

Cohen, J.(1969). Statistical power analysis for the behavioral sciences. New York: Academic Press.

Coe, R.(2000). What is an effect size? A brief introduction. Disponible en http://www.cemcentre.org/renderpage.asp?linkID=30325016

DeVellis, R. F.(1991). Scale development. Newbury Park, NJ: Sage Publications.

Morales, C.(2005). Tiempo psicológico en los estudiantes y carga de información. Ingenierías, 8 (27), 16-23.

Quesada, R.(2006). Evaluación del aprendizaje en la educación a distancia “en línea”. RED. Revista de Educación a Distancia, número M6 (Número especial dedicado a la evaluación de entornos virtuales de aprendizaje). Disponible en  http://www.um.es/ead/red/M6

Califique este artículo:

 

 <Anterior 1 2 3 4 5 6 7 8 Siguiente>