domingo, 17 de enero de 2016

Evaluación de intervenciones y de logros en plataformas MOOC, y sus limitaciones.

Estoy en la parte preliminar del curso abierto , la que se dedica a presentaciones, bienvenidas y familiarización de los participantes con el entorno.

Hemos concluido esa parte y quiero revisar, como profesor, quién lo ha hecho y cómo lo ha hecho. 

En los documentos y en la guía, en la parte dedicada a la organización del curso puse que esta parte, el hecho de presentarse, iba a ser evaluable. Sencillamente se trataba de constatar quién se presentaba y quién no, obtener información para utilizarla después como datos del perfil del alumno y tener en cuenta ese contexto en futuras evaluaciones de trabajos, en el feedback con el alumno etc. Una forma de hacer visible ese control era dotar a esa intervención del carácter de evaluable en la plataforma.

Pero este propósito y la limitación de las plataformas, en este caso de Open Education, imponen otra cosa: Esta acción supone al menos las siguientes operaciones: Ir al foro, entrar en el tablero de discusión de ese debate en particular, el de presentaciones, ir al apartado de calificación de intervinientes, y en él cargar la intervención concreta que queremos calificar, en esta ocasión se ve en la imagen cómo lo hemos hecho en el caso de la participante Perla Acuña. Todas estas operaciones duran, en este caso que se procesan datos y registros de casi quinientos alumnos que hay inscritos varios minutos. Proceso que hay que repetir en los varios cientos de alumnos que se presentan.

Obviamente es mucho más rápido y eficaz hacerlo de forma manual, y o bien el profesor, o bien el TA que vaya a tutorizar a ese alumno, se dote de una lista de los participantes, muy facil de obtener a través de volcar el contenido en una hoja de cálculo por ejemplo, haga una copia impresa en papel de ella y puntee con lápiz a los alumnos que se presentan, además puede tomar de la misma forma anotaciones sobre aspectos relevantes que vaya a utilizar en otras ocasiones futuras.


(Haga clic en la imagen para verla a pantalla completa)

No sucede así cuando queremos evaluar la relevancia de las intervenciones y aplicar los criterios para ello, que se explican en el documento del curso y en otro post sobre los criterios de evaluación de la relevancia y otorgamiento del logro

En este caso, como veremos en la parte correspondiente del curso, el profesor, evaluador o TA, hace la operación descrita, y en esa pantalla (la de la imagen), teniendo visible la intervención del alumno en una ventana, la pantalla de edición de comentarios activa en otra y con la calificación de nivel de consecución del logro activa, puede asignarlo y comentarlo al alumno. En otro proceso, en otro módulo de la plataforma (que explicamos aquí) se elabora la correspondiente regla para asignar el logro en la unidad o en el módulo. La herramienta qie para ello facilita Open Education es muy versátil y puede combinar, mediante reglas lógicas, el resultado de varios logros parciales. Es de esta forma como, combinando aspectos de intervención humana, en el analisi y evaluación de textos, con aspectos de proceso automático, como se hace más eficiente la evaluación. y no aplicando de forma automática e irreflexiva las herramientas de automatización a cualquier procedimiento como pueda ser el caso señalado al principio, el de constatar que el alumno realiza su presentación.

sábado, 16 de enero de 2016

Primeras intervenciones sobre contenidos

El próximo día 18 comienza el módulo 0 que es sobre el propio curso. El objetivo es conocerlo, sus características, cómo se progresa en él, su metodología y su forma de evaluación y de acreditación. También es conocer y comprender la estructura de capas y la escalabilidad. Para conseguir los logros del módulo hay que demostrar conocer el curso, sus objetivos, metodología y evaluación a través de intervenciones relevantes, en relación con esos temas, en el foro.
Sin embargo ya se están produciendo las primeras intervenciones, aún antes de publicar el guión del debate, simplemente con las indicaciones de la guía didáctica de la unidad.
Por su interés y significatividad reproduzco la primera, a partir del mensaje de Alirio Dávila, profesor de la Universidad Pedagógica Experimental de Venezuela:


Hace 14 horas
Evaluación de los aprendizajes - Alirio Dávila

Buenas tardes (hora de Venezuela, 3:45 pm) a mis apreciados y apreciadas colegas docentes participantes de este curso. Atendiendo a la invitación del Dr. Miguel y a lo indicado en el anuncio 01, presento a consideración de vosotros una primera reflexión que hago sobre mi lectura inicial del documento básico de la Unidad 0. Este es mi planteamiento:

Se resalta fundamentalmente que la orientación del curso sigue la línea de la personalización y con ello se nos señala que el logro de aprendizaje se hará efectivo en la medida que el diseño instruccional de un curso abierto contemple la situación particular de cada aprendiz, promoviendo la exploración de sus conocimientos previos que le favorezcan un aprendizaje significativo, de acuerdo con los postulados que nos ofrecen los enfoques clásicos de Ausubel, Novak entre otros.

Así mismo, con la sola mención del modelo “mastery learning” se nos anticipa  que nuestros avances en el curso estarían condicionados si se alcanzan niveles de rendimientos académicos que sean altamente satisfactorios, quizás con una medida de logro de aprendizaje no inferior a un 90% de dominio comprobado de las unidades de aprendizaje en desarrollo, bajo la responsabilidad total de cada individuo aprendiz.

Todo esto me induce a pensar que un punto crítico de un curso abierto y masivo descansa en el tema de la evaluación de los aprendizajes, como bien se explica a partir de la página 4 del documento básico en el apartado titulado Los Logros.  El proceso de evaluación es determinante del éxito de un MOOC, pues, las estrategias evaluativas tienen que ser garantes de la idoneidad de los logros de aprendizaje que consigan los alumnos.

Una estrategia de evaluación será efectiva en la medida que su aplicación condicione lo qué el alumno debe estudiar y dominar, y además cómo debe estudiar esos contenidos (Morales, 2010). Es decir, un proceso de evaluación puede inducir aprendizaje memorístico o reflexivo, de bajo o alto nivel cognitivo, respectivamente, en la escala de la taxonomía de Bloom, según el planteamiento evaluativo que haga el docente.  En un contexto universitario, por ejemplo, si evaluáramos para quedarnos únicamente en los niveles de conocimiento y comprensión, entonces, estaríamos alentando la promoción de alumnos que no serían capaces de desarrollar procesos cognitivos superiores como los de síntesis y análisis.

De modo que mi intervención se orienta a alertar que cuando nos corresponda impartir cursos masivos y abiertos, debemos ser muy cuidadosos con la selección y definición de las estrategias de evaluación que mejor apliquen para asegurarnos que efectivamente nuestros alumnos han logrado aprendizajes significativos, promoviendo tanto como fuere posible el desarrollo de procesos cognitivos superiores.


Alirio Dávila


Morales, P. (2010). Evaluación y Aprendizaje de Calidad. Ciudad de Guatemala, Guatemala: Publicación de la Universidad Rafael Landívar.

RESPUESTA
publicado hace 6 minutos (editado por última vez hace 0 minutos)
Miguel Zapata Ros Profesor Director
RE: Evaluación de los aprendizajes - Alirio Dávila

Gracias Alirio, ha manifestado una adecuada conceptualización sobre mastery learning, incluso antes del disparo de salida. Habría que decir que el criterio para saber si el dominio se ha alcanzado, que usted señala como "si se alcanzan niveles de rendimientos académicos que sean altamente satisfactorios, quizás con una medida de logro de aprendizaje no inferior a un 90% de dominio comprobado de las unidades de aprendizaje en desarrollo, bajo la responsabilidad total de cada individuo aprendiz", depende del tipo de tarea, de contenido conceptual, o en definitiva del aprendizaje, no siendo igual para todos los casos ni tipos de aprendizaje. En el documento curso-1.pdf  señalamos en particular las condiciones que se han de cumplir, y no son solo de autonomía, como señala en la última parte de su propuesta, sino , si mal no recuerdo:

1. Comprensión
2. Atribución de significado, Apropiación
3. Ejecución o aplicación de forma autónoma
4. Transferencia. Capacidad de ejecución de forma utónoma cuando cambian las condiciones o en contextos diferentes al que se ha adquirido
Y recordarle que la satisfacción es un síntoma del dominio nunca un indicador. Lo digo porque frecuentemente se producen pseudo-investigaciones conocidas como self report studies, que evaluan el aprendizaje a través de la satisfcción del alumno. Este tipo de pseudoinvestigaciones no son aceptadas por las publicaciones y las comunidades científicas en general, como sucede en el caso de la revista RED. Y no hay producción ni investigación que las avale. Así la satisfacción no está demostrado que esté correlacionada con la calidad ni mucho menos con la eficiencia del aprendizaje.
------------
Obviamente tanto pregunta como respuesta son debatibles, y se admiten discusiones siempre que se sean relevantes, sobre el tema y estén debidamente documentadas con referencias. El debate se hace en el seno del curso.

jueves, 14 de enero de 2016

Datos del comienzo del curso "Diseño instruccional de cursos abiertos online y de MOOC"

El pasado día 7 de enero se abrió la plataforma del curso para la participación. Hoy, una semana después, utilizando la analitica (excelente, todo hay que decirlo) de Open Education, he obtenido datos e informes que utilizo para esta entrada.

Hay que decir que en esta primera semana, como suele suceder se ha producido una situación de acomodo progresivo, de familiarización con el entorno y de resolución de incidencias. Por otro lado no se ha producido todavía la incorporación prevista, por ser época de vacaciones estivales en el hemisferio Sur (de posibles participantes de Argentina, Chile, Uruguay, Paraguay y Brasil sobre todo).

Se ha ido produciendo lo que estaba previsto, que es la presentación de los participantes, bienvenida y comentarios sobre participación, situación profesional, objetivos personales y expectativas.

Estos son los datos referidos al 14 de enero a las 12h.:

Número de inscritos: 455

Accesos a los distintos módulos de contenidos del curso (se excluyen los foros):

(Hacer clic sobre la imagen para verla a pantalla completa)

Actividad en los foros (exclusivamente casi en el foro de bienvenida y presentaciones):

Accesos:

(Hacer clic sobre la imagen para verla a pantalla completa)

Intervenciones:
Han habido 215 intervenciones relevantes de 88 participantes

viernes, 8 de enero de 2016

Introducción al curso (y III): Contenidos

Este post es continuación de otros anteriores y el tercero y último de una serie donde se explica cómo es el curso "Diseño instruccional de cursos abiertos online y de MOOC", al que se puede inscribir en está página


El curso será eminentemente práctico, procedimental, en el que los participantes adquieran destrezas para diseñar de forma autónoma un curso abierto online o un MOOC. El núcleo base será por tanto el que se dedique a elaborar de forma práctica ese diseño, y constituirá la mayor parte del tiempo que dedicamos al curso. Obviamente esta parte debe de ir precedida de otra, de naturaleza conceptual, donde hagamos una puesta en común repasando las teorías que justifican el diseño y los conceptos vínculados con el propio diseño instruccional.
Co todo ello organizamos el siguiente mapa conceptual. En él coloreamos de forma distinta los módulos, sin embargo esta diferenciación es solo a efectos de organiza los contenidos y el que haya más módulos en la primera parte no significa que su extensión sea proporcional al número de módulos, ni tan siquiera que entre los cuatro primeros superen en extensión o en dedicación al quinto.
De esta manera el mapa conceptual quedará de esta forma

Mapa conceptual de contenidos y relaciones


(Hacer clic sobre la figura para ver a pantalla completa)

Secuencia de contenidos


Si a partir del mapa conceptual construimos la secuencia de contenidos quedaría de esta forma, donde como hemos dicho, la cantidad de contenidos no es proporcional al número de bloques. De hecho el quinto es más extenso que el resto, lo cual quedaría reflejado en el programa del curso
Secuencia


1.    Los cursos online abiertos y el diseño instruccional
a.    La necesidad del diseño instruccional
b.    Un esquema omnipresente: Teoría/práctica y evaluación/diseño.
c.    Teorías sobre la instrucción y el aprendizaje

2.    Componentes del diseño.-
Objetivos, contenidos, actividades, recursos, evaluación como assessment, evaluación como evaluation.
3.    Secuenciación
Qué es, técnicas clásicas y nuevos paradigmas sobre la secuenciación
4.    Introducción  al diseño, construcción y desarrollo de un Curso abierto en línea con ambientes flexibles.

5.    Manos a la masa: Proceso propuesto para el diseño y la creación de un curso:
5.1 Objetivos y epítome.
5.2  Constru cción de unidades.  
5.3  Construir la guía docente de la unidad.
5.4  Construir la guía didáctica de una unidad.
5.5  Crear y organizar materiales para cada unidad.
5.6  Los Profesores Asistentes




De esta forma, atendiendo a una distribución homogénea por unidades el programa queda de la siguiente forma:


Programa del curso


Unidad 1. Los cursos online abiertos y el diseño instruccional
La necesidad del diseño instruccional
Un esquema omnipresente: Teoría/práctica y evaluación/diseño.
Teorías sobre la instrucción y el aprendizaje
Unidad 2
Componentes del diseño.-
Objetivos, contenidos, actividades, recursos, evaluación como assessment, evaluación como evaluation
Secuenciación
Qué es, técnicas clásicas y nuevos paradigmas sobre la secuenciación
Unida3. Diseño, construcción y desarrollo de un Curso abierto en línea con ambientes flexibles.
Introducción
Proceso propuesto para el diseño y la creación de un curso:
1. Objetivos y epítome.
2. Construcción de unidades.  
3. Construir la guía docente de la unidad.
Unidad 4.- Guía didáctica de una unidad.
Proceso de diseño y creación de un curso (continuación)
4. Guía didáctica de la unidad.
Unidad 5.- Crear y organizar materiales para cada unidad.
Proceso de diseño y creación de un curso (continuación)
5. Crear y organizar materiales para cada unidad.
Unidad 6.- Los Profesores Asistentes
Proceso de diseño y creación de un curso (continuación)
6. Los Profesores Asistentes.

Cronograma


Periodo
Actividad
Logro
07/01/2016
Presentaciones y ajustes
Manejarse con soltura en la plataforma y primeras experiencias sociales, presentaciones, etc.
18/01/2016
Unidad 0. Organización del curso
Conocer el curso, sus objetivos, metodología y evaluación.
01/02/2016
Unidad 1. Los cursos online abiertos y el diseño instruccional. La necesidad del diseño instruccional. Un esquema omnipresente: Teoría/práctica y evaluación/diseño. Teorías sobre la instrucción y el aprendizaje
Conocer con soltura las teorías existentes. Manejar léxico y conceptos asociados
15/02/2016
Unidad 2.-  Componentes del diseño: Objetivos, contenidos, actividades, recursos, evaluación como assessment, evaluación como evaluation.- Secuenciación: Qué es, técnicas clásicas y nuevos paradigmas sobre la secuenciación
Conocer con soltura los conceptos del diseño instruccional. Utilizar con propiedad términos, conceptos y procedimientos asociados.
29/02/2016
Unida3. Diseño, construcción y desarrollo de un Curso abierto en línea con ambientes flexibles.- Introducción. Proceso propuesto para el diseño y la creación de un curso: 1. Objetivos y epítome. 2. Construcción de unidades.  3. Construir la guía docente de la unidad.
Elaborar, con dominio, objetivos y epítome, una  unidad  y la guía docente de la unidad.
19/03/2016
Vacaciones Semana Santa

28/03/2016
Unidad 4.- Guía didáctica de una unidad. Proceso de diseño y creación de un curso --> 4. Guía didáctica de la unidad.
 Elaborar, con dominio, la guía didáctica de la unidad.
11/04/2016
Unidad 5.- Crear y organizar materiales para cada unidad. Proceso de diseño y creación de un curso --> 5. Crear y organizar materiales para cada unidad.
 Elaborar, con dominio, utilizando técnicas de secuenciación de contenidos la organización de materiales para cada unidad, el diseño de los materiales de un curso completo.
25/04/2016
Unidad 6.- Los Profesores Asistentes.- Proceso de diseño y creación de un curso --> 6. Los Profesores Asistentes.
Realizar el diseño instruccional de un curso o de un programa formativo.
09/05/2016
CONCLUSIÓN PERIODO LECTIVO



Referencias
CIT (Center for Intructional Technologie) (2013) Building a Coursera Course  Version 2.0 https://docs.google.com/document/d/1ST44i6fjoaRHvs5IWYXqJbiI31muJii_iqeJ_y1pxG0/edit?pli=1
Clark, D. (2013). MOOCs: taxonomy of 8 types of MOOC. Donald Clark Paln B. http://donaldclarkplanb.blogspot.com.es/2013/04/moocs-taxonomy-of-8-types-of-mooc.html
Conole, G. (2013). MOOCs as disruptive technologies: strategies for enhancing the learner experience and quality of MOOCs.  http://eprints.rclis.org/19388/
Fink, L.D. (2003), A Self-Directed Guide to Designing Courses for Significant Learning. http://www.deefinkandassociates.com/GuidetoCourseDesignAug05.pdf
Reigeluth, C. (2012).  Teoría instruccional y tecnología para el nuevo paradigma de la educación. RED, Revista de Educación a Distancia. Número 32. 30 de septiembre de 2012. Consultado el (dd/mm/aaa) en http://www.um.es/ead/red/32
Weller, M. (2013) Good post by Martin Weller [@mweller] on Coursera's new plans - The Ed Techie: You can stop worrying about MOOCs now http://ow.ly/1WTQCf, http://nogoodreason.typepad.co.uk/no_good_reason/2013/05/you-can-stop-worrying-about-moocs-now.html
Zapata-Ros, M. (2012) Teorías y modelos sobre el aprendizaje en entornos conectados y ubicuos. Bases para un nuevo modelo teórico a partir de una visión critica del “conectivismo”. http://eprints.rclis.org/17463/
Zapata-Ros, M. (2013b). Las teorías del aprendizaje y el diseño instruccional. El esquema incompleto. http://redesabiertas.blogspot.com.es/2013/04/las-teorias-del-aprendizaje-y-el-diseno.html