El diseño instruccional y la evaluación en la nueva educación universitaria

 ¿Qué hemos aprendido con las disrupciones y la pandemia?

PRÓLOGO DEL LIBRO (borrador)

Cuatro vectores han confluido en la situación actual, y en la que se va a producir, de la educación universitaria y en buena parte de la educación en general:

Uno lo constituyen las tendencias que ya existían de la educación apoyada por la tecnología, la educación abierta, la educación on line y en general todas aquellas manifestaciones de la actividad educativa y de la forma en que se producen los aprendizajes, que se han visto afectados por la sociedad digital y por sus implicaciones.

Otro lo constituyen formas de docencia y de evaluación que se han manifestado como altamente eficientes en este contexto estructural. Aunque nos parezca anecdótico, pero ya veremos que no, afecta a sistemas educativos y universitarios enteros, de entre los más pujantes

En particular nos referimos a Mastery learning, o lo que de forma vaga o perifrástica se ha denominado modelo de dominio en el aprendizaje, y en otros casos modelo Singapur.

El tercero lo constituyen las disrupciones educativas y universitarias.

El último vector lo constituye, cómo no, la pandemia y el tránsito forzado y repentino a formas de docencia y evaluación que respetasen las normas sanitarias y que, en lo posible, cumpliendo sus fines de organizar la actividad de aprendizaje y de evidenciar los logros de los alumnos, se viese afectados lo mínimo por la situación sobrevenida.

En conjunto se ha producido una situación nueva con caracteres de permanecía. La pandemia ha acelerado unos cambios que de otra forma se venían produciendo de forma gradual, y sobre todo ha puesto de relieve su conveniencia en cualquier situación y los ha consolidado.

En este marco nuevo y con visos de permanencia estructural, han cambiado las bases en las que se desarrollan las actividades y sus medios, afectando a aspectos claves

 

La constancia de que la complejidad de las situaciones hace inviable cualquier explicación o solución global, nos confirma que la época de las macroideas y de los paradigmas educativos que dan explicación, sentido y significado a todo en cualquier situación ha pasado. Los anhelos y las ansiedades humanas de encontrar un relato o una explicación global se han mostrado históricamente más como fuente de problemas y de sufrimientos incluso que de soluciones. Lo que en otros ámbitos han sido fakes, en educación, la misma situación, como igual causa, ha dado lugar a multitud de mitos pedagógicos.

En definitiva, la teoría del Diseño Instruccional es una teoría orientada a la práctica o una teoría práctica, en contraposición a las llamadas teorías descriptivas:

•       Las teorías prácticas persiguen proporcionar, como objeto de la investigación, una orientación directa sobre el tipo de métodos que hay que utilizar para conseguir los objetivos que nos proponemos.

•       En contraposición a las teorías descriptivas, que intentan proporcionar un conocimiento más profundo de los efectos producidos por los fenómenos que estudian.

Es una teoría situacional. El aprendizaje depende en gran medida de las condiciones de todo tipo en las que se produce.

En consonancia, el diseño instruccional se define como

"un proceso sistemático que se emplea para desarrollar programas de educación y capacitación de manera continua y confiable" (Reiser & Dempsey, 2007). 

Por otra parte, como cualquier diseño, el diseño instruccional está considerado como una práctica. Y como tal suministra métodos que están íntimamente vinculados con la experiencia. Realmente son resultados sistematizados de la experiencia, validados por los métodos científicos.

La consecuencia más importante de este rasgo es que está subordinado a la experiencia. Nunca se pueden producir situaciones en las cuales el diseño contravenga una tradición de experiencias y de prácticas consolidadas

Todo ello nos da las claves, solo como método, para utilizar lo que se sabe, acerca de como los individuos aprenden en distintas situaciones. Como hemos dicho, el diseño instruccional es un saber y un conocimiento situacional. Parte de la idea de que las condiciones determinan en gran parte como se produce el aprendizaje, Y ninguna teoría en particular tiene las claves para todas las situaciones o es aplicable en cualquier situación.

Partimos de varios supuestos:

- Únicamente, en este dominio como en otros dominios científicos, se acepta como válido lo que está evidenciado en análisis y en estudios empíricos contrastados y probados. De ellos hay miles, decenas de miles sobre el aprendizaje en función de las condiciones en que se produce

- Todos esos resultados dan lugar, formando una sólida base, a constelaciones de ideas unidas por relaciones, implicaciones lógicas, procesos de síntesis, de diferenciación o de exclusión, a los enunciados generales que constituyen las teorías. No se comprende una teoría práctica, y las teorías educativas y sobre el aprendizaje lo son, sin esa sólida base y sin esos procesos de sistematización de los resultados, en conclusiones y en principios.

El libro que tiene en las manos parte, de una forma deseablemente sencilla, como fundamentación, del conocimiento que se tiene por los teóricos, y es aceptado de una forma consensuada, acerca del aprendizaje y de cómo se produce. De entre ellos los más conocidos y que hemos tomado como más importantes son los primeros principios de Merrill y las condiciones del aprendizaje de Gagné. Pero además da un repaso a los paradigmas interpretativos de la educación, la otra derivada de las teorías. Para una  propuesta concreta la de mastery learning, hemos tomado los resultados de un trabajo seminal de Samuel Bloom conocido como “el problema de las dos sigmas”.

A partir de ello hemos tomado como guía práctica para desarrollar una propuesta de diseño instruccional los trabajos de Reigeluth.

Pensamos que cualquier desarrollo teórico es estéril si no se somete al crisol, a la prueba, de lo que es realizable e implementable en situaciones concretas con ejecuciones reales y verificables sobre el terreno ---en el aula o en el entorno tecnológico de aprendizaje---- que puedan se contrastadas, verificadas, evaluadas y en su caso revisadas.

La manifestación evidenciable y evaluable del diseño instruccional es la guía docente, la guía didáctica. Es decir, la redacción del plan y la guía del itinerario que vamos a seguir en una clase desde la expresión escrita de lo que queremos que se produzca, en cuanto a aprendizajes, hasta los resultados que se han producido y cómo se han producido.

Para eso nos ha sido de gran utilidad algo que para muchos sonará a original, pero que no lo es, nos referimos a los trabajos de Fink, el teórico que fundamento la metodología de los MOOC de Coursera, sobre la elaboración de la guía docente. Es lo que hemos llamado “guía docente con estructura de tabla de doble entrada (matriz)”, donde aparecen como veremos, lo ítems de contenidos (que previamente hemos obtenido mediante cualquiera de las técnicas clásicas de secuenciación de contenidos) aparecen como filas y las componentes del diseño instruccional de cada uno de ellos (contenido, resultados de aprendizaje, actividades, evaluación y recursos) aparecen como columnas.

Con ello hemos redactado la segunda parte de este libro.

Imagen: Portada y contraportada del libro "El diseño instruccional y la evaluación en la nueva educación universitaria ¿Qué hemos aprendido con las disrupciones y la pandemia?". Kindle Direct Publishing. ISBN: 9798727690062. DOI: 10.13140/RG.2.2.21911.29605.

COVID19: La transición pedagógica de la docencia universitaria hacia el modo online (IV-2):

La evaluación (2)

Este post se irá actualizando continuamente. Por tanto, le sugerimos que vuelva y lo refresque con frecuencia, en el supuesto de que le interese.

Es la continuación de una serie que comenzó aquí. Y proseguirá.

Se puede completar con los materiales depositados en este enlace, que son su referencia.

Esta idea, de que no se debe impedir a los alumnos la posibilidad de ser evaluados y, en su caso, de que sean acreditados su logros, habilidades y competencias, sea cual sea la situación, viene avalada además por unos  principios de naturaleza empírica con una consistencia innegable.

Recordemos una investigación seminal, ya clásica, que siempre cito, como fundamento del mastery learning, y en ella el conocido como “Problema de dos sigmas”, de Bloom.

Benjamín Bloom es conocido por su taxonomía, que supuso un gran avance en el estudio de los tipos de dominio cognitivo o niveles de aprendizaje. Fue un gran avance en efecto para el estudio de niveles y características de ámbitos cognitivos sobre todo.

Sin embargo hay un trabajo no menos importante. Se trata de The 2 Sigma Problem: The Search for Methods of Group Instruction as Effective as One-to-One Tutoring.

La investigación está descrita en los documentos originales y su explicación simplificada la hago en varios trabajos.

De ella destaco, entre sus conclusiones, la información del cuadro siguiente. En él se describe, para los grupos de contraste que se establecieron, el efecto de las variables más importantes que influyen en el aprendizaje. La intensidad y alcance del efecto los describe mediante la ponderación de cada factor y con la indicación, en columna segunda, del percentil de cada factor, a qué porcentaje de alumnos influye.

Así vemos que la tutoría (realizable hoy día, casi con las mismas garantías que la presencial, con medios telemáticos) tiene una ponderación de 2.00 y que afecta hasta a un 98% a los estudiantes en el rendimiento. Mientras que el ambiente de clase, la interacción directa con el profesor en modalidad de clase expositiva, tiene una ponderación de 0.60. Observemos que es menor incluso que el trabajo en casa (eso que en nuestro país, de manera  impropia y estigmativamente, se llaman deberes) que pondera el 0.80. El ambiente de clase afecta hasta a un 73% de los estudiantes (percentil 73), mientras que la tutoría afecta al 98%. ¡Hay un 25% de diferencia!

Todo ello, es decir el uso adecuado de todas las modalidades que suponen estas variables, puede hacer que la casi totalidad de alumnos puedan aprender si se establecen las condiciones adecuadas.

Tanto es así que podemos decir que una forma de instrucción, de organizar la educación, que utilice la metodología de Mastery learning puede aumentar la curva de rendimiento en dos desviaciones típicas (2 sigmas) en un caso extremo (en la metodología de uno por uno, un alumno por profesor, es decir la mentorización. Que tradicionalmente ha sido una opción utópica, pero no ahora que puede ser telemática y con profesores aasistentes). Sin llegar a ese extremo la ganancia de la curva de aprendizaje puede ser de una sigma, para el caso de Mastery learning,  con respecto a la metodología tradicional (expositiva con exámenes):

En esta investigación seminal, Bloom obtuvo que la influencia en el aprendizaje no proviene solo de las clases, sino que se distribuye según los casos o los perfiles de aprendizaje de los estudiantes de una forma muy variada.

Por tanto un porcentaje muy grande de alumnos puede aprender considerablemente aún en condiciones de que no haya clases presenciales. Si no ofrecemos las evaluaciones a esos alumnos les quitaríamos la posibilidad de validar y acreditar ese aprendizaje.

Hay incluso alumnos que obtienen un considerable aprendizaje sin el concurso de las clases de forma habitual. A estos también se les quitaría esa oportunidad.

De manera que, si se suspenden las pruebas o cualquier otra evaluación, estaríamos restando posibilidades a un porcentaje muy alto de estudiantes y lo que desde el punto de vista social es más grave la marcha del progreso de la investigación y en el desarrollo del país. Repetimos una vez más, no se pueden pedir avances en las investigaciones para la vacuna del coronavirus y estar pidiendo por otro lado que se interrumpe el proceso que conduce a esa y a otras investigaciones en un año y los efectos derivados.

En este planteamiento no podemos olvidarnos de las consecuencias negativas del cierre de las escuelas según la UNESCO Unesco:

Tendencia al incremento de las tasas de abandono escolar: Es muy difícil lograr que los niños y jóvenes regresen a la escuela y que permanezcan en el sistema cuando los centros escolares vuelven a abrir. Es algo que sucede en particular tras cierres prolongados.

Un enunciado de este tipo está avalado por expertos y estos a su vez por investigaciones sobre la relación que se establece entre interrupción y abandono escolar. Como podemos ver en este estudio, éste o éste. Sin discriminar en niveles.

Una razón frecuente que se alega para suspender las pruebas es que “los chavales están perdidos”. Obviamente están perdidos aquellos alumnos que están entrenados para superar unos estándares, y lo están desde el momento en que se modifican las condiciones del entrenamiento o de los estándares. En ese momento surge el desconcierto. Pero eso no es una consecuencia de la evaluación, es una consecuencia, negativa, de una educación basada en estándares y en la superación de esos estándares, pero no de una educación para el rendimiento y el logro personal. Ese conflicto más tarde o más temprano tendría que salir. La pandemia, como en tantas disrupciones, ha sido el catalizador. Lo que ha hecho ha sido acelerar, en este caso abruptamente, el proceso. Los logros son consustanciales a las habilidades a desarrollar, no a las pruebas a las que van a ser sometidos para superarlas y para lo cual han estado entrenándose esos alumnos.

Por el contrario, a los estudiantes, que o bien han estudiado con una ayuda adecuada, como se ve en la tabla de variables de Bloom o bien por otros medios, están capacitados porque han trabajado de una forma no dependiente de la mecánica del proceso, se le dan las condiciones adecuadas, deben de ofrecérselo opciones para poder manifestar esos logros y sus condiciones para poder seguir su progreso en el itinerario formativo. 

Otra cuestión son los que lamentablemente centran la cuestión en la mecánica del proceso, en un entrenamiento para superar estándares. En este caso, en condiciones como las actuales, cuando se varían sustancialmente las condiciones, cunde el estrés y lo mejor es que no se presenten hasta haber conseguido la seguridad que supone el dominio. Pero el hecho de que esto ocurra a algunos alumnos, incluso el que esto ocurra a la mayoría no debiera en ningún caso una imposición para todos, sobre todo para las expectativas vitales de los que incluso en esta situación, o quizá por ella se sientan capaces o incluso estimulados.

Además, como hemos dicho que ponen de manifiesto las recomendaciones de la UNESCO sobre las consecuencias negativas de la suspensión de clases y de otras actividades lectivas, y ponen de manifiesto numerosos estudios, psicológicamente este estrés favorece condiciones para abandonos masivos. Por tanto las alternativas que se propongan deberían ser graduales y adaptadas para los distintos perfiles de alumnos. Opciones que pueden ir desde tareas diseñadas para la situación de cada uno, restando importancia a la presentación a las pruebas, hasta ofrecer condiciones , aprovechando la tecnología, para que los alumnos que se sientan en condiciones de manifestar sus logros lo hagan. Y para validarlos, sin que esas condiciones supongan bajar el nivel, es decir sin merma del dominio en el aprendizaje sobre sus pares. Hemos de decir que el gran reto, la gran novedad es que la comunidad, los alumnos, los padres, la familia, deposite una gran confianza en profesores y en tutores, en su capacidad y en su profesionalidad para discernir el dominio, de igual forma que a los médicos se les supone un "ojo clínico" para discernir por esquemas complejos y difíciles de explicar el estado de salud de sus pacientes.

Estamos hablando de que esto supone un pacto tácito, que ojalá las condiciones de esta situación traigan como valor añadido para el futura. Un pacto tácito de confianza en el papel del profesor como autoridad capaz de validar la maestría d ellos alumnos y el otorgamiento de su acreditación. Si así fuera esto se podría hacer con mecanismos elementales tecnológicamente como pueden ser entrevistas mediante videoconferencia o validación de pruebas de conocimiento o de habilidades por este mismo método, videoconferencia mediante Zoom, Hangout, Skipe, etc. 

Como precedente esto lo hicimos en 2001-2003 en un postgrado de   especialista  universitario  de educación  abierta  y  a  distancia  a  través  de Internet, que tenía  como  objetivo  capacitar  para  la  docencia  y  la organización  de  estudios  en  las  modalidades  de  educación  abierta  y  a  distancia  a  través  de redes,  impartido  y organizado desde  el  año  2001    por  el  Departamento  de Psicologia  Evolutiva  y  de  la  Educación  de  la  Universidad  de  Murcia.  En  las  dos  ediciones  concluidas  en la época del artículo todas  las  actividades  se    realizaron  exclusivamente  a  distancia  a  través  de Internet  y  de  videoconferencia  RDSI.

Otro tipo de validación de habilidades la realizamos en un curso investigativo en Alcalá.

En cualquier caso, la validación o la acreditación de aprendizajes o de habilidades es una parte más de todo el proceso de evaluación en el contexto de diseño instruccional donde forma un todo holístico con resultados de aprendizaje, actividades y metodología docente, incluida entrega de recursos y de ayuda.

En todo caso para concluir con el tema de la EBAU y centrarnos en puntos de vista más sustantivos, habría que deslindar aspectos relativos a la evaluación normativa, la evaluación por estándares y determinadas componentes propias de la época y de la sociedad anterior, la industrial (ver libro) y que ahora se visibiliza en su tránsito con el COVID19 como tantas otras cosas. Así:

¿Hasta qué punto los alumnos no se presentan para subir la nota media presionados por el entorno familiar y social?

¿Por qué, si el fin no es asegurar unas competencias mínimas para el ingreso en la universidad, no se contemplen distintas opciones más adaptativas?

¿Qué van a hacer en países con más experiencia en combatir el COVID19 u otras experiencias similares anteriores de interrupciones, por ejemplo Israel, Singapur, etc. Ya me he puesto en contacto con mis colegas de allí autores y miembros delos consejos de la revista?

¿Está entre las posibles opciones que se contemplen una posible EBAU virtual, o con alguna componente virtual?, ¿cuál sería?

Esto estaría muy bien, pero la infraestructura hay que planificarla y, más allá, armarla pedagógicamente ¿cómo se evalúan competencias, en consonancia con lo actual, de esta forma? ¿es ello posible? ¿qué habría que cambiar?

Estoy recibiendo testimonios muy buenos, ejemplares y con un diseño muy depurado y adaptado a las actuales circunstancias, pero son sesgados porque proceden de un sector próximo a la modalidad online. Sin embargo, cuando he indagado por otro lado, amigos y familiares y sobre todo sus hijos he descubierto que hay un gran vacío. Muchos profesores se limitan a dar clases expositivas grabadas en vídeo o a través de webinar, hangouts, u otro tipo de video conferencias. E incluso algunos que se limitan a enviar Power Points. No es criticable, es una manifestación de lo que está pasando y de cuál es el nivel de competencia digital docente de los profesores. El nivel de capacitación es muy incipiente. Y sobre todo carente de una evaluación real.

Hay pues un modelo conceptual y cultural de la EBAU y también por qué no decirlo de la enseñanza online convencional. Existen esquemas muy consolidados de la función y representación social de la Universidad y del acceso. Dentro de la gravedad y del colosal trastorno que supone el COVID19, como dice un proverbio oriental, hay una oportunidad. En este caso es que la necesidad fuerce la creación de un modelo de evaluación alternativo que aproveche las potencialidades adaptativas que ofrece la tecnología. No podemos esperar a la próxima epidemia o a otra crisis con los exámenes remotos hechos con vigilancia como alternativa de evaluación.

COVID19: La transición pedagógica de la docencia universitaria hacia el modo online (IV):

La evaluación

Este post se irá actualizando continuamente. Por tanto, le sugerimos que vuelva y lo refresque con frecuencia, en el supuesto de que le interese.

Es la continuación de una serie que comenzó aquí. Y proseguirá.

Se puede completar con los materiales depositados en este enlace, que son su referencia.

La urgencia no debiera impedirnos razonar serenamente en un tema del cual se derivarán consecuencias que pesarán sobre nuestro futuro los próximos años y quién sabe si sobre las próximas décadas de nuestra sociedad  y las vidas de nuestros ciudadanos.

Empecé a escribir este post con el artículo de The Lancet y lo concluyo, o lo continúo ahora, con las deliberaciones del Consejo de Estadode Educación sobre la promoción del curso y la decisión de Italia sobre el aprobadogeneral.

Los mejores escenarios para la pandemia COVID19 predicen que no antes de uno o dos meses concluirá el confinamiento.

El mejor artículo que he visto es uno que se publicó hace ya algún tiempo, es de The Lancet y, en base a los datos obtenidos en los primeros países donde se declaró la pandemia y a otros modelos provenientes de otras infecciones estableció estos tres escenarios:

Fuente https://www.thelancet.com/journals/lancet/article/PIIS0140-6736(20)30567-5/fulltext

Al día de hoy las cosas no han mejorado mucho

 Fuente: https://www.ft.com/coronavirus-latest del 8 de abril con datos hasta el 7 de abril de 2020.

La evaluación es un complejo de procedimientos que, en condiciones normales, se distribuyen a lo largo de todo el proceso educativo y difícilmente, para que sea una evaluación de calidad, en un único momento o en unos pocos momentos a lo largo del curso. Si se hace así, como se hacía, y aún se hace con demasiada frecuencia, con la evaluación, se corre el riesgo de tomar decisiones sesgadas o arbitrarias. Además de crear en los alumnos una ansiedad que los desmotiva y perturba el aprendizaje.

Actualmente el conocimiento de cómo se produce el aprendizaje y de las prácticas pedagógicas a través de investigaciones ha aportado resultados y evidencias para organizar una evaluación de manera confiable sin necesidad de recurrir a las consabidas pruebas de conocimiento a final de curso, ciclo, trimestre, cuatrimestre o materia. Todo lo que se ha publicado en la literatura científica nos proporciona esos procedimientos y esos métodos. Es papel de los diseñadores de la instrucción en todos sus niveles el conocerlos y el aplicarlos en TODOS LOS ESCENARIOS. Y su responsabilidad el no hacerlo así.

¿Qué tiene que ver esto con la actual situación de cuarentena y de confinamiento?

Lo primero que hemos que tener en cuenta es que la realidad del confinamiento se va a prolongar, como podemos ver por el artículo de The Lancet y otrasinformaciones documentadas, durante meses. Y sus consecuencias en años. Por tanto en esta situación debemos trabajar con un horizonte a medio plazo, al de un curso completo o dos.

Lo segundo es que si, como hemos visto, la evaluación es un proceso que, para ser de calidad, difícilmente se puede desvincular del quehacer cotidiano del alumno, es en este caso, cuando no hay una presencia directa, en el que esa interacción debe ser especialmente detallada y frecuente, de forma casi continua, en la medida en que la tecnología lo permita. Y la tecnología lo permite bastante. La tecnología sustituye la presencia directa en la evaluación continua. Alguien planteará que eso es imposible o muy difícil. Hoy no es así, y no por la eficiencia de las herramientas tecnológicas sino porque hay metodologías docentes que lo permiten, desde hace ya tiempo y entre ellas, como después veremos, la principal es la de Mastery learning [1].

Se trata pues de una cuestión de metodología docente, de cómo los maestros hacemos las cosas, y no tanto de tecnología.

La primera conclusión que he sacado de todo es que la evaluación e incluso la acreditación de conocimientos o de habilidades no debe abordarse como algo aislado, condicionado exclusivamente por variables limitadas a la coyuntura o por otros factores recientes y directos, ni tan siquiera en un contexto de emergencia como éste. Si lo hacemos así se pueden derivar más males que beneficios, y además los resultados van a ser irreparables. Como lo han sido otras decisiones que ese han tomado en esta lamentable y triste cadena de decisiones políticas que ha llevado aparejado el coronavirus. Perdonen la extrapolación.

La evaluación en todos sus aspectos debe de estar, en todas sus facetas y ejecuciones, integrda en un proceso de diseño instruccional amplio y detallado lo más posible.

Pero, ¿qué es el diseño instruccional:

Un diseño es en general un proyecto, o un plan, que configura algo antes de su realización o de su desarrollo. Pero que también permite saber en qué punto de él estamos en su ejecución, y cómo relacionar lo que estamos haciendo con los resultados últimos de lo que hagamos. Pudiendo retomar y modificar decisiones, en progreso, para cambiar la ejecución y que ésta se ajuste con nuestros objetivos en un feedback continuo.

Los procesos y programas formativos, la educación, también se diseñan.

En general el diseño instruccional se define como "un proceso sistemático que se emplea para desarrollar programas de educación y capacitación de manera continua y confiable". 

Existe una amplia base de modelos de diseño instruccional y de desarrollos teóricos considerados como marcos para el desarrollo de módulos formativos o clases que aumenten, haciéndolo de acuerdo con sus pautas y preceptos, la posibilidad de aprender, de fomentar la participación de los alumnos para que aprendan más rápido, y obtener de esta forma niveles más profundos de entendimiento.

Los principales creadores e impulsores del diseño instruccioanl y de sus bases teóricas ha sido David Merrill y Charles M. Reigeluth.

Así la Teoría del Diseño Instruccional clásica de Reigeluth se considera, en general, como un instrumento con un doble fin: facilitar el aprendizaje y el desarrollo humano, o mejor dicho facilitar el desarrollo humano en la medida que se consigue un mejor aprendizaje. Es en esencia una teoría situacional. Sostiene que los métodos y situaciones de aprendizaje son esenciales para que el aprendizaje tenga lugar de forma efectiva. Está constituida por 

una serie de principios para organizar la enseñanza en un esquema complejo de elementos más pequeños, y por tanto más cerca de la comprensión individual, que posteriormente son insertados en estructuras conceptuales interrelacionadas.

Los métodos del diseño instruccional suponen un ciclo continuo y una evaluación formativa que permiten introducir mejoras sobre el proceso en el diseño del programa educativo, sin necesidad de concluir.

La docencia virtual en cursos abiertos y en línea supone una adaptación de este modelo a la docencia en estos entornos. Esa adaptación y su desarrollo ha sido estudiada y elaborada por el autor de los trabajos de referencia y constituye su modelo.

El diseño instruccional permite pues partir, en un proceso inverso, desde la consideración de cuáles son los resultados deseados del proceso de aprendizaje para organizar las pautas, para distribuir en el tiempo todo lo demás, incluida la secuencia de acciones y de contenidos. Permite distribuir no solo la entrega de materiales, de actividades y de ayuda, sino de establecer cuáles son los logros parciales que, en una cadena, lleven al alumno a conseguir los logros de la unidad didáctica, el módulo o la materia. De forma que su consecución sea gradual, continua, sin saltos. 

Todo ello está explicado en el material de los capítulos del libro que entrego en….

Hemos dicho que el diseño instruccional consiste también en la aplicación de los principios teóricos que se conocen sobre como los individuos aprenden para organizar la educación. Veamos particularmente cómo funciona esto, la aplicación de los principios teóricos, en un punto concreto, el de la evaluación, que es el tema de este post.

Lo hace a través del principio de demostración.

Pero antes expliquemos un poco más qué son los principios del aprendizaje. Como referencia teórica hemos utilizado, en todo lo que hemos escrito aquí y en material que he ofrecido en estas circunstancias para ayudar al diseño de enseñanza online y para la evaluación, el trabajo de M. David Merrill conocido como los “Primeros [o principales] principios de la instrucción” (First principles of instruction, Prentice Hall). Todo ello está en el capitulo 2 y se puede ampliar allí con más detalle y en las referencias que contienen enlaces a los documentos originales.

Estos principios son una constante de la educación en todas las investigaciones, son aceptados por todos los teóricos, hay un consenso sobre ellos.

Merrill estableció cinco principios: El aprendizaje ha de ser centrado en el problema, el principio de activación, el de demostración, el de aplicación y el principio de integración o de transferencia.

El principio que fundamenta la evaluación es el principio de demostración. Y es el que debiéramos tener presente en todo momento en que hablásemos de ella.

¿Qué dice?

En primer lugar, y para entender lo que sigue, hemos de tener en cuenta que los principios de la instrucción están enunciados en forma de criterios que ha de cumplir la enseñanza para que el aprendizaje sea eficientes, de calidad. Hemos de recordar que la evaluación forma parte de la instrucción.

Principio 3-Demostración.-

El aprendizaje se promueve cuando la instrucción demuestra lo que se debe aprender en lugar de simplemente decir información sobre lo que se debe aprender.

Así la demostración es un factor de consistencia: El aprendizaje se promueve cuando la demostración es coherente con el objetivo de aprendizaje, con:

(a) ejemplos y contraejemplos de conceptos,

(b) demostraciones para procedimientos,

(c) visualización (evidencialización visual) para los procesos, y

(d) el modelado (presentación de modelos) para adquisición de valores y conductas

La traducción en términos de evaluación del principio de demostración con criterios para la práctica, en una aproximación de urgencia, sería:

El aprendizaje se verifica y se constata  cuando la evaluación, como parte del proceso de instrucción, demuestra que se han alcanzado, por el alumno, los logros  de lo que estaba previsto que debía aprender, en lugar de simplemente asegurar que reproduce la información sobre lo que se debía aprender.

Así la demostración es un factor de consistencia: El aprendizaje se asegura cuando la demostración es coherente con el objetivo de aprendizaje, manifestado en:

(a) ejemplos y contraejemplos de conceptos,

(b) demostraciones de ejecución para procedimientos,

(c) visualización (evidencialización visual) para los procesos, y

(d) el modelado (presentación y manifestación visible y confiable de modelos) para adquisición de valores y conductas.

La repercusión del diseño instruccional en la evaluación tiene otro punto clave: La cuestión inmaterial, pero sobre la que gira la docencia, el entregar ayuda y contenidos cuando el alumno esté receptivo y los perciba como útiles, estriba en distribuir los logros parciales y evaluar su consecución, y únicamente entonces proseguir. En esto juega un papel central el diseño y sobre todo, si finalmente los hay, el papel de los TA. Más abajo describiremos como ejemplo lo que hicimos en el curso investigativo de Alcalá.

La confianza

Por último, se trata también de una cuestión de confianza. En una educación de estándares se han establecido medidas iguales para todos, que en su consecución acreditan al alumno para superar el curso o la asignatura. Es un sistema basado en estándares iguales para todos, de superación de pruebas y de exámenes iguales para todos. Esta dinámica permite trasladar la eficiencia al escrutinio de las pruebas y de sus resultados por padres, familias e inspección, donde además con esa supuesta objetividad los docentes se sienten seguros, aunque por contrapartida lo que se hace es sembrar la semilla de la desconfianza, de que no haya equidad en el proceso.

En la nueva educación, la basada en logros personales, el entorno social del alumno debe depositar la confianza en el modelo, personalizado a través de los TA y del método de dominio, pero sobre todo en el maestro y en la expertise docente, de igual forma como la deposita en el método, en su capacidad de diagnóstico y de decidir un tratamiento adecuado. 

Todo esto está desarrollado en numerosos documentos y en dos o tres libros. Así de Reigeluth podemos citar Teoría instruccional y tecnología para el nuevo paradigma de la educación (Instructional Theory and Technology for the New Paradigm of Education) y Reinventing Schools: It's Time To Break The Mold, de Merrill First principles of instruction y, en mi producción, el capítulo siete, dedicado a Reigeluth, de Pensadores de ayer para problemas de hoy: Teóricos de las ciencias sociales.

------------------------

Pero la prioridad hasta ahora ha estado y ahora está, no en la discusión de fondo, cosa que se debiera haber producido anteriormente pero, como tantas cosas en este país, no se ha hecho merced a estar la cuestión educativa enredada en cuestiones ideológicas, con un nivel mínimo de profundidad y de cientificidad especificas de este dominio del conocimiento que afecta a unas actividades y servicios tan básicos y tan necesitados de rigor.

Pero no solo los gestores. También los propios actores: Profesores, estudiantes y familias.

Así buena parte de las intervenciones que los docentes universitarios hacen, y que he recogido, son más o menos del siguiente tenor:

Donde se dice:

¿Qué pido yo a una evaluación online? Que sea igual de fiable que una presencial. Para ello:

1) Tiene que asegurar la identidad del examinando. Que haya seguridad de que el que realiza el examen es el alumno en cuestión.

2) Que el alumno no copie. Que haya seguridad de que al mismo tiempo que hace el examen el alumno no tenga acceso a documentos que tenga en su ordenador, en internet o en papel, que le ayuden a superar la prueba; ni nadie en su cercanía que le pueda chivar.

3) Que la conexión a internet sea fiable y no se interrumpa durante la prueba.

4) Puede haber algún otro requisito más, estos son los que se me ocurren a mí.

Si las posibles herramientas que hayan para evaluación online no aseguran al menos los dos puntos primeros no veo descabellado retrasar las evaluaciones hasta julio, agosto o septiembre.

Y después dice que, si la EBAU (prueba de acceso a la universidad en España) tiene que ser presencial, ¿por qué no la evaluación universitaria habitual?

El mensaje se comenta por sí mismo, así como en qué consideración tiene la evaluación y todo lo que hemos dicho sobre su naturaleza, métodos y sentido.

Ahora la urgencia del COVID19, la de perder o no un curso para todos, para los individuos particulares, para la sociedad y para el país, la de aceptar opciones virtuales o no y el papel en ella de la tecnología, está sacudiendo las mentalidades, hasta el punto de hacer saltar la conceptualización de las plataformas digitales las y redes como medio para asegurar conceptos y procedimientos que vienen no de otro escenario, sino de otro mundo.

Se cita a la EBAU. Estos días la CRUE, el sistema universitario y en general el sistema educativo tienen un desafío enorme con la EBAU, la prueba de acceso a la universidad española. Desafío que tiene un amplio efecto sobre el presente y el futuro de los alumnos y de las familias de España. Particularmente supone un gran reto el organizarla de forma online o no, si es que ello es posible y sobre todo cómo hacerlo.

Un sector muy grande cree que no se va a hacer. Sin embargo, de producirse, ello se enfrenta con graves perjuicios como después veremos. No es el menor de ellos la pérdida de un año al menos si se retrasa, en un curso académico, la marcha del sistema universitario. Y con ello el efecto que supone en la incorporación de graduados, técnicos y científicos al mundo profesional y académico en una época clave. No podemos pedir que siga la investigación contra el coronavirus, por ejemplo, y retrasar o diferir la marcha de la investigación general del país en ese periodo, con los efectos derivados para varias generaciones (el retraso no solo implica la EBAU sino cada una de las generaciones afectadas por el retraso en los distintos ciclos y niveles educativos. Porque todos ellos se retrasarían).

Creemos, pues, que en cualquier caso no se debe suspender de forma tajante, no sólo la prueba de la EBAU, sino incluso la posibilidad a quien quiera, pueda o así lo desee, de seguir su progreso propio en el aprendizaje, con las consiguientes expectativas de desarrollo personal.

De esta forma se debieran crear las condiciones para que, al menos, quien lo desease la hiciera. La prueba de la EBAU o, en general, la evaluación de sus logros, capacidades y habilidades. Y la acreditación oficial de éstas.

[1] https://es.wikipedia.org/wiki/Aprendizaje_para_el_dominio

COVID19: La transición pedagógica de la docencia universitaria hacia el modo online (III):

Los Teaching Assistant

La primera disrupción necesaria de esta nueva y desconcertante situación es el papel inédito, de urgencia, que cumple la educación abierta y en línea. Pero conviene bajar al detalle de disrupciones concretas. Mas abajo veremos el concepto de disrupción tal como lo estableció el teórico Christensen. Lo que tienen de común estas situaciones es su novedad, en un contexto distinto, como enfoques necesarios e impuestos por la realidad frente a las situaciones o prácticas existentes, consolidadas por los años, la necesidad anterior y la tradición. Esta irrupción se hace generalmente con la resistencia  y con la inercia de los hábitos humanos consolidados.

Así pues, el coronavirus crea un contexto nuevo y distinto para una práctica como la educación on line, su diseño instruccional y para todas sus componentes.

Vamos a tratar pues el diseño instruccional de la enseñanza online en estas circunstancias. Pero, por razones de urgencia y oportunidad, alternaremos la secuencia natural de temas. Abordamos ahora el tema de los Teaching Assistant, los profesores que asisten, que ayudan, en el aprendizaje a los alumnos.

Mi amigo y colega el Prof. Días Figueiredo se ha dado cuenta de algunas de estas disrupciones que en otros contextos propicia la situación del COVID19.  

Así habla de la Innovación Disruptiva que se produce en los supermercados por el COVID-19. Con la perspectiva del principio de la distancia social que se va a instalar durante varios meses, aparee una innovación rápida en ganar auge y fuerza: Traer a los domicilios las compras del supermercado. Se presenta primero como hecho aislado y voluntario, y después como estrategia. Estratégica que posiblemente sea asumida por las grandes superficies que puedan adaptarse y hacer con ello, tal vez, un hábito definitivo para muchos consumidores. En este momento, el tiempo de entrega se ha vuelto innecesariamente largo para la comida, sobre todo, situación que la hace innecesaria para competir con el hábito de compra directa hasta ahora, pero las empresas que se adapten finalmente habrán reinventado el modelo del negocio y quedarán en la memoria de los consumidores como las que los ayudaron en un momento difícil.

Ese mismo esquema puede repetirse con las universidades que se adapten a la situación de confinamiento de alumnos y profesores con una adaptación flexible y útil de la educación abierta en línea. Pero sobre todo estamos pensando como factor clave de la eficiencia en los profesofores asistententes en el aprendizaje, los famosos Teaching Assistant del diseño intruccioanl que otras veces hemos tratado y los de la metodología de Mastery learning. Además en un marco cambiante de oferta y necesidad de trabajo, estos nuevos empleos, los de Teaching assistant, como salvando todas las distancias, los logísticos y repartidores del suministro de alimentos, pueden dar respuesta a la caída de empleo que se puede producir en otros nichos ahora inestables, como la hostelería, donde hay muchos graduados universitarios de educación y otras carreras subempleados.

Una solución que con ser provisional puede devenir en estratégica a fuer del razonamiento que hace el Dr. Figueiredo “el modelo del negocio quedarán en la memoria de los consumidores (padres y alumnos) como las universidades que los ayudaron en un momento difícil”. Y lo hicieron bien.

Hace tiempo dije que la política de edificios y espacios universitarios debe cambiar con las disrupciones universitarias. Lo venimos diciendo desde 2012, aquí y aquí. Perdonen que me extienda en este tema, pero este blog es como una especie de borrador donde vuelco en bruto mis ideas, luego trataré de refinarlo:

Decía entonces que “se están produciendo cambios no solo de metodologías docentes sino en el complejo mundo que rodea la actividad educativa en la universidad.  Los cambios son estructurales y sistémicos, y en consecuencia todos los elementos que configuran el sistema se ven afectados” evidentemente en esa época solo era por pioneros e innovadores, pero el cambio e auguraba.

Sin embargo, se está produciendo una línea de desarrollo que posiblemente conduzca a una vía muerta. Se están utilizando criterios, medios, configuración de espacios y de tiempos, de una etapa anterior, a  sistemas de naturaleza distinta.

Las referencias siguen siendo las mismas, se habla, se utilizan expresiones y metáforas de la fase anterior. Así se habla de espacios, de aulas virtuales y de campus virtuales, pensando en los de ladrillo, se habla de libros y de revistas digitales pensando en el papel, y esto limita no solo las affordances de estas herramientas y soportes, sino incluso sus funciones y las de los actores en los procesos que se desarrollan.

Pensamos en espacios y en edificios. La universidad siempre los ha tenido y han sido su referencia.

Por un momento pensemos, como un ejemplo para situarnos, en la prensa digital, y que en los periódicos digitales tuvieran que construirse edificios para almacenar el papel, y que hubiese algo en la edición a lo que se llamase rotativas digitales, pensemos en hora de cierre y en hora de salida. Pensar así es una limitación que lastra muchas funciones que constituyen la esencia del periodismo digital.

Otro tanto sucede con espacios, tiempos y funciones de la universidad. Habrá que pensar en funciones de los distintos actores, en sus roles, en las posibilidades que ofrecen los entornos, en las que aparecen.

En definitiva, habrá que pensar en las formas de ubicarse los actores en función de las emergentes posibilidades, y ahora obligados por el coronavirus.

La ubicación de profesores y alumnos es distinta y variante para la enseñanza y para el aprendizaje, es distinta de la única existente en la fase anterior, y de la única de posicionarse en los entornos tecnológicos que existe en la educación virtual tradicional.

Pero esto transciende de la situación actual y quedara para después de forma irreversible. Ahora estamos confinados, pero después, cada vez más, el aprendizaje será ubicuo (Zapata-Ros, 2012a y b) se produce anywhere y any-time (Zapata-Ros, julio 2013), por tanto lo actual se perpetuará favorecido por estas otras variables, a pesar de que ahora estamos constreñidos en el espacio. También habrá que considerar que aparecen ganancias del aprendizaje en las situaciones y usos con los dispositivos personales (Los que el alumno utiliza en su vida real y en sus relaciones personales). De esta forma la posición relativa, la ubicación física en que pueden situarse universidad, alumno y profesores es cada vez más relativa. Afecta menos al resultado del aprendizaje o según en qué casos puede mejorarlo incluso. La confinación tampoco nos debe hacer olvidar esta oportunidad.

Hasta aquí hablamos del aprendizaje. Pero otro tanto sucede con los recursos: Bibliotecas digitales, revistas online, OER y en general los recursos en red. En el confinamiento la biblioteca estará accesible desde nuestra casa y los libros en bits, bytes y electrones. Habrátodo lo más un ejemplar en papel guardado en alguna parte pero el resto estará en la red ¿Hacen falta para esto edificios de ladrillo y cemento?

Todo ello determina una nueva economía de espacios en la universidad. No se pueden crear aulas masivas o de gran grupo simplemente como hasta ahora si la van a utilizar una vez a la semana o al mes.

Esto, digámoslo así, pone a la universidad en una tesitura por la urgencia: Cerrar inmuebles, reconvertirlos o venderlos para, si no queremos desequilibrar el presupuesto comprometiendo otros gastos igualmente prioritarios, contratar Teaching Assistant (TA), editores de guías didácticas y documentalistas instruccionales. También diseñadores instruccionales, editores, realizadores, etc. de vídeos.

Hay mucha gente que va a pasar al paro desde la industria turística y la de sus servicios periféricos, la hostelería,… que son subempleados. Muchos de ellos son maestros graduados y pedagogos, pero no sólo ni exclusivamente. Es una buena oportunidad para cualificar el empleo de estos especialistas y pasar a sectores realmente estratégicos y menos vulnerables, a estas crisis y a otras contingencias, como es la educación.

Todo lo concerniente a la figura del TA lo podemos encontrar en distintos sitios. 

Pero qué es el Teaching Assistant (TA). Esta es la descripción que sucintamente he incluido en el material referenciado. En época de emergencia, y desde su casa, las iniciativas de la transicion al sistema online deben proveerse de nutridos grupos de TA, bien voluntarios, o en la modalidad que las universidades determinen, pero siempre con el máximo reconocimiento. Son la pieza clave del sistema, bajo la perspectiva de dominio (Mastering learning)  que se ha manifestado como la más eficiente en esta modalidad (ver todos los documentos que he publicado sobre el tema):

Hay unos únicos profesores instructores que deben participar y tener competencias en todas las funciones educativas de las asignaturas. Son los especialistas en la materia, en los recursos, en su organización, en la enseñanza (estrategias docentes, actividades, objetivos y evaluación) deben conocer a los alumnos en la medida de lo posible e interactuar con ellos y entre ellos. Cualquier división de esta figura y en su responsabilidad supone una fragmentación en el sistema pedagógico con el consiguiente deterioro de la calidad. Para decir esto nos basamos en el problema 2 sigma y en otras investigaciones que validan las teorías en las que nos basamos, descritas al principio.

Sin embargo la metodología docente de Mastery learning supone la existencia de unos Profesores Asistentes (asistentes del alumno, no del profesor, si bien actúan coordinados y supervisados por él y bajo su responsabilidad) o TA (de Teaching Assinstant) que verifican el progreso hasta dominio de la tarea de los alumnos. 

Antes de la organización del curso, pero sobre todo antes del inicio del curso, los instructores deben determinar las funciones de los ayudantes del curso. Tanto para los alumnos implicados en el Mastery learning como para el resto. 

La función del TA en el dominio de la tarea es clave y su responsabilidad máxima, deben asegurar que cada alumno supera cada nivel para pasar al siguiente, deben atenderlos en las dificultades, proponer ritmos distintos y problemas o tareas alternativas, y hacerlo de forma flexible, personal e interactuando con ellos. En definitiva deben de ser profesores especializados en esta tarea cuya complejidad no se debe menospreciar. 

El TA también puede ayudar a los alumnos no implicados en el Mastey learning, alumnos a los que podemos llamar libres. Pero en este caso el papel de TA lo pueden cumplir otros alumnos (alumnos asistentes, o LA) y también deben estar coordinados por el instructor. 

Todos ellos deben de coordinarse para supervisar el material que producen los estudiantes en los foros y en la web social: Mensajes, post, comentarios, etc. detectando de forma temprana posibles déficits o frustraciones. 

Tenga en cuenta que este monitoreo proporciona una inestimable retroalimentación.Se ha de dejar claro que el instructor no puede atender todas las interacciones, Los TA cumplen esta función como la de filtro para las interacciones que deba atender el instructor. 

Los alumnos aceptan con satisfacción esto.

Recuerdo que el material de referencia, al que hago alusión continuamente, considerado desde la perspectiva del diseño instruccional de la enseñanza abierta online universitaria, lo podemos encontrar incluido, en este repositorio de Google Drive, como proyecto de un capítulo del libro. Está en el capítulo dedicado a los TA y también está descrito como componente de la metodología de Mastery learning, central en nuestro proyecto.

De momento me permito poner a su disposición, la de usted profesor, las guías didácticas que utilicé en mi curso abierto online de la Universidad de Alcalá de Henares, en Open Education de BlackBoard. Lo hago como todo lo demás en el espacio que he creado en Google Drive con este enlace.

Ahora también están en una web de urgencia que ha puesto en marcha la CRUE y el Ministerio de Universidades en colaboración con la UNED y la UOC. 

En ellas podrán ver ejemplos prácticos de cómo funcionan los Teaching Assistant a partir del papel que desempeñaron en el curso investigativo que impartí y coordiné en la Universidad de Alcalá de Henares, con Open Education.

En futuras versiones de este post iré completándolo y perfilando estas ideas. Gracias por su atención.

Este post, los siguientes y el anterior se irán actualizando y mejorando progresivamente en lo posible. Por tanto es conveniente que lo visite frecuentemente. El repositorio de Google Drive también. En un futuro crearé uno más estable e independiente en el servidor de la Universidad de Murcia.

Gracias. Seguimos…

Pero antes, como he prometido al principio diré algo sobre innvaciones disruptivas, Christensen y la Universidad. En parte lo he obtenido de documentos publicados en distintas partes desde 2012

Clayton Christensen [2], profesor de administración de empresas en Harvard Business School, es conocido por su teoría de la "innovación disruptiva" en los negocios. Esta teoría  sostiene que los rivales advenedizos generalmente desplazan a los participantes ya existentes en el mercado, estableciendo primero un punto de apoyo con productos de bajo costo, dentro de las ofertas posibles, tema en el que los titulares están dispuestos a ceder. Con el tiempo, los rivales que ya no son neófitos consiguen aumentar la calidad sin dejar de mantener los costos bajos. De esta forma van asumiendo progresivamente las franjas de  mercado de mayor margen, hasta que finalmente lo dominan en su conjunto. 

Christensen añade un hecho importante en su discurso. Si bien este patrón se repite, no siempre es así. Y analizó cual es la diferencia. El patrón se ha repetido en la industria del acero, en la industria del automóvil, en la industria de las computadoras - y después se produjo en la industria de la tecnología móvil. Pero, añade, nunca se ha producido en la industria hotelera. En este caso los rivales que llegan no pueden competir por el negocio de alto nivel, sin adoptar el modelo del costo de los titulares: Si Holiday Inn quiere competir contra Ritz-Carlton, no tiene más remedio que contratar conserjes en número y calidad adecuados, poner el piso de mármol y maderas nobles. En los hoteles no hay lo que llama un "núcleo extensible" (extendable core). Lo que en nuestro post “MOOC, el modelo de negocio“ llamábamos “el ejemplar” (algo que se puede reproducir sin elevar el coste ostensiblemente). Es decir poner en marcha un nuevo enfoque tecnológico que puede ser mejorado de manera constante a bajo costo.

La educación superior está en el mismo caso que los primeros ejemplos, los de la innovación disruptiva. Tiene un amplio “núcleo extensible”. Al menos  hasta ahora. El conjunto de tecnologías que los disruptores (EDX y otros) han introducido - video conferencias, foros de discusión en línea, los algoritmos de clasificación automatizada, programas de texto de anotación comunales, laboratorios virtuales y similares – constituyen el “núcleo extensible” de la educación. El ejemplar, lo que apenas cuesta dinero o no, es una función lineal del número de participantes. Estas tecnologías ya están en el origen del modelo en igual coste. Pero Christensen dice que hay algo que está también en el origen del negocio, o de la actividad, que es factor que hace que el valor aumente de forma constante.

Referencias.-

Christensen, C. M. (2012) Disruptive innovation.  Consultado el 29/05/2014 en  Accedido en http://www.christenseninstitute.org/key-concepts/disruptive-innovation-2/ el 01/08/14.

Christensen, C. M. (2013). The innovator’s dilemma: when new technologies cause great firms to fail. Harvard Business Review Press.

Zapata-Ros, 2012a  http://www.um.es/ead/red/31/zapata_ros.pdf

Zapata-Ros, 2012b  http://eprints.rclis.org/17463/

Zapata-Ros, julio 2013 http://blogcued.blogspot.com.es/2013/07/any-time-and-anywhere.html

Zapata-Ros, febrero 2014 http://redesabiertas.blogspot.com.es/2014/02/byot-aprendiendo-con-el-movil.html

---

[1] Este tema lo pueden encontrar desarrollado más extensamente en La configuración de espacios y de entornos físicos y tecnológicos en la nueva Enseñanza Superior (II).

[2] A principios de marzo, en el MIT Media Lab, y convocados por el MIT, la Universidad de Harvard y los fundadores de la online-learning initiative, convocaron a un grupo de líderes académicos y otros expertos en esta línea de learning para una reunión cumbre de un día de duración titulado "Online Learning and the Future of Residential Education”  Allí estuvieron de la mano expertos, presidentes y peces gordos de MIT y Harvard, los prebostes de la Universidad de California en Berkeley, la Universidad de Cornell, la Universidad Carnegie Mellon y la Universidad McGill.