Questions on Assessment
Responding to an enquiry about assessment.
- what about the practical work that must be done in the laboratory?
It depends on the laboratory, but mostly, students will not be able to reproduce the laboratory at home. During our current crisis, both practice and assessment in the laboratory will have to be postponed.
For the future, I have argued that laboratory facilities should be distributed across the community. In this way there would be a local laboratory with supervision where students could practice and be assessed.
I think that in the longer term there will also be a role for virtual laboratories, using virtual or augmented reality. We are engaged for example in a program to develop VR training for firefighters. Similar programs are already in place for airline pilots, ship's crew, military, doctors and nurses, and many other hands-on practitioners.
This of course requires specialized equipment (specifically, a VR headset) and good network connection. This is the sort of equipment that could also be made available in community learning centres until the infrastructure becomes affordable to all.
- if the institution works on learning outcomes and not skills
It depends very much on the learning outcome. I would ask, where is this outcome used in an actual work environment? Is this work something that can be done online? If yes, then the outcome can be evaluated during the process of working online.
- what do you think are the best online assessment practices today?
I think that over time we will stop having tests and assignments, and be more concerned about actual work in authentic environments. In this way, the totality of the skill set can be assessed, rather than selected and isolated skills.
So for today what I would urge is to create comprehensive forms of assessment. For example: for a mechanic, repairing an actual motor, rather than taking a test. For a lawyer: assist in arguing an actual court case, rather than writing an essay. Just as, even today, doctors and nurses undertake internships before they are allowed to practice.
This extends to online. Working in peer communities students are able to perform actual work. We see this a lot in software development, where students create real applications (and these, in turn, often become new businesses). A teacher or professor can assess the overall work, but perhaps the most important metric is whether it is used and found to be useful by people. A good example of this is the sort of project development employed by MIT media lab. https://www.media.mit.edu/search/?filter=project
- What do you think of regular continuous checks and their multiplication in number to ensure the assimilation of knowledge by the learner?
I think that it is more effective to make students accountable to each other rather than to an administrator. Instead of thinking of online learning in terms of content transfer and assimilation, I think it is better to think of it like remote working. In such an environment teams organize themselves. The focus is on staying productive. Methods such as those described in this Government of Canada guide would help: https://www.canada.ca/en/government/publicservice/covid-19/working-remotely/staying-productive.html
- What do you think of the distance projects and the evidence that it was the student who worked on the project and not one of his relatives?
This is where the role of online community, engagement and presence become important, not only between student and instructor, but also students among themselves. When the work undertaken is more long-term, and focused more in authentic practice, each person can see the presence of the other online, including the instructors.
In such a case, the sudden intervention by a relative would be both easy to notice and also unhelpful. The work being graded is the result of a longer association with peers online, rather than a one-time response to specific questions.
- What do you think of the impact of open questions and analysis?
I like open questions, but I think they need to be constructed correctly. The idea here is to make them hard to answer, but easy to tell if they have been answered correctly (I am borrowing this idea from the process used by hash algorithms).
A good example is a computer program. If you assign a project to a student or group of students, the specific answer will be complex and difficult to state, but the software can be tested, and it either runs correctly or it doesn't (more advance competitions can be used for more advanced students, measurements such as processing speed, predictions of trends, etc., can be used).
- It seems to me that the problem will arise more and more especially that those who rushed to provide online training are not ready to assimilate the importance of the construction of a personal journey by the student and are in general in the traditional approach for learning control.
I think you are exactly right. The typical reaction of a teacher on moving online is to attempt to recreate the class and lessons and tests the way they were done in the classroom. But we have long known that online learning is different, both in the sense that we can't do things we could do offline (like proctor a test or take attendance) and in the sense that there are things we can dso online that we can't do offline (like run simulations, create team working groups, etc).
---------------
Répondre à une demande d'évaluation.
- qu'en est-il des travaux pratiques qui doivent être effectués en laboratoire?
Cela dépend du laboratoire, mais surtout, les étudiants ne seront pas en mesure de reproduire le laboratoire à la maison. Pendant notre crise actuelle, la pratique et l'évaluation en laboratoire devront être reportées.
Pour l'avenir, j'ai soutenu que les installations de laboratoire devraient être réparties dans la communauté. De cette façon, il y aurait un laboratoire local avec supervision où les étudiants pourraient pratiquer et être évalués.
Je pense qu'à plus long terme, il y aura également un rôle pour les laboratoires virtuels, utilisant la réalité virtuelle ou augmentée. Nous sommes engagés par exemple dans un programme de développement de formations VR pour les pompiers. Des programmes similaires sont déjà en place pour les pilotes, l'équipage du navire, les militaires, les médecins et les infirmières et de nombreux autres praticiens.
Bien sûr, cela nécessite un équipement spécialisé (en particulier, un casque VR) et une bonne connexion. C'est le genre d'équipement qui pourrait également être mis à disposition dans les centres d'apprentissage communautaires jusqu'à ce que l'infrastructure devienne abordable pour tous.
- si l'institution travaille sur les acquis d'apprentissage et non sur les compétences
Cela dépend beaucoup du résultat d'apprentissage. Je demanderais, où ce résultat est-il utilisé dans un environnement de travail réel? Ce travail peut-il être effectué en ligne? Si oui, le résultat peut être évalué au cours du processus de travail en ligne.
- quelles sont selon vous les meilleures pratiques d'évaluation en ligne aujourd'hui?
Je pense qu'avec le temps nous cesserons d'avoir des tests et des affectations, et serons plus préoccupés par le travail réel dans des environnements authentiques. De cette façon, la totalité de l'ensemble de compétences peut être évaluée, plutôt que des compétences sélectionnées et isolées.
Donc, pour aujourd'hui, je vous demande instamment de créer des formes complètes d'évaluation. Par exemple: pour un mécanicien, réparer un moteur réel, plutôt que de passer un test. Pour un avocat: aider à plaider une affaire judiciaire réelle, plutôt que de rédiger un essai. Tout comme, encore aujourd'hui, les médecins et les infirmières entreprennent des stages avant d'être autorisés à exercer.
Cela s'étend à en ligne. Travaillant dans des communautés de pairs, les étudiants sont capables d'effectuer un travail réel. Nous le voyons beaucoup dans le développement de logiciels, où les étudiants créent de vraies applications (et celles-ci, à leur tour, deviennent souvent de nouvelles entreprises). Un enseignant ou un professeur peut évaluer l'ensemble du travail, mais la mesure la plus importante est peut-être de savoir si elle est utilisée et jugée utile par les gens. Un bon exemple de cela est le type de développement de projet utilisé par le MIT Media Lab. https://www.media.mit.edu/search/?filter=project
- Que pensez-vous des contrôles continus réguliers et de leur multiplication en nombre pour assurer l'assimilation des connaissances par l'apprenant?
Je pense qu'il est plus efficace de responsabiliser les étudiants les uns envers les autres plutôt que devant un administrateur. Au lieu de penser à l'apprentissage en ligne en termes de transfert et d'assimilation de contenu, je pense qu'il vaut mieux y penser comme du télétravail. Dans un tel environnement, les équipes s'organisent. L'objectif est de rester productif. Des méthodes telles que celles décrites dans ce guide du gouvernement du Canada aideraient: https://www.canada.ca/fr/government/publicservice/covid-19/working-remotely/staying-productive.html
- Que pensez-vous des projets à distance et des preuves que c'est l'élève qui a travaillé sur le projet et non un de ses proches?
C'est là que le rôle de la communauté en ligne, l'engagement et la présence deviennent importants, non seulement entre l'élève et l'instructeur, mais aussi entre les élèves. Lorsque le travail entrepris est à plus long terme et davantage axé sur la pratique authentique, chaque personne peut voir la présence de l'autre en ligne, y compris les instructeurs.
Dans un tel cas, l'intervention soudaine d'un parent serait à la fois facile à remarquer et également inutile. Le travail évalué est le résultat d'une association plus longue avec des pairs en ligne, plutôt que d'une réponse ponctuelle à des questions spécifiques.
- Que pensez-vous de l'impact des questions ouvertes et de l'analyse?
J'aime les questions ouvertes, mais je pense qu'elles doivent être construites correctement. L'idée ici est de les rendre difficiles à répondre, mais faciles à dire si elles ont été répondues correctement (j'emprunte cette idée au processus utilisé par les algorithmes de hachage).
Un bon exemple est un programme informatique. Si vous attribuez un projet à un étudiant ou à un groupe d'étudiants, la réponse spécifique sera complexe et difficile à énoncer, mais le logiciel peut être testé, et il fonctionne correctement ou non (des concours plus avancés peuvent être utilisés pour plus) étudiants avancés, des mesures telles que la vitesse de traitement, les prévisions de tendances, etc., peuvent être utilisées).
- Il me semble que le problème se posera de plus en plus surtout que ceux qui se sont précipités pour dispenser une formation en ligne ne sont pas prêts à assimiler l'importance de la construction d'un parcours personnel par l'étudiant et sont en général dans l'approche traditionnelle de la maîtrise de l'apprentissage .
Je pense que vous avez tout à fait raison. La réaction typique d'un enseignant en se déplaçant en ligne est d'essayer de recréer la classe et les leçons et de tester la façon dont elles ont été faites en classe. Mais nous savons depuis longtemps que l'apprentissage en ligne est différent, à la fois dans le sens où nous ne pouvons pas faire des choses que nous pourrions faire hors ligne (comme surveiller un test ou prendre des présences) et dans le sens qu'il y a des choses que nous pouvons dso en ligne que nous pouvons ne le faites pas hors ligne (comme exécuter des simulations, créer des groupes de travail en équipe, etc.).
- what about the practical work that must be done in the laboratory?
It depends on the laboratory, but mostly, students will not be able to reproduce the laboratory at home. During our current crisis, both practice and assessment in the laboratory will have to be postponed.
For the future, I have argued that laboratory facilities should be distributed across the community. In this way there would be a local laboratory with supervision where students could practice and be assessed.
I think that in the longer term there will also be a role for virtual laboratories, using virtual or augmented reality. We are engaged for example in a program to develop VR training for firefighters. Similar programs are already in place for airline pilots, ship's crew, military, doctors and nurses, and many other hands-on practitioners.
This of course requires specialized equipment (specifically, a VR headset) and good network connection. This is the sort of equipment that could also be made available in community learning centres until the infrastructure becomes affordable to all.
- if the institution works on learning outcomes and not skills
It depends very much on the learning outcome. I would ask, where is this outcome used in an actual work environment? Is this work something that can be done online? If yes, then the outcome can be evaluated during the process of working online.
- what do you think are the best online assessment practices today?
I think that over time we will stop having tests and assignments, and be more concerned about actual work in authentic environments. In this way, the totality of the skill set can be assessed, rather than selected and isolated skills.
So for today what I would urge is to create comprehensive forms of assessment. For example: for a mechanic, repairing an actual motor, rather than taking a test. For a lawyer: assist in arguing an actual court case, rather than writing an essay. Just as, even today, doctors and nurses undertake internships before they are allowed to practice.
This extends to online. Working in peer communities students are able to perform actual work. We see this a lot in software development, where students create real applications (and these, in turn, often become new businesses). A teacher or professor can assess the overall work, but perhaps the most important metric is whether it is used and found to be useful by people. A good example of this is the sort of project development employed by MIT media lab. https://www.media.mit.edu/search/?filter=project
- What do you think of regular continuous checks and their multiplication in number to ensure the assimilation of knowledge by the learner?
I think that it is more effective to make students accountable to each other rather than to an administrator. Instead of thinking of online learning in terms of content transfer and assimilation, I think it is better to think of it like remote working. In such an environment teams organize themselves. The focus is on staying productive. Methods such as those described in this Government of Canada guide would help: https://www.canada.ca/en/government/publicservice/covid-19/working-remotely/staying-productive.html
- What do you think of the distance projects and the evidence that it was the student who worked on the project and not one of his relatives?
This is where the role of online community, engagement and presence become important, not only between student and instructor, but also students among themselves. When the work undertaken is more long-term, and focused more in authentic practice, each person can see the presence of the other online, including the instructors.
In such a case, the sudden intervention by a relative would be both easy to notice and also unhelpful. The work being graded is the result of a longer association with peers online, rather than a one-time response to specific questions.
- What do you think of the impact of open questions and analysis?
I like open questions, but I think they need to be constructed correctly. The idea here is to make them hard to answer, but easy to tell if they have been answered correctly (I am borrowing this idea from the process used by hash algorithms).
A good example is a computer program. If you assign a project to a student or group of students, the specific answer will be complex and difficult to state, but the software can be tested, and it either runs correctly or it doesn't (more advance competitions can be used for more advanced students, measurements such as processing speed, predictions of trends, etc., can be used).
- It seems to me that the problem will arise more and more especially that those who rushed to provide online training are not ready to assimilate the importance of the construction of a personal journey by the student and are in general in the traditional approach for learning control.
I think you are exactly right. The typical reaction of a teacher on moving online is to attempt to recreate the class and lessons and tests the way they were done in the classroom. But we have long known that online learning is different, both in the sense that we can't do things we could do offline (like proctor a test or take attendance) and in the sense that there are things we can dso online that we can't do offline (like run simulations, create team working groups, etc).
---------------
Répondre à une demande d'évaluation.
- qu'en est-il des travaux pratiques qui doivent être effectués en laboratoire?
Cela dépend du laboratoire, mais surtout, les étudiants ne seront pas en mesure de reproduire le laboratoire à la maison. Pendant notre crise actuelle, la pratique et l'évaluation en laboratoire devront être reportées.
Pour l'avenir, j'ai soutenu que les installations de laboratoire devraient être réparties dans la communauté. De cette façon, il y aurait un laboratoire local avec supervision où les étudiants pourraient pratiquer et être évalués.
Je pense qu'à plus long terme, il y aura également un rôle pour les laboratoires virtuels, utilisant la réalité virtuelle ou augmentée. Nous sommes engagés par exemple dans un programme de développement de formations VR pour les pompiers. Des programmes similaires sont déjà en place pour les pilotes, l'équipage du navire, les militaires, les médecins et les infirmières et de nombreux autres praticiens.
Bien sûr, cela nécessite un équipement spécialisé (en particulier, un casque VR) et une bonne connexion. C'est le genre d'équipement qui pourrait également être mis à disposition dans les centres d'apprentissage communautaires jusqu'à ce que l'infrastructure devienne abordable pour tous.
- si l'institution travaille sur les acquis d'apprentissage et non sur les compétences
Cela dépend beaucoup du résultat d'apprentissage. Je demanderais, où ce résultat est-il utilisé dans un environnement de travail réel? Ce travail peut-il être effectué en ligne? Si oui, le résultat peut être évalué au cours du processus de travail en ligne.
- quelles sont selon vous les meilleures pratiques d'évaluation en ligne aujourd'hui?
Je pense qu'avec le temps nous cesserons d'avoir des tests et des affectations, et serons plus préoccupés par le travail réel dans des environnements authentiques. De cette façon, la totalité de l'ensemble de compétences peut être évaluée, plutôt que des compétences sélectionnées et isolées.
Donc, pour aujourd'hui, je vous demande instamment de créer des formes complètes d'évaluation. Par exemple: pour un mécanicien, réparer un moteur réel, plutôt que de passer un test. Pour un avocat: aider à plaider une affaire judiciaire réelle, plutôt que de rédiger un essai. Tout comme, encore aujourd'hui, les médecins et les infirmières entreprennent des stages avant d'être autorisés à exercer.
Cela s'étend à en ligne. Travaillant dans des communautés de pairs, les étudiants sont capables d'effectuer un travail réel. Nous le voyons beaucoup dans le développement de logiciels, où les étudiants créent de vraies applications (et celles-ci, à leur tour, deviennent souvent de nouvelles entreprises). Un enseignant ou un professeur peut évaluer l'ensemble du travail, mais la mesure la plus importante est peut-être de savoir si elle est utilisée et jugée utile par les gens. Un bon exemple de cela est le type de développement de projet utilisé par le MIT Media Lab. https://www.media.mit.edu/search/?filter=project
- Que pensez-vous des contrôles continus réguliers et de leur multiplication en nombre pour assurer l'assimilation des connaissances par l'apprenant?
Je pense qu'il est plus efficace de responsabiliser les étudiants les uns envers les autres plutôt que devant un administrateur. Au lieu de penser à l'apprentissage en ligne en termes de transfert et d'assimilation de contenu, je pense qu'il vaut mieux y penser comme du télétravail. Dans un tel environnement, les équipes s'organisent. L'objectif est de rester productif. Des méthodes telles que celles décrites dans ce guide du gouvernement du Canada aideraient: https://www.canada.ca/fr/government/publicservice/covid-19/working-remotely/staying-productive.html
- Que pensez-vous des projets à distance et des preuves que c'est l'élève qui a travaillé sur le projet et non un de ses proches?
C'est là que le rôle de la communauté en ligne, l'engagement et la présence deviennent importants, non seulement entre l'élève et l'instructeur, mais aussi entre les élèves. Lorsque le travail entrepris est à plus long terme et davantage axé sur la pratique authentique, chaque personne peut voir la présence de l'autre en ligne, y compris les instructeurs.
Dans un tel cas, l'intervention soudaine d'un parent serait à la fois facile à remarquer et également inutile. Le travail évalué est le résultat d'une association plus longue avec des pairs en ligne, plutôt que d'une réponse ponctuelle à des questions spécifiques.
- Que pensez-vous de l'impact des questions ouvertes et de l'analyse?
J'aime les questions ouvertes, mais je pense qu'elles doivent être construites correctement. L'idée ici est de les rendre difficiles à répondre, mais faciles à dire si elles ont été répondues correctement (j'emprunte cette idée au processus utilisé par les algorithmes de hachage).
Un bon exemple est un programme informatique. Si vous attribuez un projet à un étudiant ou à un groupe d'étudiants, la réponse spécifique sera complexe et difficile à énoncer, mais le logiciel peut être testé, et il fonctionne correctement ou non (des concours plus avancés peuvent être utilisés pour plus) étudiants avancés, des mesures telles que la vitesse de traitement, les prévisions de tendances, etc., peuvent être utilisées).
- Il me semble que le problème se posera de plus en plus surtout que ceux qui se sont précipités pour dispenser une formation en ligne ne sont pas prêts à assimiler l'importance de la construction d'un parcours personnel par l'étudiant et sont en général dans l'approche traditionnelle de la maîtrise de l'apprentissage .
Je pense que vous avez tout à fait raison. La réaction typique d'un enseignant en se déplaçant en ligne est d'essayer de recréer la classe et les leçons et de tester la façon dont elles ont été faites en classe. Mais nous savons depuis longtemps que l'apprentissage en ligne est différent, à la fois dans le sens où nous ne pouvons pas faire des choses que nous pourrions faire hors ligne (comme surveiller un test ou prendre des présences) et dans le sens qu'il y a des choses que nous pouvons dso en ligne que nous pouvons ne le faites pas hors ligne (comme exécuter des simulations, créer des groupes de travail en équipe, etc.).
This comment has been removed by a blog administrator.
ReplyDelete