Bienvenue dans le dépôt GitHub de support de la partie sur la Méthode expérimentale 2021/2022 du cours Méthodes de recherche en technologies éducatives du Master of Science in Teaching and Learning Technologies (MALTT) à l'Université de Genève. Ce site est destiné aux étudiant-es du cours et présente des informations utiles pour suivre la formation pendant les deux périodes (P5, P6) consacrées à cette méthodologie de recherche.
Le cours s'intéresse à la méthode expérimentale appliquée à la technologie éducative et domaines associées (psychologie, sciences de l'éducation, sciences informatiques et sciences de la communication). Pour un aperçu plus large de la recherche dans le domaine, se référer au Manuel de recherche en technologie éducative de Daniel K. Schneider et Barbara Class, disponible sur EduTechWiki.
-
Mattia A. Fritz Collaborateur scientifique et chargé de cours suppléant à TECFA, UNIGE
-
Mariem Jaouadi Assistante d'enseignement et de recherche à TECFA, UNIGE
Le cours propose une introduction à la méthode expérimentale appliquée à la technologie éducative. Le cours est organisé en deux parties :
-
Fondements empiriques de la méthode expérimentale
-
Texte d'accompagnement (en construction)
-
Fondements statistiques de la méthode expérimentale
-
Texte d'accompagnement (en construction)
-
Workshop/scripts R avec simulations de différents tests statistiques
Les deux parties sont complétées par des ressources/tutoriels :
-
Lire et interpréter des contributions expérimentales primaires
-
Introduction au pré-enregistrement d'une recherche expérimentale
En combinant les deux parties du cours, vous allez acquérir les compétences et connaissances suivantes :
- Comprendre les présupposés épistémologiques de la méthode expérimentale comme outil de recherche transversale à différents domaines
- Identifier des questions de recherche/hypothèses en recherche expérimentales comme des mécanismes causaux potentiels qui expliquent l'effet d'une intervention, pondérée et planifiée, sur un phénomène d'intérêt
- Comprendre les enjeux et limites dans la génération des données expérimentales en fonction des choix épistémologiques et méthodologiques (échantillon, plan expérimental, matériel, procédure, mesures valides, ...)
- Identifier des mécanismes d'inférence statistique et pratique, ainsi que la difficile articulation entre les deux
- S'initier à la lecture et interprétation des articles scientifiques reportant des expériences
- Être sensibilisé-es à l'importance de la reproductibilité, réplicabilité et généralisation des expériences dans une perspective Open Science
Pour atteindre les objectifs pédagogiques du cours, vous allez produire les éléments suivants :
-
Remplir un formulaire de pré-enregistrement d'une expérience en technologie éducative dont vous aurez planifié les différents éléments :
-
justification scientifique et éthique de l'expérience ;
-
explication causale potentielle (hypothèse théorique) de l'effet d'une intervention sur un phénomène d'intérêt ;
-
planification méthodologique de la génération, récolte et analyse de données expérimentale vissant établir la présence (ou absence) d'un effet d'une variable indépendante (VI) sur une variable dépendante (VD)
-
-
Mener et interpréter des analyses statistiques sur différents jeux de données
-
Créer un poster scientifique qui illustre l'ensemble du processus d'une recherche expérimentale (cadre théorique, question/hypothèses de recherche, méthode, résultats et discussion)
-
Lire et interpréter des articles scientifiques à travers la méthode QALMRI, acronyme de Question, Alternative, Logic, Method, Results, Inferences
Le cours est organisé sur deux périodes du Master MALTT (P5 et P6), avec deux demi-journées de cours en présence et deux périodes de travail à distance. Ici vous trouverez les contenus et activités des séances snychrones du cours. Pour le travail à distance, référez-vous à la section sur les livrables.
| Horaire | Contenus |
|---|---|
| 09h00 - 09h20 | Introduction aux périodes 5 et 6 |
| 09h20 - 10h30 | Fondements empiriques de la méthode expérimentale |
| 10h30 - 11h00 | Pause |
| 11h00 - 11h30 | Présentation d'un recherche en technologie éducative |
| 11h30 - 12h15 | Pré-enregistrement d'une recherche expérimentale |
| 12h15 - 12h30 | Illustration des livrables pour le travail à distance |
: Répartition horaire de la demi-journée de mardi 29 mars
Cette partie du cours introduit les contenus, objectifs et l'environnement d'apprentissage de la partie du cours METHODO consacrée à la méthode expérimentale :
-
Présentation du site d'accompagnement
-
Illustration des objectifs
Cette partie du cours présente les fondements empiriques de la méthode expérimentale à travers l'articulation d'une présentation avec une activité portant sur une thématique de recherche en technologie éducative : les effets du support de lecture (papier vs. écran) sur différents phénomènes liés à l'apprentissage (compréhension, capacité attentionnelle, etc.).
La présentation est précédée par la vision d'une courte vidéo, et ensuite divisée en 4 parties, dont les 3 premières sont suivies d'une activité et d'une mise en commun/discussion :
-
Avant la présentation, voire la vidéo What does reading on screens do to our brains? sur le site BBC Ideas, créé en partenariat avec The Open University
-
Après la partie de la présentation sur la Justification, répondez aux questions suivantes (à approfondir par rapport au contenu de la vidéo, il n'y a pas de bonnes ou mauvaises réponses) :
-
Quel est le type d'intervention traitée/comparée dans ce sujet de recherche ?
-
Sur quels phénomènes l'intervention a eu ou pourrait avoir des effets ?
-
Qu'est-ce qui justifie une recherche sur le sujet ? Intérêts, applications potentielles, ...
-
Y-a-t il des limites/problèmes éthiques potentielles dans ce sujet de recherche ? Si oui, lesquels ?
-
-
Après la partie de la présentation sur les Explication causale potentielle, essayez de transformer les phrases suivantes dans la forme On s'intéresse à l'effet de _________ sur __________. Par exemple, la phrase Les étudiant-es préfèrent les cours en présence pourrait se traduire par On s'intéresse à l'effet de la modalité des cours académiques (présence vs. distance) sur le sentiment d'auto-efficacité des étudiant-es.
-
Les utilisateurs aiment les sites jolies
-
Les apprenant-es dans les formations hybrides ont tendance à se sentir seul-es et isolé-es
-
Les apprenant-es retiennent plus d'informations depuis un contenu si ce contenu présente du texte et des images en même temps
-
L'adoption des technologies éducatives en salle de classe dépend des connaissances techniques des enseignant-es
-
-
Après la partie de la présentation sur la Génération des données, essayez de planifier une expérience qui s'intéresse à l'effet du support de lecture sur deux phénomènes d'intérêt liés à l'apprentissage. Plus spécifiquement :
-
Identifiez un public cible potentiel
-
Déterminez votre variable indépendante (VI) en spécifiant au moins deux modalités
-
Déterminez vos deux variables dépendantes (VD) en spécifiant, même de manière abstraite, comment vous allez mesurer ces phénomènes
-
Faites une liste des éléments qui pourraient influencer/perturber l'expérience (e.g. variables à contrôler/neutraliser, précautions éthiques, ...)
-
Une expérience en technologie éducative portant sur l'awareness émotionnelle en situation d'apprentissage collaboratif médiatisé par ordinateur vous sera illustré pour les raisons suivantes :
-
Fournir un exemple de planification d'une recherche expérimentale (cadre théorique, question de recherche, hypothèses et protocole expérimentale)
-
Introduction de la Dynamic Emotion Wheel, un outil développé selon l'approche centrée utilisateur du domaine ERGO mais qui est pensé aussi pour la recherche expérimentale
-
Fournir des éléments utiles à remplir une fiche de pré-enregistrement d'une expérience (voir point suivant)
Les slides de la présentation sont disponibles dans l'espace Moodle du cours.
Le pré-enregistrement d'une expérience consiste à planifier à l'avance et publier sur une plateforme indépendante les différentes informations concernant une expérience, afin de maximiser la transparence et la réplicabilité de cette même expérience par d'autres chercheurs. La plateforme OSF résume ce concept de la manière suivante :
Improve your research with preregistration. By writing out specific details such as data collection methods, analysis plans, and rules for data exclusion, you can make important decisions early on and have a clear record of these choices. This can help reduce biases that occur once the data are in front of you.
--- OSF website
Lors du travail à distance, vous serez appelé-es à créer vous-même un pré-enregistrement à travers une procédure similaire à celle de la plateforme OSF, mais en utilisant un template légèrement différent disponible dans ce dépôt.
Dans cette partie du cours, vous allez commencer l'activité en utilisant les informations de l'expérience en technologie éducative présentée au point précédent :
-
Téléchargez/ouvrez le template de pré-enregistrement d'une expérience en format Word pour éditer directement ou si vous préférez en format PDF pour copier la structure dans un autre éditeur de votre choix
-
Utilisez les slides de la présentation pour repérer les informations utiles à remplir le template. Concentrez-vous dans l'ordre sur les sections suivantes :
-
Section 2 Information sur l'étude/expérience
-
Section 5 Variables, notamment points 5.1 Variables Indépendantes et 5.2 Variables mesurées
-
Section 3 Plan de l'étude/expérience
-
Section 4 Plan d'échantillonnage
-
Il peut y avoir des informations manquantes, peu claires ou incomplètes. Essayez de remplir les points de la manière plus précise possible en fonction du temps disponible. Vous terminerez l'activité pendant la période à distance.
Voir la section "Livrables et critères d'évaluation" plus bas.
| Horaire | Contenus |
|---|---|
| 09h00 - 10h00 | Fondements statistiques de la méthode expérimentale |
| 10h00 - 10h30 | Mise en place des logiciels pour le workshop |
| 10h30 - 11h00 | Pause |
| 11h00 - 12h15 | Workshop avec R |
| 12h15 - 12h30 | Présentation des livrables P6 |
Les statistiques sont une partie intégrante de la méthode expérimentale, mais le rapport entre expérience et statistiques est complexe au niveau épistémologique et pratique. La présentation proposée dans cette partie du cours donne un aperçu de la complexité de ce lien et se focalise ensuite sur une manière spécifique d'utiliser les statistiques dites fréquentistes dans le cadre d'un test d'hypothèse.
Matériel de support utilisé dans cette partie :
Pour mieux comprendre et consolider les informations sur les fondements statistiques de la méthode expérimentale, cette partie du cours propose une activité hands-on à effectuer par binômes. L'activité consiste à decouvrir/manipuler des concepts statistiques à travers le langage de programmation R et le logiciel RStudio Desktop.
L'activité est divisée dans une série de scripts/fichiers R déjà codés qui sont accompagnés par des informations/instructions sur leur utilisation et manipulation. Des questions de compréhension complètent l'activité sur chaque script.
Le matériel et les instructions pour cette partie du cours sont disponibles dans le dossier fondements-statistiques/scripts-workshop. Le README de ce dossier propose les instructions pour suivre le workshop :
Voir la section "Livrables et critères d'évaluation" plus bas.
Cette section présente les détails des livrables à rendre pendant les périodes à distance. Les modalités de rendu sont indiquées dans l'espace Moodle du cours.
La période 5 prévoit deux livrables (un individuel, un par groupes) et un commentaire croisé.
Consignes :
-
Complétez la fiche de pré-enregistrement de l'expérience sur l'awareness émotionnelle commencée en salle de classe selon le template de pré-enregistrement disponible dans ce dépôt (format Word ou PDF)
-
Tous les points ne doivent pas être complétés, utilisez votre propre jugement
Contraintes :
- Aucune contrainte particulière au niveau de la précision ou de la longueur de la fiche, essayez de comprendre les contenus de chaque section/point et d'indiquer les informations saillantes que vous retrouvez dans la présentation de l'expérience faite en salle de classe
Conseils :
- Il n'est pas nécessaire de reformuler ou vous démarquer des contenus de la présentation ; l'objectif est de savoir bien identifier les informations saillantes et reconnaître si des informations sont incomplètes ou manquantes
Évaluation :
-
Une fois le délai passé, l'équipe enseignante publiera la fiche de l'expérience même que vous allez ensuite comparer avec la votre
-
Vous allez auto-évaluer votre propre fiche en la comparant avec la fiche de l'équipe enseignante et vous auto-attribuer un score entre 0 (pas de similarité du tout) à 0.5 (les fiches correspondent plus ou moins) avec 0.1 points décimaux d'écart
-
Pour cette raison, le rendu de ce livrable hors délai correspond automatiquement à une évaluation de 0
Délai :
- Mercredi 13 avril à 21h00
Première version d'une fiche de pré-enregistrement d'une expérience imaginée par vois soins (groupe)
Consignes :
-
Imaginez une expérience dans le domaine de la technologie éducative et créez votre propre fiche de pré-enregistrement dans laquelle vous définissez les détails
-
L'expérience peut porter sur un sujet de votre choix, mais nous vous proposons trois thématiques avec une collection d'articles auxquels vous pouvez vous référez au besoin. Les thématiques sont :
-
Lecture sur papier vs. écran (c.f. la vidéo vue en salle de classe)
-
Principes multimédia dans l'apprentissage
-
Awareness émotionnelle dans l'apprentissage médiatisée par ordinateur
-
Contraintes :
-
Votre expérience doit prévoir un plan inter-sujet (sans mesure répétée) caractérisé par une VI avec deux ou trois modalités, ou deux VI avec deux modalités maximum (plan 2 X 2)
-
Vous devez spécifier deux VD, dont au moins une doit être considérée valide/objective. Vous pouvez vous référez à une liste d'articles dans l'espace Moodle pour plus de détails
-
Remplissez les sections/points de la fiche qui vous semblent appropriés, en sachant que les points 4.3 et 4.4, ainsi que la section 6 seront abordés dans les fondements statistiques en P6. Les plus ambitieux peuvent déjà se lancer si souhaité, de toute manière la première version est commentée par vos collègues et reçoit un feedback formative de l'équipe enseignante
-
Il vous faudra explorer quelques articles empiriques et ensuite en lire deux ou trois en profondeur pour vous aider/inspirer. Référez-vous à la ressource sur la lecture et interprétation des sources expérimentales primaires (c.f. méthode QALMRI)
-
Il n'y a pas de limites pour la longueur de la fiche, mais soyez raisonnable. Votre fiche sera commentée par vos collègues. Référez-vous à la fiche proposée par l'équipe enseignante après le premier livrable.
Conseils :
-
Freinez vos ambitions : concevoir une expérience est une procédure complexe et qui nécessite du temps. Concentrez-vous sur les aspects logiques/causales qui détermine le rapport entre votre intervention (VI) et vos phénomènes d'intérêt (VD)
-
N'hésitez pas à reprendre des protocoles expérimentaux qui vous semblent intéressants et modifier des éléments (e.g. changer la VI/VD, le public cible, proposer une hypothèse alternative, etc.)
-
Vous pouvez insérer dans la fiche des images/schémas/modèles qui peuvent être utile à la compréhension des questions/hypothèses, de la procédure, des VI/VD, etc.
Évaluation :
-
Commentaires croisés par vos collègues
-
Évaluation formative de l'équipe enseignante
Délai :
- Mardi 3 mai à 21h00
Consignes :
-
Chaque fiche de groupe sera attribué au commentaire de deux étudiant-es d'autres groupes
-
Pour le commentaire, focalisez vous sur les hypothèses et le choix des VI/VD
Délai :
- Vendredi 6 mai à 21h00
La période 5 prévoit deux livrables par groupes.
Consignes :
-
Finalisez votre fiche de pré-enregistrement, notamment en ce qui concerne le nombre de participant-es envisagés (calcule de puissance statistique ou justification alternative de l'échantillon comme le temps, le budget, la littérature, ...) et le type d'analyse statistique à mener (t-test de Welch, ANOVA simple, ANOVA factorielle, ...)
-
Sur la base de la fiche vous allez recevoir des données de synthèse pour mener les analyses indiquées dans la fiche
Contraintes :
- Même contraintes que pour la première version
- En plus, dans le message qui publie votre fiche afin d'obtenir les données de synthèse, vous devez donner des informations utiles sur les deux VD en termes numériques, par exemple :
-
Donner une idée de l'étendu de la mesure (e.g. échelle de Lickert de 1 à 7), mesure en seconds qui peut aller de 30 à 90 environ, ...
-
Si possible, la moyenne et l'écart type de la mesure. Si vous utilisez une mesure validée dans la littérature, parfois ces informations sont disponibles directement dans l'article. Si ce n'est pas le cas, essayez quand même de vous imaginer une distribution potentielle de vos mesures, c'est un exercice utile au niveau pédagogique
-
Conseils :
-
Le plus complexe votre plan expérimental, le plus complexe votre analyse des données (soyez raisonnables)
-
Vous pouvez essayer de simuler vous-mêmes des données avec les techniques vues en salle de classe avec R pour s'assurer que l'analyse que vous comptez mener est correcte
Évaluation :
-
Évaluation sommative sur 3 points
-
De 0 à 1 point pour la qualité de la question de recherche/hypothèses
-
De 0 à 1 point pour le choix des VI/VD
-
De 0 à 1point pour la qualité générale de la fiche de pré-enregistrement
Délai :
- Dimanche 29 mai à 21h00
Consignes :
-
Créez un poster au format A0 qui résume l'ensemble de votre expérience (simulée) : bref cadre théorique, questions/hypothèses de recherche, méthode, résultats et discussion
-
Vous pouvez vous référez à cet exemple : The Social Sharing of Emotions with an Emotion Awareness Tool during a Computer-Supported Collaborative Task (Fritz, Perrier & Bétrancourt, 2019)
Contraintes :
-
Votre poster doit citer au moins deux articles scientifiques en format bref (auteurs et date). Les références complètes sont à insérer dans le message avec lequel vous rendez le livrable
-
Le poster doit indiquer clairement qu'il ne s'agit pas d'une expérience qui a été menée réellement !
-
Dans le poster mettez seulement les indicateurs statistiques pertinents et illustrez dans une pièce-jointe/autre document les analyses que vous avez menées (output Jamovi, script R, ...). Vous êtes libres de choisir le logiciel que vous préférez/maîtrisez mieux. Le output des analyses doit présenter pour chaque VD :
-
Description de l'échantillon avec N, M et SD pour l'ensemble des observations et pour chaque groupe/condition expérimentale
-
Au moins une représentation graphique des données pertinentes
-
Degrés de liberté et résultat du test statistique
-
p-valeur associée au test
-
Taille de l'effet brute et/ou standardisée avec intervalles de confiance à 95%
-
Si pertinent, des éléments qui témoignent que les postulats du test sont respectées (e.g. pour ANOVA simple ou factorielle)
-
Conseils :
-
Référez-vous aux ressources sur EduTechWiki dans le module Communiquer efficacement : principes et astuces en communication visuelle
-
Vous pouvez utiliser Power Point (voir les sections à ce propos dans le module) ou tout autre éditeur de texte/graphique
Évaluation :
-
Évaluation sommative sur 3 points
-
De 0 à 1 point pour la qualité scientifique du poster (cadre théorique, questions/hypothèses, méthode)
-
De 0 à 1 point pour les résultats des analyses et les inférences statistiques et pratiques que vous en tirez
-
De 0 à 1 point pour la qualité du design du poster (lisibilité, alignement, respect de contraintes, ...)
Délai :
- Mardi 14 juin à 21h00
La note finale est calculée de la manière suivante :
-
La somme entre les points de la fiche de pré-enregistrement de votre propre expérience et les points du poster (de 0 à 6)
-
L'auto-évaluation (de 0 à 0.5) sert en tant que bonus et sera ajoutée à la somme des deux livrables du groupe
Quelques ressources complémentaires ou pour aller plus loin. Les ressources sont organisées en ordre de difficulté/spécialisation croissante
-
Lakens, D. (2022). Improving Your Statistical Inferences. Retrieved from https://lakens.github.io/statistical_inferences/. https://doi.org/10.5281/zenodo.6409077
-
Maxwell, S. E., Delaney, H. D., & Kelley, K. (2017). Designing experiments and analyzing data : A model comparison perspective (Third edition). Routledge.
-
Pearl, J., & Mackenzie, D. (2018). The book of why : The new science of cause and effect. Basic Books.
-
Pearl, J., Glymour, M., & Jewell, N. P. (2016). Causal inference in statistics : A primer. Wiley.
Différentes collections d'articles sont disponibles dans l'espace Moodle du cours.
Le contenu de ce dépôt est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d'Utilisation Commerciale - Partage dans les Mêmes Conditions 4.0 International.