Le projet TaBGO a pour objectif de permettre à des personnes non-voyantes d'utiliser le langage de programmation Scratch par utilisation de blocs tangibles.
Le lecteur TaBGo permet la reconnaissance des blocs tangibles grâce à des TopCodes ainsi que des cubarithmes, créer un fichier sb3 directement exécutable par Scratch et/ou de générer une trace accessible pour les élèves déficients visuels.
Vous pouvez consulter la documentation pour construire vos blocs au format docx ou pdf
Des exemples d'algorithmes sont disponibles ici
Le code disponible là a principalement été développé au travers de plusieurs projets de fin d'étude : Jean-Baptiste Marco dans sa première mouture en java (stage de 2A ISAE-ENSMA) en 2018, Léa Berquez (stage de L3 Informatique - UT3) en 2020, un pool de 10 étudiants de L3 informatique (TER - UT3) en 2021, Mathieu Campan (stage de 1A ENSEEIHT) en 2022 et {Ninon Autefage, Noémie Guiraud, Adrian Morellato et Loan Vigouroux (BE de Lience Informatique - UT3)} en 2024.
D'autres voies sont actuellement explorées (voir par exemple le convertisseur sb3/svg) pour permettre une exécution complètement non-visuelle du code.
Le logiciel utilise processing.org et les librairies OpenCV recompilé avec la version OpenCV 4.52, Video (pour la reconnaissance optique), drop (pour le Drag and Drop d'images) et gson (pour la création des fichiers sb3). Enfin, une librairie de synthèse vocale en anglais est utilisée pour un feedback sonore (fournie directement).
- Téléchargement du logiciel Processing.org 4.3
- Importation de la librairie Video
Sketch -> Importer une librairie... -> Ajouter une librairie... - Les librairies gson, OpenCV, Drop et TTS se trouvent dans le sous-dossier code et seront chargées automatiquement. Si cela ne fonctionne pas, glissez-déposez les fichiers .jar dans la fenêtre Processing lors de l'ouverture du programme.
Des scripts pour windows et linux ont été écrits afin d'automatiser l'installation et l'exécution de TabGO (bientôt)
Après avoir appuyé sur "lancer le programme Processing" (bouton "Play"), vous pouvez scanner votre environnement de travail et commencer l'exécution du programme en appuyant sur la touche "espace".
Si vous souhaitez effectuer la reconnaissance de code à partir d'une image, appuyez sur la touche "i" ou "I" et glissez-déposez votre image dans la fenêtre tabgo. Si vous voulez lancer un script de test, appuyez sur "t" ou "T".
Les fichiers de tests (images .png) se trouvent dans le sous-dossier data. Modifiez le fichier à tester dans la classe "tabgo.pde", dans la méthode "creation". Le fichier .sb3 obtenu se trouve dans le dossier "data/sb3/Programme_scratch.sb3" et peut ensuite être chargé et exécuté sur le site web Scratch :
Bouton Créer puis menu File -> Load from your computer
Ce projet a été partiellement financé via un appel à projets de l'UNADEV - Financement 2019.49
- Marco J.B., Baptiste-Jessel N., Truillet Ph., TaBGO : Programmation par blocs tangibles In: 30e Conference francophone sur l'Interaction Homme-Machine (IHM 2018), 23 October 2018 - 26 October 2018 (Brest, France)
- Andriamahery-Ranjalahy K., Berquez L., Jessel N., Truillet Ph., TaBGO: towards accessible computer science in secondary school, In : 23rd International Conference on Human-Computer Interaction (HCI International 2021), Jul 2021, virtual place, United States.
- Andriamahery-Ranjalahy K., Truillet Ph., Permettre l’autonomie dans l’activité de programmation par blocs pour des enfants non-voyants, In : 12e Conférence Handicap 2022, 8-10 Juin 2022 (Paris, France), pp. 155-160
- Expérimentation au collège Lamartine / Toulouse - Juin 2021
- Présentation aux Journées d'Etudes de l'ATAF - Association des Transcripteurs-Adaptateurs Francophones 2024, 21 juin 2024