Project pembelajaran bahasa Arab berbasis Vite + Babylon.js + TypeScript + MediaPipe.
- 3 tombol menu utama di sidebar kiri:
- Materi: penjelasan konsep pembelajaran.
- 8 Arah: depan, belakang, kanan, kiri, atas, bawah, dalam, luar.
- Petunjuk Berjalan: maju, mundur, belok kanan, belok kiri, naik, turun.
- Sidebar kiri bisa hide/unhide. Saat sidebar di-hide, kamera ikut tersembunyi dan otomatis dimatikan.
- Tombol Full Screen 3D untuk menampilkan canvas Babylon.js secara penuh.
- Model Zayd GLB tersedia di
public/models/zayd.glbdan dapat diganti dengan model lain bernama sama. - Gesture sudah diganti dari swipe cepat menjadi pose statis / hold-to-confirm agar lebih stabil di pencahayaan kurang.
- Saat gesture maju/depan atau mundur/belakang terbaca, aplikasi menampilkan keterangan pada overlay 3D dan status kamera.
npm install
npm run devBuka URL dari Vite, biasanya:
http://localhost:5173Gesture tidak lagi mengandalkan swipe cepat. Setiap gesture perlu ditahan sekitar 0,65 detik.
| Arah | Gesture |
|---|---|
| Depan / أَمَامَ | Telapak terbuka |
| Belakang / خَلْفَ | Kepal tangan |
| Kanan / يَمِين | Jempol mengarah ke kanan |
| Kiri / يَسَار | Jempol mengarah ke kiri |
| Atas / فَوْقَ | Telunjuk mengarah ke atas |
| Bawah / تَحْتَ | Telunjuk mengarah ke bawah |
| Dalam / دَاخِلَ | Dua tangan dekat di tengah |
| Luar / خَارِجَ | Dua tangan terbuka melebar |
| Perintah | Gesture |
|---|---|
| Maju / تَقَدَّمْ | Telapak terbuka |
| Mundur / اِرْجِعْ | Kepal tangan |
| Belok kanan / اِنْعَطِفْ يَمِينًا | Jempol mengarah ke kanan |
| Belok kiri / اِنْعَطِفْ يَسَارًا | Jempol mengarah ke kiri |
| Naik / اِصْعَدْ | Telunjuk mengarah ke atas |
| Turun / اِنْزِلْ | Telunjuk mengarah ke bawah |
Ganti file berikut dengan model humanoid .glb milik bro:
public/models/zayd.glb
Pastikan nama file tetap zayd.glb.
- Gesture memakai webcam dan model MediaPipe dari CDN, sehingga perlu koneksi internet saat gesture pertama kali diaktifkan.
- Mode manual tetap bisa dipakai tanpa kamera.
- Fullscreen mengikuti dukungan browser melalui Fullscreen API.