Rancang Bangun Smart Glove Penerjemah SIBI berbasis ESP32 Terintegrasi Sistem Speech Synthesis

Abstract

Komunikasi antara penyandang disabilitas tunarungu dan tunawicara dengan masyarakat umum kerap terhambat akibat minimnya pemahaman terhadap Sistem Isyarat Bahasa Indonesia (SIBI). Penelitian ini merancang dan mengimplementasikan purwarupa sarung tangan pintar (smart glove) satu tangan berbasis mikrokontroler ESP32 yang mampu mengenali isyarat huruf vokal SIBI (A, I, U, E, O) secara waktu nyata. Akuisisi data dilakukan melalui fusi lima flex sensor berkonfigurasi pull-up dan modul sensor inersia MPU6050. Pemrosesan sinyal dilakukan secara lokal menggunakan filter Exponential Moving Average (EMA) diikuti metode klasifikasi thresholding deterministik. Data telemetri dikirimkan nirkabel melalui protokol MQTT ke antarmuka web Laravel untuk divisualisasikan sebagai teks dan dikonversi menjadi luaran suara (speech synthesis). Pengujian Confusion Matrix terhadap 500 sampel menghasilkan akurasi rata-rata 94,2% dengan rata-rata latensi end-to-end 2.216,4 milidetik. Hasil ini memvalidasi keandalan purwarupa sebagai fondasi pengembangan sistem penerjemah SIBI yang lebih komprehensif.