Author : Fahmi Muhammad Rabbani   , Bima Sena Bayu Dewantara, Endra Pitowarno
ABSTRAK

Penelitian ini berfokus pada visual speech recognition untuk mengenali gerakan bibir dalam kata-kata Arab, dengan tambahan aspek pengenalan audio menggunakan Google Speech API. Metode yang digunakan melibatkan ekstraksi fitur Histogram of Oriented Gradient (HOG) dengan klasifikasi Support Vector Machine (SVM). Penelitian dilakukan pada dataset 1749 video independen dengan partisipasi laki-laki dan perempuan yang menggunakan modern standard Arabic. Model yang dikembangkan memperoleh hasil yang menggembirakan dalam tahap pelatihan visual dengan tingkat akurasi mencapai 94,94%, dan evaluasi pada tahap validasi menunjukkan kinerja yang konsisten dengan akurasi sebesar 95,63%. Penerapan kernel polinomial juga menunjukkan tingkat pengenalan kata sebesar 96%, mengindikasikan kemampuan model dalam mengidentifikasi kata-kata Arab dengan tingkat keberhasilan yang tinggi. Namun, uji coba pada dataset baru menghasilkan penurunan performa dengan tingkat keberhasilan sebesar 86,67%. Implikasi penelitian ini sangat relevan dalam pengembangan aplikasi pengenalan ucapan serta dalam bidang-bidang lain yang membutuhkan interpretasi visual gerakan bibir dan pengenalan audio untuk bahasa Arab.

[DOWNLOAD ABSTRACT]