EVALUASI KINERJA DAN ANALISIS LIMITASI LLM UNTUK NOTULENSI RAPAT BAHASA INDONESIA (STUDI KASUS: GEMINI 1.5 PRO DAN CLAUDE 3.5 SONNET)
ABSTRAK
Kebutuhan dokumentasi rapat yang efisien dan akurat meningkat di era digital, khususnya di lingkungan pendidikan dan organisasi. Penelitian ini mengembangkan Smart Notulensi, sistem notulensi berbahasa Indonesia berbasis Large Language Model, Gemini 1.5 Pro dan Claude 3.5 Sonnet, untuk otomatisasi transkripsi dan notulensi menggunakan teknologi Speech to Text. Performa model dievaluasi pada audio dengan pembicara tunggal, jamak, dan noise tinggi, melalui metrik Word Error Rate, ROUGE, dan analisis kualitatif untuk akurasi, kelengkapan, dan relevansi. Gemini 1.5 Pro unggul dengan WER 14.88 persen dan waktu proses 27.40 detik, sementara Claude 3.5 Sonnet menghasilkan notulensi terstruktur namun lemah pada konteks lokal dan dialek. Sistem ini menggunakan framework Streamlit untuk antarmuka interaktif. Tantangan utama adalah variasi dialek, aksen, kebisingan, dan kebutuhan rekayasa prompt ketat. Penelitian merekomendasikan optimisasi prompt engineering, pelatihan data lokal, dan fitur pemrosesan langsung untuk performa lebih baik. Smart Notulensi cocok untuk dokumentasi rapat di lingkungan akademik, pemerintahan, dan korporasi, dengan potensi pengembangan lebih lanjut dalam pengolahan bahasa alami.
[DOWNLOAD ABSTRACT]Kategori
D3 Teknik ElektronikaD3 Teknik Telekomunikasi
D3 Teknik Elektro Industri
D3 Teknik Informatika
D3 Teknologi Multimedia Broadcasting
D4 Teknik Elektronika
D4 Teknik Telekomunikasi
D4 Teknik Elektro Industri
D4 Teknik Informatika
D4 Teknik Mekatronika
D4 Teknik Komputer
D4 Teknik Teknologi Game
S2 Teknik Elektro
S2 Teknik Informatika dan Komputer