Author : Deesya Lovely Susanto   , Renovita Edelani, Entin Martiana Kusumaningtyas, Nur Rosyid Mubtadai
ABSTRAK

Natural Language Processing (NLP) memiliki peran penting dalam mengolah data berbasis teks, khususnya dalam analisis aduan pelanggan. Penelitian ini memperkenalkan sebuah sistem berbasis NLP yang dirancang untuk menganalisis aduan pelanggan yang dikumpulkan dari akun media sosial milik PDAM Surya Sembada serta dari aplikasi internal mereka, yaitu CIS (Customer Information System). Saat ini, belum tersedia sistem analisis yang mampu memproses komentar pelanggan untuk keperluan analisis sentimen dan klasifikasi teks (pertanyaan dan pernyataan). Sistem yang diusulkan mengintegrasikan tiga komponen utama: analisis sentimen, klasifikasi teks, dan text summarization. Analisis sentimen dan klasifikasi teks dilakukan menggunakan model IndoBERT yang telah disesuaikan melalui proses fine-tuning. Beberapa eksperimen dilakukan untuk membandingkan performanya dengan model alternatif seperti RoBERTa dan DistilBERT, dengan variasi pada tahap preprocessing serta jumlah fold menggunakan metode Stratified K-Fold Cross Validation. Proses summarization dilakukan menggunakan Llama 4 Scout, model LLM open source yang dikembangkan oleh Meta. Hasil eksperimen menunjukkan bahwa IndoBERT mengungguli model lainnya, dengan akurasi sebesar 93,48% untuk analisis sentimen dan 96,21% untuk klasifikasi komentar. Tugas summarization, yang dievaluasi menggunakan metrik BERTScore dan ROUGE, memperoleh nilai BERTScore F1 sebesar 85,12% dan ROUGE-1 F1 sebesar 62,46%, dengan hasil terbaik diperoleh dari model Llama 4 Scout.

[DOWNLOAD ABSTRACT]