IMPLEMENTASI BERT DAN LARGE LANGUAGE MODEL UNTUK ANALISIS SENTIMEN DAN TEXT SUMMARIZATION PADA ADUAN PELANGGAN PDAM KOTA SURABAYA
ABSTRAK
Natural Language Processing (NLP) memiliki peran penting dalam mengolah data berbasis teks, khususnya dalam analisis aduan pelanggan. Penelitian ini memperkenalkan sebuah sistem berbasis NLP yang dirancang untuk menganalisis aduan pelanggan yang dikumpulkan dari akun media sosial milik PDAM Surya Sembada serta dari aplikasi internal mereka, yaitu CIS (Customer Information System). Saat ini, belum tersedia sistem analisis yang mampu memproses komentar pelanggan untuk keperluan analisis sentimen dan klasifikasi teks (pertanyaan dan pernyataan). Sistem yang diusulkan mengintegrasikan tiga komponen utama: analisis sentimen, klasifikasi teks, dan text summarization. Analisis sentimen dan klasifikasi teks dilakukan menggunakan model IndoBERT yang telah disesuaikan melalui proses fine-tuning. Beberapa eksperimen dilakukan untuk membandingkan performanya dengan model alternatif seperti RoBERTa dan DistilBERT, dengan variasi pada tahap preprocessing serta jumlah fold menggunakan metode Stratified K-Fold Cross Validation. Proses summarization dilakukan menggunakan Llama 4 Scout, model LLM open source yang dikembangkan oleh Meta. Hasil eksperimen menunjukkan bahwa IndoBERT mengungguli model lainnya, dengan akurasi sebesar 93,48% untuk analisis sentimen dan 96,21% untuk klasifikasi komentar. Tugas summarization, yang dievaluasi menggunakan metrik BERTScore dan ROUGE, memperoleh nilai BERTScore F1 sebesar 85,12% dan ROUGE-1 F1 sebesar 62,46%, dengan hasil terbaik diperoleh dari model Llama 4 Scout.
[DOWNLOAD ABSTRACT]Kategori
D3 Teknik ElektronikaD3 Teknik Telekomunikasi
D3 Teknik Elektro Industri
D3 Teknik Informatika
D3 Teknologi Multimedia Broadcasting
D4 Teknik Elektronika
D4 Teknik Telekomunikasi
D4 Teknik Elektro Industri
D4 Teknik Informatika
D4 Teknik Mekatronika
D4 Teknik Komputer
D4 Teknik Teknologi Game
S2 Teknik Elektro
S2 Teknik Informatika dan Komputer