PENCARIAN STANDAR PEMBIAYAAN DI PENS BERBASIS CHATBOT MENGGUNAKAN LARGE LANGUAGE MODEL
ABSTRAK
Pengelolaan standar pembiayaan yang akurat dan patuh regulasi merupakan elemen kritis bagi Politeknik Elektronika Negeri Surabaya (PENS), terutama dalam mengimplementasikan Standar Biaya Masukan (SBM) yang ditetapkan oleh Peraturan Menteri Keuangan. Permasalahan mendasar terletak pada basis pengetahuan SBM yang statis dan tidak terstruktur—informasi tersebar di dalam dokumen PDF setebal ratusan halaman dengan format semi-terstruktur, sehingga pencarian data spesifik berlangsung lambat, rentan terhadap salah interpretasi, dan berisiko menimbulkan ketidakpatuhan yang merugikan institusi. Penelitian ini menghadirkan solusi berupa sistem pencarian berbasis chatbot yang mengintegrasikan Large Language Model (LLM) dengan arsitektur Retrieval-Augmented Generation (RAG) untuk memungkinkan tanya jawab berbahasa alami terhadap dokumen SBM. Dokumen PMK diproses melalui tahap preprocessing berbasis aturan yang mengekstraksi teks, membersihkan noise, mengidentifikasi struktur bab dan item SBM, serta merekonstruksi tabel kompleks menjadi unit-unit informasi yang utuh. Setiap unit teks kemudian diubah menjadi vektor semantik berdimensi 768 menggunakan model Sentence Transformer paraphrase-multilingual-mpnet-base-v2 dan diindeks ke dalam FAISS. Untuk meningkatkan akurasi, diterapkan strategi retrieval hibrid tiga tahap yang menggabungkan pencarian semantik (FAISS), pencarian leksikal (BM25), dan re‑ranking berbasis cross‑encoder. Tiga LLM—Qwen3‑32B, LLaMA‑3.3‑70B, dan GPT‑OSS‑120B—diuji sebagai generator jawaban. Evaluasi menggunakan metrik faithfulness, answer relevance, dan ROUGE‑L memperlihatkan bahwa GPT‑OSS‑120B unggul pada pertanyaan faktual sederhana, sementara Qwen3‑32B lebih baik pada pertanyaan kompleks yang memerlukan komputasi; LLaMA‑3.3‑70B memberikan relevansi tertinggi namun gagal pada pencarian bersarang. Setiap jawaban dilengkapi referensi hingga level pasal dan subbab, memastikan ketertelusuran dan akuntabilitas informasi. Sistem ini secara keseluruhan mampu menyajikan jawaban yang akurat, kontekstual, dan bersumber, sehingga meningkatkan efisiensi akses informasi SBM dan mendukung kepatuhan keuangan di lingkungan PENS.
[DOWNLOAD ABSTRACT]Kategori
D3 Teknik ElektronikaD3 Teknik Telekomunikasi
D3 Teknik Elektro Industri
D3 Teknik Informatika
D3 Teknologi Multimedia Broadcasting
D4 Teknik Elektronika
D4 Teknik Telekomunikasi
D4 Teknik Elektro Industri
D4 Teknik Informatika
D4 Teknik Mekatronika
D4 Teknik Komputer
D4 Teknik Teknologi Game
S2 Teknik Elektro
S2 Teknik Informatika dan Komputer