Penilaian esai secara manual membutuhkan waktu dan rentan terhadap subjektivitas. Penelitian ini mengembangkan sistem penilaian esai otomatis berbasis Large Language Model (LLM) untuk mengevaluasi kompetensi Data Scientist dalam bidang Sains Data Terapan. Sistem menggabungkan dua pendekatan utama: keyword matching untuk memastikan kesesuaian isi dengan kompetensi soal, dan LLM yakni seperti IndoBERT dan LLaMA untuk menilai kualitas serta kelengkapan jawaban. Eksperimen dilakukan dengan berbagai strategi, termasuk fine-tuning dan pembekuan encoder, serta pendekatan regresi dan klasifikasi. Selain itu, model diuji menggunakan beberapa bentuk input mulai dari hanya jawaban, gabungan pertanyaan dan jawaban, hingga penggunaan token khusus untuk membedakan keduanya. Hasil terbaik diperoleh dari pendekatan klasifikasi dengan fine-tuning penuh nilai QWK sebesar 0.951, meskipun strategi ini berisiko mengalami overfitting. Sementara itu, LLaMA menunjukkan performa tinggi dan stabil, QWK 0.9369. Sistem ini telah diimplementasikan dalam bentuk aplikasi web menggunakan Streamlit, dilengkapi dengan fitur login dosen dan mahasiswa serta tampilan skor esai secara otomatis dan terstruktur. Hasil evaluasi menunjukkan bahwa pendekatan ini efektif meningkatkan efisiensi dan objektivitas penilaian esai.