Menurut World Health Organization ada 466 juta orang di dunia yang mengalami gangguan pendengaran. Ini lebih dari 5% populasi dunia. Salah satu penyakit yang sering menyerang telinga adalah otitis media, otitis media adalah kondisi area gendang telinga meradang dan terinfeksi. Dalam melakukan pemeriksaan dokter spesialis THT-KL melihat endoskop. Hasil analisis berbeda-beda tergantung dari ketelitian dan pengalaman dokter, sehingga memungkinkan terjadinya human error. Untuk itu pada tugas akhir ini akan dibuat sistem untuk mengsegmentasi dan mengklasifikasi keadaan telinga normal dan telinga yang menderita otitis media dengan mengunakan citra endoskop. Sistem ini dimulai dari input citra gendang telinga yang akan diproses pada tahap pre-processing mengunakan metode cropping untuk menyamakan ukuran image input dan contrast enchacement untuk meningkatkan pencahayaan. Tahap selanjutnya adalah segmentasi, mengunakan metode region of interest (ROI) untuk memfokuskan pada objek dan grabcut model untuk membedakan objek dan background, dengan mengunakan ektraksi fitur berupa warna dan tekstur mengunakan histogram indeks RGB untuk mengetahui perbedaan warna nilai RGB pada gambar dan metode Gray Level Co-Occurrence Matrix (GLCM) untuk mengetahui tekstur. Kemudian mengklasifikasikan objek mengunakan metode tree decision dengan 90 data training . Dari hasil pengujian yang dilakukan pada 27 data uji, keberhasilan sistem dalam menentukan keadaan gendang telinga didapatkan nilai sensitivitas yaitu 93.75 %, spesifitas 93.75%, presisi 93.75%, nilai prediksi negatif 93.75 % dan akurasi sebesar 92.59 %.