Penyakit jantung merupakan salah satu penyakit dengan jumlah penderita terbesar di Indonesia. Menurut Indonesian Heart Association, pada tahun 2020 setidaknya sudah ada 4,2 juta orang penderita penyakit jantung. Untuk memeriksa kondisi jantung dapat dengan pemeriksaan ekokardiogram yang menggunakan alat ultrasound. Dengan begitu dapat dilakukan analisis mengenai pergerakan dan deformasi miokardium sebagai acuan diagnosis jenis penyakit jantung yang sesuai kondisi pasien. Analisis masih dilakukan secara manual oleh dokter sehingga diperlukan pengembangan pada alat ultrasound portabel berupa sistem yang dapat mengklasifikasi kondisi gerak jantung sebagai acuan diagnosis. Pada proyek akhir ini mengembangkan sistem yang dapat mengklasifikasi citra jantung menjadi empat macam kondisi yaitu normal, hipokinesis, akinesis, dan diskinesis. Sistem nantinya akan mendapatkan citra hasil ultrasound yang sudah lebih dahulu dilakukan yang kemudian akan dilakukan preprocessing untuk menghilangkan noise. Setelah gambar diperbaiki, selanjutnya dilakukan proses segmentasi untuk mendapatkan kontur rongga jantung. Kemudian yang dilakukan pada proyek akhir ini yaitu dimulai dari proses tracking. Setelah didapatkan kontur, dicari titik yang menjadi good features yang kemudian digunakan untuk tracking pada citra dengan menggunakan optical flow Lucas-Kanade. Lalu dilakukan ekstraksi fitur untuk mendapatkan informasi arah dan jarak perpindahan titik terbaik. Kemudian dibangun sistem klasifikasi menggunakan deep learning. Hasil dari sistem ini berhasil melakukan pelacakan dan ekstraksi ciri. Sedangkan klasifikasi yang dihasilkan belum sempurna dengan akurasi sebesar 71,43%.