Ekspor buah Indonesia pada tahun 2018 meningkat 24% dari 2017. Salah satu alasannya adalah meningkatnya minat orang asing pada buah-buahan tropis yang tidak tumbuh di negara-negara ekspor. Beberapa negara tujuan ekspor memiliki persyaratan kualitas yang ketat. Buruknya kontrol kualitas buah merupakan kendala dalam kegiatan ekspor. Hal ini karena beberapa eksportir masih menggunakan proses penyortiran manual, bergantung pada keterampilan pekerja sehingga batas standar kualitas yang ditentukan bervariasi sesuai dengan persepsi pekerja. Oleh karena itu, memerlukan sistem cerdas yang mampu menyortir secara otomatis sesuai dengan standar yang ditetapkan. Dalam penelitian ini, kami mengusulkan sistem yang dapat mengklasifikasikan cacat buah secara otomatis. Kami mengusulkan metode Deep Learning menggunakan arsitektur Faster R-CNN (FRCNN) untuk mendeteksi tingkat cacat pada permukaan buah. Ada tiga jenis buah yang kami teliti, yaitu mangga (harum manis), jeruk nipis, dan buah pitaya. Setiap buah dibagi menjadi tiga kategori (i) Super, (ii) menengah, (iii) dan cacat buah. Kami memanfaatkan join detection dan video tracking untuk menghitung dan menentukan kualitas buah secara real-time. Kumpulan data diambil di area lapangan kemudian dilatih menggunakan FRCNN Framework menggunakan platform Tensorflow. Kami menunjukkan bahwa sistem ini dapat mengklasifikasikan buah dengan tingkat akurasi mangga 88%, limau 83%, dan pitaya 99% dengan computation cost rata-rata 0,0131 m / s. Kita dapat melacak dan menghitung buah secara berurutan tanpa menggunakan sensor tambahan dan membuatnya lebih mudah untuk memeriksa tingkat cacat pada buah secara akurat menggunakan kamera streaming video.