Tambak merupakan salah satu media budidaya yang memanfaatkan kondisi alam dalam melakukan pemeliharaan. Pengambilan data hasil panen umumnya masih menggunakan metode tradisional termasuk pencatatan hasil panen. Adanya teknologi yang efisien untuk pengambilan data ini dapat membantu petani tambak menyelesaikan proses panen dengan cepat dan tepat. Penelitian ini bertujuan untuk membuat sistem deteksi jenis panen menggunakan metode Faster R-CNN yang mampu melakukan deteksi secara live dengan cukup cepat dan tingkat akurasi yang tinggi. Selain itu juga dilakukan pengambilan data pada berat sampel dari hasil panen menggunakan sensor load cell. Kemudian data data ini dikirim menuju ke database yang terintegrasi dengan sistem Smart Fishery Village. Hasil dari penelitian ini adalah akurasi terbaik pada proses deteksi didapatkan pada model dengan 1098 dataset dan 5000 step dengan kondisi pencahayaan 1256 lux, jarak kamera 30 cm, dan sudut kamera 30º. Akurasi yang dihasilkan dari model dan konfigurasi tersebut sebesar 72%-97%. Sedangkan untuk penggunaan ideal load cell digunakan pada pengukuran benda dengan berat diatas 2 kg.