Penelitian ini mengusulkan sebuah sistem untuk membantu tim Search and Rescue (SAR) dalam memprediksi arah hanyut objek terapung di sungai menggunakan algoritma Mask R-CNN. Dengan memanfaatkan data video yang diambil dari drone, sistem ini melakukan deteksi objek untuk mengidentifikasi orang yang terbawa arus dalam setiap frame video serta mengekstrak lokasi geografisnya melalui metadata GPS yang tertanam. Posisi hasil deteksi kemudian divisualisasikan menggunakan peta Leaflet untuk pelacakan interaktif. Implementasi sistem berbasis pembelajaran mendalam ini menunjukkan tingkat kepercayaan deteksi rata-rata di atas 90%, terutama setelah dilakukan penyesuaian model Mask R-CNN dengan dataset khusus. Antarmuka berbasis web yang dikembangkan memungkinkan pengguna untuk mengunggah rekaman drone dan memvisualisasikan hasil prediksi secara efisien. Sistem ini diharapkan dapat meningkatkan efektivitas operasi SAR dengan menyediakan prediksi arah hanyut yang akurat dan real-time, terutama di lingkungan sungai dengan variasi elevasi ekstrem.