Jalan merupakan prasarana transportasi darat yang berperan penting dalam pengembangan potensi suatu wilayah, sehingga banyak aktivitas lalu lintas tempat kendaraan. Kondisi jalan di Indonesia khususnya di kota Surabaya dan sekitarnya sering mengalami kerusakan pada saat musim hujan. Jika kondisi tersebut tidak segera diperbaiki maka dapat merugikan pengguna jalan seperti mengganggu kenyamanan dalam berkendara dan biasanya sampai terjadi kecelakaan lalu lintas. Pada penelitian ini akan membahas tentang pendeteksian jalan berlubang yang memanfaatkan metode Faster R-CNN. Pengumpulan data kondisi jalan berlubang memanfaatkan Camera Jetson Nano dan juga Raspberry pi 4 memori 4GB untuk memproses data-data yang diambil dari kamera serta GPS NEO M8N untuk pengambilan data lokasi jalan berlubang. Yang mana data yang telah diproses ini akan dikirim ke server database MySQL menggunakan protokol HTTP. Hasil dari pengiriman data tersebut akan terhubung dengan Website, yang mana Website ini merupakan salah satu bentuk solusi untuk memberi informasi kepada pengguna jalan mengenai jalan berlubang. Dari hasil training ini terlihat bahwa sistem yang dibuat ini, dapat menghasilkan nilai mAP dan recall terbaik yaitu pada batch size 1 yang bernilai 0.000139 untuk mAP dan 0.032895 untuk recall dalam membandingkan objek yang terdeteksi atau belum terdeteksi. Dengan model Faster R-CNN pada Raspberry pi ini membutuhkan waktu 15 detik hingga 20 detik untuk proses perpindahan dalam proses pendeteksian yang memungkinan keakuratan GPS bergantung pada saat pendeteksian. Dengan itu juga pengguna yang mengakses website ini juga perlu pertimbangan dikarenakan saat pengguna sebanyak 400 dengan loop count sebesar 3 kali mendapatkan error sebesar 17.5 %.