Jalan merupakan salah satu bentuk infrastruktur penting untuk menunjang transportasi darat serta mendukung pemerataan pembangunan. Seiring meningkatnya moda transportasi darat dari segi kuantitas maupun teknologi yang digunakan, maka kondisi jalan juga harus selalu dalam keadaan baik agar dapat menunjang teknologi transportasi tersebut. Berdasarkan data kecelakaan Dit Lantas Polda Metro Jaya periode 2021 kerugian yang dialami pengendara akibat kecelakaan mencapai Rp 1.062.600.000. Banyak kasus diantaranya diakibatkan oleh kerusakan jalan. Sehingga, semakin tinggi jumlah kerusakan jalan, kemungkinan kecelakaan lalu lintas akibat kerusakan jalan juga meningkat. Pemerintah telah berupaya melakukan survei perawatan jalan tersebut melalui Dinas Pekerjaan Umum. Namun, survei tersebut masih dilakukan secara manual yang tidak efektif dari segi waktu, biaya, dan tenaga. Pada penelitian ini dibuat sebuah sistem klasifikasi kerusakan jalan berbasis Image Processing menggunakan Deep Learning Convolutional Neural Network dengan metode RetinaNet pada single board computer. Sistem ini akan diuji menggunakan Jetson Nano sebagai single board computer sehingga dapat dipasang pada kendaraan untuk deteksi kerusakan jalan secara real time. Sistem ini diharapkan dapat membantu kinerja pemerintah atau dinas terkait dalam proses klasifikasi dan pemeliharaan kerusakan ruas jalan secara otomatis. Hasil dari pengujian model RetinaNet dengan mengubah hyperparameter, menghasilkan nilai mAP paling optimal yaitu 0.402, batch size 4 dan total loss sebesar 0.465 dengan mengunakan number step 50.000 menggunakan adam optimizer. Performa model RetinaNet 152 pada Jetson orin.