Dalam rangka memfasilitasi pemerataan pembangunan dan penunjang transportasi darat, jalan raya merupakan komponen infrastruktur yang sangat penting. Jumlah dan teknologi ransportasi darat terus berkembang, dan agar teknologi transportasi tersebut dapat didukung, jalan juga harus selalu dalam kondisi baik. Menurut data Kepolisian, di Indonesia, rata rata 3 orang meninggal setiap jam akibat kecelakaan jalan. Data tersebut juga menyatakan bahwa besarnya jumlah kecelakaan tersebut disebabkan oleh beberapa hal, yaitu 61 persen kecelakaan disebabkan oleh faktor manusia yaitu yang terkait dengan kemampuan serta karakter pengemudi, 9 persen disebabkan karena faktor kendaraan yang terkait dengan pemenuhan persyaratan teknik laik jalan dan 30 persen disebabkan oleh faktor prasarana dan lingkungan. Sehingga, semakin tinggi jumlah kerusakan jalan, kemungkinan kecelakaan lalu lintas akibat kerusakan jalan juga meningkat. Melalui Dinas Pekerjaan Umum, pemerintah telah berupaya melakukan survei pemeliharaan jalan. Namun demikian, survei tersebut masih dilakukan secara manual sehingga membuang biaya, waktu, dan tenaga. Teknik untuk survei kerusakan jalan telah dikembangkan dengan berbagai cara, antara lain pengolahan citra dengan teknologi deep learning, akselerometer, dan aplikasi mobile. Penelitian ini membuat sistem klasifikasi kerusakan jalan yang menggabungkan metode YOLO dan Deep Learning Convolutional Neural Network untuk pengolahan citra. Jetson Nano digunakan sebagai single board computer untuk menjalankan sistem ini. Pembuatan bounding box secara real time pada kerusakan jalan, seperti bayangan, lubang, retakan memanjang, dan retakan buaya, akan dihasilkan oleh model YOLO. Model yang digunakan adalah optimizer Adam dengan batch size 8 yang telah dikuantisasi. Model ini terbukti paling optimal dan diharapkan teknologi ini akan meningkatkan efisiensi pemerintah dalam proses klasifikasi dan pemeliharaan kerusakan jalan secara otomatis.