Jumlah kendaraan yang semakin banyak setiap tahunnya, berpengaruh terhadap kondisi jalan dan lalu lintas. Meningkatnya volume kendaraan yang melintas di jalan, berpotensi menyebabkan kemacetan, kecelakaan lalu lintas, hingga kerusakan jalan. Untuk melakukan perbaikan dan pemeliharaan kondisi jalan oleh Dinas Pekerjanaan Umum Kabupaten Gresik, perlu banyak pertimbangan dan data yang akan dianalisa, salah satunya adalah data LHR (Lalu Lintas Harian Rata-Rata). Pada penelitian ini akan melakukan klasifikasi dan perhitungan jumlah kendaraan dengan menggunakan Framework Convolutional Neural Network dengan arsitektur Residual Network. Pengumpulan data jumlah kendaraan menggunakan kamera yang terhubung dengan Jetson Nano. Data jumlah kendaraan yang didapatkan dari kamera kemudian diproses menjadi data jumlah kendaraan untuk sistem LHR. Dapat dilihat dari hasil pengujian, bahwa sistem yang dibuat ini memiliki nilai akurasi yang masih rendah dalam mendeteksi objek berupa kendaraan. Sistem yang terbaik menggunakan parameter batch size 2 dan learning rate 0.00002. Hasil dari sistem tersebut yaitu sampel video dengan tiga score threshold yang berbeda. Hasil terbaik pada sampel video dengan score threshold 0.4 yang memiliki nilai True Positive paling tinggi yaitu 7.76%, nilai False Negative paling rendah yaitu 84.46%. Namun nilai False Positive pada sampel video ini juga memiliki nilai yang paling tinggi yaitu 4.85%. Dengan sistem klasifikasi dan perhitungan jumlah kendaraan yang memanfaatkan metode Residual Network pada Jetson Nano, diharapkan dapat membantu memberikan informasi rata-rata jumlah kendaraan untuk sistem LHR yang dibutuhkan oleh pihak yang berwenang yaitu Dinas Pekerjaan Umum sebagai bahan analisa untuk perbaikan dan pemeliharaan jalan.