Lalu lintas memiliki peran penting dalam membangun suatu wilayah. Perencanaan dan perbaikan kondisi lalu lintas diperlukan untuk mengatasi dampak yang ditimbulkan oleh permasalahan lalu lintas tersebut. Proses perencanaan transportasi lalu lintas kendaraan di jalan raya dapat dirancang melalui data Lalu Lintas Harian Rata-Rata (LHR). Lalu lintas harian rata-rata adalah volume lalu lintas rata-rata dalam satu hari. Penelitian ini membuat sistem deteksi, klasifikasi, dan perhitungan kendaraan yang muncul sehingga memudahkan dalam proses pengambilan dan perhitungan data Lalu Lintas Harian Rata-Rata (LHR) dengan memanfaatkan teknologi deep learning. Rancangan sistem klasifikasi dibuat menggunakan arsitektur Visual Geometry Group (VGG) untuk deteksi objek kendaraan. Hasil data yang diberikan berupa klasifikasi 8 jenis kendaraan dan perhitungan jumlah kendaraan yang diamati. Hasil pengujian dan validasi perhitungan kendaraan menghasilkan persentase klasifikasi sistem sebesar 26% dari nilai kendaraan sesungguhnya. Hasil pengujian klasifikasi memberikan nilai loss dan akurasi. Nilai loss terkecil 0.39 dengan parameter learning rate 0.000001, batch size sebesar 8 dan 100 epoch. Sedangkan nilai akurasi yang tinggi diperoleh pada hasil data dengan parameter learning rate 0.0001 yaitu 0.82 untuk akurasi bounding box pada batch size sebesar 2 dengan 100 epoch dan akurasi 0.87 untuk nilai akurasi kelas label pada batch size sebesar 2 dengan 150 epoch. Skenario yang mendekati model ideal dihasilkan oleh data dengan learning rate 0.0000001 karena probabilitas kecil adanya overfitting pada data tersebut.