Kurangnya kesadaran akan ketaatan terhadap peraturan lalu lintas kerap kali menjadi pemicu terhadap terjadinya pelanggaran lalu lintas, pada lampu lalu lintas sering terjadi pelanggaran – pelanggaran terhadap marka – marka yang dilakukan secara sengaja oleh para pengguna jalan. Dalam proyek akhir ini, dibuat sebuah sistem penjagaan yang dapat mendeteksi pelanggaran yang terjadi pada lalu lintas. Pelanggaran yang dideteksi adalah pelanggaran – pelanggaran yang terjadi pada lampu lalu lintas. Pelanggaran dibagi menjadi dua, yaitu pelanggaran saat lampu merah menyala dan pelanggaran saat lampu hijau menyala. Untuk pelanggaran saat lampu merah gambar yang diambil diproses dengan menggunakan metode frame difference untuk melakukan segmentasi, kemudian dilanjutkan dengan proses noise reduction, dan proses violation detection. Untuk pelanggaran pada saat lampu hijau dilakukan harris corner detection untuk pengambilan fitur, dan optical flow untuk mengetahui posisi objek pada frame kedepan. Pelanggaran yang terjadi pada saat lampu merah menyala dan lampu hijau menyala telah dapat terdeteksi. Setelah dilakukan percobaan menggunakan 10 video yang menggambarkan kondisi lampu merah dan 10 video yang menggambarkan kondisi lampu hijau, sistem dapat mencapai tingkat keakuratan sebesar 85,83% untuk mendeteksi objek yang melanggar pada saat lampu merah menyala dan 96,67% untuk pelanggaran pada saat lampu hijau menyala.