Botnet merupakan malicious software yang sering terjadi saat ini, dan dapat melakukan aktivitas berbahaya, seperti DDoS, spamming, phishing, keylogging, clickfraud, mencuri informasi pribadi and data penting. Botnet dapat mereplikasi diri tanpa sepengetahuan user. Beberapa sistem untuk mendeteksi botnet telah dilakukan menggunakan metode klasifikasi. Metode klasifikasi memiliki presisi tinggi, namun sayangnya membutuhkan usaha lebih dalam membuat model dan menyelesaikan masalah klasifikasi. Pada makalah ini, kami mengajukan metode On-line Clustering menggunakan Reinforcement Learning untuk mendeteksi botnet. Reinforcement Learning yang berinteraksi dengan lingkungan menjadi paradigma baru dalam machine learning. Metode reinforcement learning akan diimplementasikan dengan rule pendeteksi, karena dataset botnet ISCX merupakan dataset unbalanced yang memiliki perbedaan jumlah kelas data yang cukup jauh. Sehingga kami menginplementasikan Reinforcement Learning untuk mendeteksi Botnet menggunakan Pursuit Reinforcement Competitive Learning (PRCL) yang memiliki reward dan punishment dengan menambahkan rule pendeteksi untuk mencapai solusi. Berdasarkan hasil eksperimen, PRCL dapat mendeteksi botnet secara real time dengan akurasi tinggi (100% untuk Neris, 99.9% untuk Rbot, 78% untuk SMTP_Spam, 80.9% untuk Nsis, 80.7% untuk Virut, dan 96.0% untuk Zeus) dan kecepatan tinggi (158 ms). Metode yang diajukan dapat membantu administrator jaringan dalam mendeteksi botnet yang memiliki sifat tidak bisa diprediksi di dalam jaringan.