Pengenalan aktivitas manusia merupakan sebuah sistem yang mampu mengenali aktivitas aktivitas manusia melalui sensor dan algoritma pemrosesan data. Telah banyak penellitian dilakukan menggunakan wearable sensor seperti gyroscope dan accelerometer, namun pendekatan tersebut dapat mengganggu kenyamanan pengguna. Alternatif lain menggunakan sensor kamera seperi kinect v2 telah dikembangkan, namun sebagian besar masih menggunakan pendekatan single classifier yang rentan terhadap keambiguan data. Pada proyek akhir ini, digunakan sensor kinect v2 untuk mengambil data gambar RGB Depth dan mendeteksi posisi joint guna menghasilkan koordinat 3D. Data tersebut kemudian diproses melalui konversi ke koordinat dunia nyata, perhitungan sudut skeletal berdasarkan proyeksi vektor euclidean, serta translasi joint referensi terhadap titik pusat tubuh. Fitur hasil ekstraksi dilatih menggunakan algoritma Support Vector Machine, Artificial Neural Network, dan Decision Tree untuk membentuk model klasifikasi. Selanjutnya, dilakukan klasifikasi aktivitas manusia menggunakan pendekatan ensemble learning untuk menggabungkan keunggulan dari ketiga model tersebut. Sistem ini diharapkan dapat diterapkan pada robot sosial sebagai robot pendamping yang mampu mengenali aktivitas penggunanya dan memberikan respons yang sesuai. Sistem yang dikembangkan mampu melakukan translasi joint reference dan perhitungan sudut skeletal dengan rata rata selisih 0.013 meter dan 2.25 derajat. Sistem serta menghaslikan model pengenalan aktivitas dengan akurasi 70 persen untuk SVM, 73.49 persen untuk DTree, dan 76.59 persen untuk ANN. Pendekatan ensemble learning soft voting memberikan performa terbaik dengan akurasi keseluruhan mencapai 78.69 persen, sedangkan hard voting bernilai 77.46 persen dan weighted voting bernilai 78.36 persen.