PENERAPAN MULTI KAMERA DENGAN MULTI VIEW TEMPORAL FUSION PADA PENGENALAN AKTIVITAS LANSIA UNTUK PENANGANAN OKLUSI
ABSTRAK
Peningkatan populasi lansia di Indonesia meningkatkan kebutuhan terhadap sistem pemantauan aktivitas, khususnya untuk mengenali kejadian jatuh. Sistem berbasis kamera tunggal dapat mengalami penurunan performa ketika tubuh subjek terhalang objek atau tidak terlihat secara lengkap dari satu sudut pandang. Proyek akhir ini mengembangkan sistem pengenalan aktivitas lansia berbasis dua kamera menggunakan pendekatan multi-view temporal fusion untuk mengurangi pengaruh oklusi dan perbedaan sudut pandang. Setiap aliran video diproses menggunakan MediaPipe Pose untuk mengekstraksi 33 titik landmark tubuh dalam koordinat (x), (y), dan (z). Data skeleton dibentuk menjadi urutan sepanjang 60 frame, kemudian diproses menggunakan Spatio-Temporal Graph Convolutional Network (ST-GCN). Dua konfigurasi fusi dibandingkan, yaitu decision-level fusion menggunakan maximum-confidence fusion dan feature-level fusion menggunakan operasi concatenation. Model dilatih menggunakan 11 kelas aktivitas. Tiga kelas arah jatuh digabungkan pada tahap keluaran menjadi satu kelas falling, sehingga sistem menghasilkan 9 kelas. Pada evaluasi internal terhadap 3.040 window, feature-level fusion memperoleh accuracy 94,44% dan macro F1-score 92,57%, sedangkan decision-level fusion memperoleh accuracy 94,14% dan macro F1-score 91,93%. Pada pengujian 444 pasangan rekaman independen atau video di luar dataset dengan total 6.221 window, decision-level fusion memperoleh accuracy 86,66%, macro F1-score 80,99%, dan weighted F1-score 86,75%. Feature-level fusion memperoleh accuracy 84,65%, macro F1-score 77,13%, dan weighted F1-score 85,05%. Nilai recall kelas falling pada decision-level fusion sebesar 69,52%, sehingga peningkatan variasi data dan optimasi model masih diperlukan untuk meningkatkan deteksi jatuh pada data independen.
[DOWNLOAD ABSTRACT]Kategori
D3 Teknik ElektronikaD3 Teknik Telekomunikasi
D3 Teknik Elektro Industri
D3 Teknik Informatika
D3 Teknologi Multimedia Broadcasting
D4 Teknik Elektronika
D4 Teknik Telekomunikasi
D4 Teknik Elektro Industri
D4 Teknik Informatika
D4 Teknik Mekatronika
D4 Teknik Komputer
D4 Teknik Teknologi Game
S2 Teknik Elektro
S2 Teknik Informatika dan Komputer