Indonesia berada pada wilayah rawan gempa bumi sehingga proses asesmen awal pascagempa perlu dilakukan secara cepat objektif terukur dan aman. Proyek akhir ini mengembangkan sistem Portable Structural Health Monitoring untuk membantu asesmen awal kerusakan dinding hunian setelah gempa bumi. Sistem dirancang menggunakan arsitektur dual node yang terdiri atas ESP32 MPU6050 sebagai node sensor getaran dan RaspberryPi Camera sebagai node pemrosesan utama. Cabang visual menggunakan model CNN BiLSTM dengan backbone EfficientNetB0 BiLSTM untuk mengklasifikasikan citra dinding ke dalam kelas tidak retak retak ringan dan retak berat. Model visual terbaik memperoleh akurasi sebesar 97.83 persen dan digunakan sebagai feature extractor untuk menghasilkan latent vector visual 128 dimensi. Cabang sensor merangkum data percepatan dari MPU6050 menjadi tiga fitur getaran yaitu pga peak g rms g dan crest. Kebaruan utama penelitian ini terletak pada penerapan feature level multimodal fusion yaitu penggabungan 128 fitur visual dan 3 fitur sensor menjadi vektor fusi 131 dimensi. Vektor tersebut diklasifikasikan menggunakan Random Forest untuk menghasilkan tiga status operasional yaitu Aman Waspada dan Bahaya. Dataset fusi dibentuk melalui proses pairing berbasis sample id relabeling menggunakan multimodal decision matrix oversampling dan pelatihan Random Forest. Hasil evaluasi menunjukkan bahwa model multimodal fusion memperoleh accuracy F1 macro dan F1 weighted sebesar 0.9770 lebih tinggi dibandingkan visual only sebesar 0.8621 dan sensor only sebesar 0.9195. Model juga memperoleh Out of Bag Score sebesar 0.9768. Sistem diimplementasikan secara edge pada Raspberry Pi dengan komunikasi MQTT tampilan HMI dan dashboard monitoring lokal berbasis Streamlit. Dashboard menampilkan hasil asesmen data sensor probabilitas kelas log inferensi dan riwayat gambar secara lokal. Dengan demikian sistem yang dikembangkan dapat mendukung asesmen awal pascagempa melalui penggabungan informasi kerusakan visual dan respons getaran dalam satu keputusan operasional.