Prediksi Emosi Penonton Konser Berbasis AI: Sebelum dan Sesudah Pengalaman Musik: Penelitian

Muhammad Jomantara; Lila Setiyani; Deden Moch Alfiansyah; Devi Fajar Wati; Dedih; Arif Budimansyah Purba

doi:10.31004/jerkin.v4i4.6643

Authors

Muhammad Jomantara Universitas Horizon Indonesia
Lila Setiyani Universitas Horizon Indonesia
Deden Moch Alfiansyah Universitas Horizon Indonesia
Devi Fajar Wati Universitas Horizon Indonesia
Dedih Universitas Horizon Indonesia
Arif Budimansyah Purba Universitas Horizon Indonesia

DOI:

https://doi.org/10.31004/jerkin.v4i4.6643

Keywords:

Deep Learning, Konsentrasi Manusia, EEG, Multimodal Learning, Monitoring Kognitif

Abstract

Emosi penonton konser merupakan aspek psikologis penting yang memengaruhi kualitas pengalaman hiburan, keterlibatan audiens, dan kepuasan individu dalam menikmati pertunjukan musik secara langsung. Namun, dinamika emosi penonton cenderung berubah secara cepat dipengaruhi oleh suasana acara, performa musisi, interaksi sosial, dan pengalaman personal selama konser berlangsung. Penelitian ini bertujuan mengembangkan model deep learning multimodal untuk menganalisis emosi penonton konser menggunakan data visual dan perilaku audiens. Pendekatan yang diusulkan mengintegrasikan data ekspresi wajah, perilaku penonton, dan interaksi digital untuk meningkatkan akurasi analisis emosi. Arsitektur hybrid Convolutional Neural Network (CNN) dan Bidirectional Long Short-Term Memory (BiLSTM) digunakan untuk menangkap pola spasial dan temporal dari data multimodal. Model dirancang untuk melakukan analisis emosi secara real-time serta mengidentifikasi perubahan emosional pada lingkungan dinamis seperti konser musik langsung, festival, dan pertunjukan hiburan digital. Metode penelitian meliputi pengumpulan data menggunakan sensor kamera, pra-pemrosesan data, pengembangan model, dan evaluasi performa menggunakan metrik accuracy, precision, recall, F1-score, dan RMSE. Hasil akhir penelitian berupa model deep learning multimodal yang mampu menganalisis emosi penonton konser secara lebih adaptif dibandingkan pendekatan unimodal.

References

Baltrusaitis, T., Ahuja, C., & Morency, L. P. (2019). Multimodal Machine Learning: A Survey and Taxonomy. IEEE Transactions on Pattern Analysis and Machine Intelligence, 41(2), 423–443.

Cambria, E. (2016). Affective Computing and Sentiment Analysis. IEEE Intelligent Systems, 31(2), 102–107.

Ekman, P. (1992). An Argument for Basic Emotions. Cognition and Emotion, 6(3–4), 169–200.

Fasel, B., & Luettin, J. (2003). Automatic Facial Expression Analysis: A Survey. Pattern Recognition, 36(1), 259–275.

Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. Cambridge: MIT Press.

Hochreiter, S., & Schmidhuber, J. (1997). Long Short-Term Memory. Neural Computation, 9(8), 1735–1780.

Juslin, P. N., & Sloboda, J. A. (2010). Handbook of Music and Emotion: Theory, Research, Applications. Oxford University Press.

Krizhevsky, A., Sutskever, I., & Hinton, G. E. (2012). ImageNet Classification with Deep Convolutional Neural Networks. Advances in Neural Information Processing Systems, 25, 1097–1105.

LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep Learning. Nature, 521(7553), 436–444.

Ngiam, J., Khosla, A., Kim, M., Nam, J., Lee, H., & Ng, A. Y. (2011). Multimodal Deep Learning. Proceedings of the 28th International Conference on Machine Learning, 689–696.

Picard, R. W. (2000). Affective Computing. MIT Press.

Poria, S., Cambria, E., Bajpai, R., & Hussain, A. (2017). A Review of Affective Computing: From Unimodal Analysis to Multimodal Fusion. Information Fusion, 37, 98–125.