Home monitoring system based on sound event detection for the hard-of-hearing

Gee Yeun Kim; Seung-Su Shin; Hyoung-Gook Kim

doi:10.7776/ASK.2019.38.4.427

All Issue

2019 Vol.38, Issue 4 Preview Page Next Page

Research Article

Home monitoring system based on sound event detection for the hard-of-hearing 청각장애인을 위한 사운드 이벤트 검출 기반 홈 모니터링 시스템

31 July 2019. pp. 427-432

PDF XML

Abstract

In this paper, we propose a home monitoring system using sound event detection based on a bidirectional gated recurrent neural network for the hard-of-hearing. First, in the proposed system, packet loss concealment is used to recover a lost signal captured through wireless sensor networks, and reliable channels are selected using multi-channel cross correlation coefficient for effective sound event detection. The detected sound event is converted into the text and haptic signal through a harmonic/percussive sound source separation method to be provided to hearing impaired people. Experimental results show that the performance of the proposed sound event detection method is superior to the conventional methods and the sound can be expressed into detailed haptic signal using the source separation.

Keywords

Home monitoring

Sound event detection

Bidirectional gated recurrent neural network

Sound-to-haptic conversion

본 논문에서는 청각장애인을 위해 양방향 게이트 순환 신경망을 이용한 사운드 이벤트 검출 기반의 홈 모니터링 시스템을 제안한다. 제안된 시스템에서는 우선적으로 효과적인 사운드 이벤트 검출을 위해 패킷손실 은닉을 이용하여 무선 센서 네트워크로 인해 손실된 신호를 복원하고, 멀티채널 상호 상관관계 계수를 이용하여 신뢰할 수 있는 채널을 선택한다. 선택된 채널의 사운드는 이벤트 검출을 위해 두 개의 오디오 채널을 사용하는 양방향 게이트 순환 신경망에 적용된다. 검출된 사운드 이벤트는 텍스트로 변환되며, 이와 함께 하모닉/퍼커시브 음원 분리 방식을 통해 햅틱 신호로 변환되어 청각장애인에게 제공된다. 실험결과는 제안한 사운드 검출기반의 성능이 기존 방식보다 더 우수하다는 것과 음원 분리 방식을 통해 사운드를 세밀한 햅틱 신호로 표현할 수 있음을 보인다.

키워드

홈 모니터링

사운드 이벤트 검출

양방향 게이트 순환 신경망

사운드 햅틱 변환

References

M. Zöhrer and F. Pernkopf, "Gated recurrent networks applied to acoustic scene classification and acoustic event detection," Proc. Detection and Classification of Acoustic Scenes and Events 2016, 1-5 (2016).

B. H. Kim, H.-G. Kim, J. Jeong, and J. Y. Kim, "VoIP receiver-based adaptive playout scheduling and packet loss concealment technique," IEEE Trans. Consum. Electron., 59, 250-258 (2013).

10.1109/TCE.2013.6490267

K. Kumatani, J. McDonough, J. F. Lehman, and B. Raj, "Channel selection based on multichannel cross- correlation coefficients for distant speech recognition," Proc. Joint Workshop Hands-free Speech Commun. Microphone Arrays, 1-6 (2011).

10.1109/HSCMA.2011.5942398

D. Pavlidi, A. Griffin, M. Puigt, and A. Mouchtaris, "Real-time multiple sound source localization and counting using a circular microphone array," IEEE Trans. Audio, Speech, Lang. Process., 21, 2193-2206 (2013).

10.1109/TASL.2013.2272524

R. Lu and Z. Duan, "Bidirectional GRU for sound event detection," Proc. Detection and Classification of Acoustic Scenes and Events 2017, 1-4 (2017).

A. Mesaros, T. Heittola, and T. Virtanen, "TUT database for acoustic scene classification and sound event detection," Proc. 24th Eur. Signal Process. Conf., 1128-1132 (2016).

10.1109/EUSIPCO.2016.7760424

A. Liutkus, D. Fitzgerald, Z. Rafii, B. Pardo, and L. Daudet, "Kernel additive models for source separation," IEEE Trans. Signal Process., 62, 4298-4310 (2014).

10.1109/TSP.2014.2332434

Information

Publisher :The Acoustical Society of Korea
Publisher(Ko) :한국음향학회
Journal Title :The Journal of the Acoustical Society of Korea
Journal Title(Ko) :한국음향학회지
Volume : 38
No :4
Pages :427-432
Received Date : 2019-02-21
Revised Date : 2019-04-19
Accepted Date : 2019-04-30
DOI :https://doi.org/10.7776/ASK.2019.38.4.427

The Journal of the Acoustical Society of Korea ISSN:1225-4428(Print) 2287-3775(Online) 한국음향학회지

All Issue