I. 서 론
기계에서 사람으로의 정보 전달은 주로 사람의 시각과 청각을 이용해왔다. 그러나 시각으로 전달할 수 없는 경우 촉각을 이용한 정보 전달에 대한 연구가 있었다.[1],[2],[3],[4],[5],[6] 촉각을 이용하는 경우 사람의 피부에 직접적으로 압력에 의한 누름이나 기계적인 진동을 전달하여 신호를 인지할 수 있도록 하는 방법이며, 기계적인 힘은 솔레노이드 혹은 액추에이터를 이용하여 발생시켰다. 이러한 방법은 시각장애인에게 문자 인식이나 주위 환경 인식을 위한 장치로서 연구가 이루어지고 있으며, 스마트폰에서도 진동을 이용한 정보 전달 방법은 널리 사용되고 있다. 이 때 진동을 만들어 내는 방법으로 스피커, 편심모터, 압전소자 등이 사용될 수 있지만 발생시킬 수 있는 정보의 패턴이 매우 제한적이다.[7],[8],[9]
최근에는 사람의 피부에 기계적인 구동부를 직접 부착하지 않고 초음파의 방사힘을 이용한 힘을 간접적으로 피부에 전달함으로써 정보를 전달하는 방법에 대한 연구가 있었다.[10],[11],[12],[13] 고출력의 초음파 음장은 방사힘에 의한 힘을 발생시킨다. 이러한 힘을 사람의 피부에 전달함으로써 기계가 사람에게 정보를 전단하는 매개로 사용될 수 있다. 이러한 용도로 사용되는 초음파는 수십 kHz에서 수 MHz 대역의 주파수를 사용한다. 수 MHz 대역의 초음파는 공기 중에 전달이 어려우므로 초음파 트랜스듀서를 직접 피부에 접촉시켜서 방사힘을 전달하며 mm 단위의 공간 해상도를 가지므로 좀 더 많은 공간 정보를 전달 할 수 있다. 따라서 다수의 초음파 송신자를 배열 형태로 구성하여 접촉면적을 넓히면서, 각각의 송신자의 초음파 신호를 변조함으로써 물체 표면의 거칠기와 같은 텍스처 정보를 전달하는 데 유용하다.[14],[15] 수십 kHz 대역의 초음파는 공기 중에서 전달되므로 다른 기계적인 매개체 없이 사람의 피부에 직접 힘을 인가하여 촉각으로 인식할 수 있다. 이러한 방법으로 시각과 청각을 보완 혹은 대체할 수 있는 정보를 3차원의 가상 물체를 허공에 형성시킬 수 있다. 최근에는 2차원 배열 초음파 트랜스듀서를 사용하여 초음파 음장을 임의로 제어함으로써, 3차원 공간에 촉각으로 인식할 수 있는 다양한 입체적인 패턴의 가상물체를 만들어 내는 방법으로 응용하고 있다.[10],[11],[12],[13]
본 논문은 40 kHz의 집속된 초음파를 이용하여 공기 중의 3차원 공간에 음향 방사힘을 형성시켰다. 초음파의 출력을 증가시키기 위하여 최대 154개의 소형 송신자를 묶어서 사용하였고, 촉각의 민감도를 증가시키기 위하여 초음파를 진폭 변조하여 송신하였다. 구현한 초음파 송신 시스템의 방사힘을 공간의 위치 정보를 촉각을 이용하여 전달하는 방법으로 사용하였고, 방사힘이 발생하는 공간상에서 손가락의 정보를 기계에 피드백함으로써 초음파를 이용한 촉각의 유용성을 확인하였다.
II. 초음파 복사력
고출력의 초음파가 균일한 매질의 유체 안에서 진행할 때 비선형 효과로 인하여 유체의 흐름이 발생하며 이를 음향 흐름이라고 한다.[16] 이러한 음향 흐름에 의한 힘의 크기 F는
| $$F=\frac{2\alpha I}c$$ | (1) |
로 되며 여기서 c는 음속도(m/s), α는 매질에서의 흡수도(dB/cm/MHz)이며 매질에 따라 1과 2 사이의 값을 가지며, I는 음파의 평균 세기(W/m2)이다.
음향 임피던스가 다른 매질의 경계에서 초음파가 진행하면 경계에서 반사와 투과가 일어난다. 이때에도 에너지 밀도 차이에 의하여 경계에서 밀어내는 음향 방사힘을 발생시킨다. 음향 임피던스가 다른 두 개의 균일한 매질이 인접해 있을 때, 매질 1에서 매질 2로 초음파가 진행할 때의 반사계수를 R이라고 하면
| $$R=\frac{Z_2-Z_1}{Z_2+Z_1}$$ | (2) |
으로 주어진다. 여기서 매질 1과 2의 음향 임피던스는 각각 Z1과 Z2이다. 음향 임피던스는 Z=ρc로 주어지며, ρ는 밀도, c는 음속도이다. 이때 매질의 경계에서 발생하는 순압력의 크기와 방향은
| $$P_{net}=E_1\left[1-\frac{c_1}{c_2}+R^2\left(1-\frac{c_1}{c_2}\right)\right]\cdot\widehat n$$ | (3) |
로 주어진다.[17] 매질 1에서의 에너지 밀도가 E1이며, 압력이 발생하는 방향 은 매질 1에서 매질 2로 진행하는 방향이다. 공기(매질 1) 중에서 인체 연조직(매질 2)으로 초음파가 진행하는 경우 c1=340m/s, c2=1540m/s, 음향 임피던스는 Z1=0.0004 MRayl, Z2=1.63 MRayl 정도 되므로 R≈ 0.999로 되어 대부분 반사된다.[13],[18]따라서 음압의 크기와 방향은 Pnet≈ 2E1· 이 되어 매질 1의 에너지 밀도의 두 배가 되는 압력으로 피부 방향으로 밀어내는 힘이 발생한다.[19] 이러한 원리를 이용하여 충분한 세기의 초음파를 공기 중에 방사하면 음파가 진행하는 방향으로 음향 흐름과 음향 방사힘이 형성되므로 피부에 촉감을 만들어 낼 수 있다.
III. 연구 방법
Fig. 1은 전체 시스템의 구조이다. 초음파의 송신 음압을 크게 하기 위하여 154개의 초음파 송신자를 오목한 형태로 배열시키고 한 점의 초점 깊이에 초음파를 집속시켰다.
40 kHz의 초음파는 공기 중에 큰 감쇠 없이 전달되므로 자동차 혹은 이동 로봇에서 거리 측정 등에 널리 사용된다. 따라서 작은 크기의 초음파 송신자를 쉽게 구할 수 있어 이를 사용하였다. 초음파의 공간상의 전달 특성을 확인하기 위하여 초음파의 음장을 컴퓨터 모사로 계산하였다.[20] Fig. 2는 40 kHz의 공진 주파수를 가지는 직경 12 mm의 디스크형 송신자에서 초음파를 송신할 때 공간상에 나타나는 음장의 분포이다. 공기 중에 진행하는 40 kHz의 초음파의 감쇠 계수는 1.318 dB/m를 적용하였다.[21] 송신자의 직경이 파장에 비하여 충분히 크지 않아서 초음파의 음장이 송신자의 바로 앞의 거리에서부터 회절에 의하여 퍼지기 시작하므로 초음파의 세기가 깊이에 따라 줄어든다.
Fig. 3은 기하학적인 초점 거리가 23.5 cm이며 직경이 24 cm가 되는 오목한 형태의 디스크 형태의 송신자에서 초음파를 송신할 때 공간상에 형성되는 초음파 음장의 상대적인 크기 분포를 나타내었다. 시뮬레이션을 간단히 하기 위하여 송신자는 배열 형태가 아닌 하나의 송신자로 가정하였다. Figs. 4와 5는 초점 근처에서 각각 축방향과 측방향 음장의 상대적인 크기를 비교하였다. 시뮬레이션에서 초점 근처의 최대 음장 크기에 대하여, 음장의 크기가 절반이 되는 FWHM(Full Width Half Maximum)이 측방향으로 11.6 mm이며 축방향으로 7.4 cm(음장 크기가 최대값의 절반으로 되는 깊이는 각각 17.1 cm과 24.5 cm임)로 나타난다. 초음파의 세기가 가장 커지는 깊이는 20.3 cm으로 나타난다.
IV. 실험 결과
실험에 사용한 초음파 송신자는 40 kHz의 주파수에서 공진하는 압전소자가 들어있는 직경 12 mm의 원통 구조이다. 데이터북에 의하면 송신 전압을 20 Vpp를 인가하면 0 dB = 0.0002 μbar를 기준으로 115 dB의 음압을 나타낸다. 초음파의 음향 방사힘의 유무와 특성을 확인하기 위하여 정밀 저울의 표면에 초음파를 송신하여 나타나는 등가질량 변화를 측정하였다.[22] 음향 파워 PWR은
| $$PWR=\frac{\triangle mgc}{1+R^2}\approx\frac{\triangle mgc}2$$ | (4) |
으로 구해지므로 음향 출력과 저울에 나타나는 등가질량 변화값 Δm은 비례한다.[23],[24],[25] 여기서 Δm은 저울에 송신 전후에 측정되는 등가질량의 변화값, g는 중력 가속도, c는 음속도, R은 반사계수이다. 저울 표면에 흡음재 없이 측정하였으므로 R≈ 1의 값을 가진다. 정밀저울을 이용하여 초음파 방사힘을 측정하여 초음파 출력을 측정하는 방법은 0.5 MHz ~ 25 MHz 정도의 의료용 초음파 송신자의 출력 측정에 널리 사용되고 있다.[26]그러나 40 kHz의 초음파는 회절 등에 의하여 송신자와 저울 표면 사이에 음장 패턴이 매우 복잡하고, 정상파의 발생 유무 등으로 인하여 정밀저울만으로 간단히 음향 출력을 측정할 수 없다. 따라서 초음파 출력의 정성적인 특성만 알 수 있다. Table 1에 정밀저울의 측정값을 정리하였다. 정밀저울 측정 실험에서 송신자의 개수를 늘려서 병렬로 연결하면 측정된 등가질량도 송신자의 개수와 비례하여 늘어나며, 송신자와 저울 사이의 거리가 멀수록 초음파 신호의 감쇠에 의하여 측정된 등가질량이 줄어드는 경향을 확인할 수 있었다. 한 개의 송신자에서 나오는 초음파 방사힘의 등가질량이 수 mg 정도 되었다. 손바닥에 수백 mg 정도의 물체를 떨어뜨렸을 때 무게를 촉감으로 감지할 수 있으므로, 실험 결과를 보면 수백 개의 송신자를 사용하여 집속을 하면 수백 mg 정도의 등가질량의 음향 방사힘을 얻을 수 있을 것으로 추정할 수 있다.
Table 1. Measurement of weight (mg) as a function of the number of ultrasound transmit elements and depth (cm).
| Depth | 1 element | 2 elements | 3 elements |
| 5 | 17.6 | 35.9 | 52.4 |
| 10 | 8.2 | 16.8 | 24.2 |
| 15 | 5.4 | 11.2 | 16.0 |
| 20 | 3.8 | 8.1 | 11.4 |
Fig. 6은 기하학적인 초점 깊이 23.5 cm의 아크릴 반구에 154개의 초음파 송신자를 붙여서 만든 배열 구조의 사진이다. 초음파 음향 출력을 내기 위하여 10개의 오디오용 D급 디지털 파워 증폭기를 사용하였고, 6개의 증폭기에는 각각 15개씩, 4개의 증폭기에는 각각 16개씩의 송신자를 병렬로 묶어서 연결시키고 송신자에 가해지는 신호의 전압은 20 Vpp가 되도록 하였다. 작은 송신자를 여러 개 묶어서 사용할 경우, 집속점에서 나타나는 음향 방사힘의 크기는 사용한 소자의 개수에 비례하여 커진다. Table 2는 배열소자의 개수에 따라 음향방사력의 크기를 비교하였다. 송신에 사용한 소자는 아크릴 반구의 중앙에 있는 것부터 사용하고 배열의 바깥쪽 방향으로 소자의 개수를 증가시켰고, 20.3 cm 깊이에 정밀 저울을 마주보고 배치하여 측정한 값이다. 154개 송신자에서 모두 송신한 경우 초점 깊이에서 760 mg의 등가질량으로 측정되었다. 촉감 실험에서는 10명의 피험자에게 촉감이 느껴지는지 관찰하였다. 오목한 구조의 기하학적인 초점 깊이는 23.5 cm이지만 송신기 표면으로부터 15 cm ~ 25 cm 깊이에서 음향 방사힘을 느낄 수 있었고, 가장 잘 느껴지는 깊이가 16 cm ~ 21 cm 정도에서 길게 나타났다. 이는 초점 근처의 초음파 음장이 시가(cigar) 형태의 모양으로 깊이 방향으로 길게 형성되며, 따라서 음향 흐름에 의하여 발생하는 공기의 흐름도 시가 형태로 형성되기 때문이다. 연속파를 송신했을 때, 송신자 개수에 따른 촉감의 정도는 아크릴 반구의 가운데에 있는 61개를 송신했을 때 민감한 피험자는 촉감을 느끼기 시작했으며, 덜 민감한 피험자의 경우에는 92개부터 느끼기 시작하고 123개에서는 모두 확실히 느낄 수 있었다.
Table 2. Measurement of weight (g) as a function of the number of ultrasound transmit elements at a depth of 20.3 cm.
| Number of elements | 30 | 61 | 92 | 123 | 154 |
| Weight | 0.11 | 0.19 | 0.35 | 0.48 | 0.76 |
초음파를 공기 중에 송신하면 공기의 흐름이 발생한다. Fig. 7은 초점 깊이에서 음향 흐름에 의하여 공기가 흐르므로 종이가 위로 밀리는 모습이다. 손바닥을 대면 바람 부는 것과 같은 감각을 느낄 수 있었다. 그리고 손을 고정하여 움직이지 않는 것보다 손을 공간에서 휘젓듯이 천천히 움직이면 촉감을 더 잘 느낄 수 있었다. 특히 음장의 축방향으로 손을 움직이면 촉감의 세기가 달라진다. 손을 공기의 흐름의 방향과 반대 방향으로 움직이면 촉감이 더 커지는데 이는 음향 흐름에 의한 공기의 흐름이 촉감을 일으키는 주요한 원인임을 알 수 있다. 피부에 직접 닿는 초음파도 방사힘을 발생시키므로, 이를 확인하기 위하여 초음파 송신기와 손의 피부 사이에 식품보관용 비닐 랩으로 막아서 음향 흐름을 제거하면 대부분의 피험자에게서 촉감의 크기가 거의 나타나지 않았다. 비닐 랩을 통과한 초음파의 세기는 많이 감쇠할 것으로 추정되지만 아주 민감한 피험자의 경우 비닐 랩을 통과한 초음파에 의한 미약한 촉감을 느낄 수 있었다. 따라서 초음파 송신자에 의한 촉감을 일으키는 요인이 음향 흐름과 음향 방사힘이 모두 작용하고 있음을 추정할 수 있다.
초음파가 공기 중을 진행하면 공기와 피부 사이의 음향 임피던스 차이에 의하여 주로 피부 표면에서 큰 음향 방사힘을 발생시킨다. 피부 표면에 가까운 촉각과 관련이 있는 수용기는 진동과 같이 변화하는 움직임에 민감하게 반응하며 수용기에 따라 수십 Hz 범위 혹은 수백 Hz의 범위에서 잘 반응한다.[4] 따라서 듀티비가 50 %의 구형파로 진폭 변조하여 초음파를 송신하고 변조 주파수 별로 사람이 느끼는 상대적인 촉감의 세기를 비교하였다. Fig. 8은 10명의 피험자에게 각각 다른 변조 주파수에서 주관적으로 느껴지는 상대적인 촉각의 세기를 0부터 1 사이의 값으로 수치화하여 10명이 평가한 값의 평균값을 그렸다. 그래프에서 원점은 주관적 수치의 평균값이며, 점선은 평균값을 곡선 근사를 하여 표시하였다. 피험자는 초점 근처에서 손바닥을 위 아래로 움직여서 촉각이 가장 세기가 큰 정도를 측정값으로 정하였다. 주파수를 바꾸어 줄 때 10 Hz 정도의 주파수 차이는 잘 구별하지 못했다. 실험에서 60 Hz 근처의 주파수를 가지는 구형파로 진폭 변조했을 때 가장 잘 느껴진다고 확인되었고 100 Hz 이상에서는 감도의 변화가 거의 없었다. 따라서 초음파에 의한 촉각은 빠르게 반응하는 수용기에서 주로 감지됨을 알 수 있다. 10명의 피험자에 대하여 변조파를 송신했을 때, 송신자 개수에 따른 촉감의 정도는 30개를 송신했을 때 피험자 모두가 촉감을 느끼기 시작했으며, 93개부터는 모두 확실히 느낄 수 있었다. 따라서 연속파 보다는 변조파에 촉감을 더 잘 느낌을 알 수 있다. 가청 주파수 대역의 주파수를 가지는 구형파로 진폭 변조하여 송신하는 경우, 초음파의 송신 주파수가 40 kHz이지만 가청주파수 대역의 음향 신호가 발생하여 귀로 들을 수 있었다.
V. 초음파 촉감의 제어 응용 예
초음파의 복사력을 3차원 공간상에 촉각이 느껴지는 3차원 공간상에 위치시키기 위한 지시자로 사용할 수 있다. 이러한 방법은 시각장애가 있는 사람에 대하여 촉각을 이용한 정보 전달에 이용될 수 있을 뿐만 아니라, 자동차 운전이나 어두운 환경과 같이 시각을 사용하기 어려운 조건에서 손의 촉각을 이용하여 공간 정보를 전달하는 방법으로 사용될 수 있다.
초음파를 이용하여 공간에 촉각 영역을 형성함으로써 피부에 직접 힘을 전달하는 방법을 응용하는 장치의 예를 간단히 구현하였다. 초음파 음장에 의하여 음향 방사힘이 형성되는 초점 깊이에서 촉감을 느끼므로 허공에서 손의 위치를 지정하는 지시자로 사용하였다. 촉감이 느껴지는 공간에 손을 가져다 대어서 카메라를 이용하여 손의 모양을 영상으로 받는다. 오목한 형태의 초음파 송신기의 가운데에 비디오 카메라를 설치하고 비디오 카메라의 양옆에 두 개의 흰색 LED(light-emitting diode)를 붙여서 손에 대한 조명으로 사용하였다. 실시간으로 받아들여진 영상은 PC에서 영상처리를 하여 손가락의 개수를 세어서 그 숫자에 따라 다른 제어의 입력 명령으로 사용한다. 본 실험에서는 주먹을 쥔 상태와 5개의 손가락을 편 개수에 따라 6가지를 구별하여 손가락의 개수를 인식하도록 하였다. PC에서 영상처리 구현을 위하여 사용한 프로그램은 Visual Studio 2015와 OpenCV 3.1 라이브러리를 이용하였다.
영상 처리에서 손가락 개수 인식 알고리즘은 다음과 같다.
1) 비디오 카메라에서 영상을 획득
2) 배경과 손 영역 부분을 분리하여 이진화 영상 생성
3) 손 영역의 등가질량 중심점 찾기
4) 중심점을 기준으로 원을 그려서 원에 걸치는 손가락 개수 세기
5) 손가락 개수에 따라 제어 신호 발생
비디오 카메라에서 받은 영상에서 피부색을 검출하기 위하여 RGB 형식의 데이터를 YCrCb 형식으로 바꾸었다. 영상에서 피부색과 같은 색깔 범위만 분리하여 배경에서 손의 영역을 분리하였다. 이 데이터를 이진 영상으로 바꾼 뒤에 손바닥의 영역에 해당하는 픽셀에서 인접 경계까지의 최단 거리를 계산하는 알고리즘을 적용하여 손바닥 영역의 등가질량 중심점을 찾는다. OpenCV 라이브러리에서는 거리 변환 행렬을 계산하는 함수인 distanceTransform() 함수를 제공하며, 거리 변환 행렬에서 결괏값이 가장 큰 픽셀의 좌표와 값을 얻어오는데, 이것이 바로 손바닥 영역의 등가질량 중심점이다. 찾아낸 중심점을 원의 중심으로 하여 이진 영상에서 손가락을 지나도록 원을 그리고 원에 걸쳐있는 손가락의 개수를 센다. 각각의 계산 과정의 영상의 예를 Fig. 9에 표시하였다. 왼쪽 그림부터 손바닥 영상, 이진화된 영상, 이진화된 손 영역에서 중심점을 찾고 중심점에서 손가락을 지나는 원을 그린 영상이다. Fig. 10은 손의 영상 영역의 중심으로 원을 그리고 손가락의 개수를 숫자로 표시하는 모니터 화면이다. 3개의 손가락을 인식하고 숫자 3을 출력하고 있다. 이러한 일련의 영상 처리 작업은 실시간으로 계산하며, 1.8 GHz 클록 주파수의 Intel Celeron CPU를 사용하는 노트북 컴퓨터에서 1 s에 20프레임 이상의 속도로 숫자를 출력한다. Fig. 11은 제작된 전체 시스템의 사진이다.
VI. 결 론
초음파의 방사힘을 만들기 위하여 40 kHz의 초음파 송신자를 154개를 사용하여 오목한 형태의 배치로 묶어서 23.5 cm 깊이에 집속하여 송신하였다. 시뮬레이션에서는 20.3 cm 깊이에서 음장의 최대치가 나타났다. 초음파가 집속되는 3차원 공간의 초점 근처에 손바닥을 위치시키면 축방향으로 시가 형태의 긴 영역에서 간지러운 느낌의 촉각을 확인할 수 있었다. 초점 근처에서 물리적인 공기의 흐름을 확인함으로써 촉감을 일으키는 주요 원인은 음향 흐름에 의한 것으로 추정하며 피부에 직접 닿는 초음파에 의한 방사힘도 촉감을 일으키는 요인이 될 수 있음을 확인하였다. 초점에서 초음파의 출력을 증가시키기 위하여 154개의 송신자를 묶어서 사용하였지만 수십 개의 송신자만으로도 촉각을 형성시킬 수 있었다. 또한 초음파 신호를 변조하면 촉감의 강도가 증가함을 확인하였다. 본 실험에서는 음향 방사힘을 일으키는 공간상의 초점 위치에 촉각을 이용하여 손을 가져가도록 하는 지시자 역할을 하였다. 지정된 위치에 있는 손의 영상에서 손가락의 개수를 파악하는 영상 처리를 적용하여 손가락의 개수에 따라 필요한 제어에 응용할 수 있음을 보였다.
