음성학 실험의 실제
양 병 곤
(동의대 인문대 영문학과 조교수)
I. 서론
사람이 의사소통을 하기 위해 내는 말소리를 연구하는 음성학의 연구 분야는 의학, 공학, 물리학, 신경생리학에 이르기 까지 상당히 넓다 (고도흥외, 1995). 그 중에서도 화자가 발성한 음성이 대기중에서 전달되는 신호에 관한 연구가 첨단 음성분석기기의 발달로 최근에 많이 응용되고 있다. 이러한 기기를 이용하면 보다 객관적인 자료를 수집할 수 있고 또 이를 활용하여 조사하고자 하는 특정한 가설을 실험으로 입증해 볼 수 있다. 따라서, 본 논문에서는 지금까지 연구한 음향음성학적 지식을 이용하여 실제 음성학적인 실험을 통하여 중요한 가설이나 연구결과를 낼 수 있는 과정과 방법을 제안해 보기로 한다. 여기에 제시된 자료는 일반적인 제안사항이므로 개인별로 실험의 목적과 용도에 따라 적절한 변형을 할 수 있다. 음향음성학적 연구방법을 과학적인 연구 조사와 이들의 분석을 주로하는 연구 논문에 활용하면 보다 객관적인 결과를 얻을 수 있을 것이다. 특히, 일정한 기간에 걸쳐 실험그룹과 통제그룹으로 구분한 뒤 외국어의 숙달도를 객관적으로 측정하여 통계적으로 비교하거나, 기타 심리학적인 실험에도 활용할 수 있고, 사람의 음성생성 및 인식처리와 연관된 모든 학문분야에도 활용될 수 있을 것이다.
본 논문의 구성은 먼저 실험을 하기 위한 문제제기와 자료조사, 실험방법 등에 대해 알아보고, 마지막으로 실험결과의 해석에 대한 통계처리와 그 결과의 활용 등에 대한 소개를 하기로 한다.
2. 문제 제기
음성학 실험을 하기 위해서는 먼저 중요한 문제를 제기하거나 발견해야 한다. 청각과정에 대한 연구로 다른 어떤 학자보다도 의학 및 생리학 분야에 더 많은 기여를하여 1961년 노벨상을 받은 베케시 (Georg von Békésy)는 중요한 문제를 골라서 올바르게 추구하는 과학적인 연구의 길에 대해 밝힌 바있다 (양병곤, 1993). 베케시는 가치있는 과학적인 결과를 얻기 위한 다음과 같은 유형의 문제들을 제안했다. 첫째, 두 가지 이상의 기본 원칙이나 가설중에서 현명하게 선택하는데 뒷받침이 되는 자료를 추구하는 중대한 문제이고, 둘째, 새로 탐험할 영역을 찾아내거나, 이미 수용된 원칙을 재점검케 하는 자극적인 문제 등이다. 물론, 첫번째의 중대한 문제는, 공격을 받아 해결될 때, 보다 발전을 한다. 그러나 우리는 중대한 문제를 찾는데에만 너무 많은 시간과 노력을 소모해서는 안된다. 그것들은 찾기 힘들다. 대부분의 좋은 연구를 이루는 것은 사실상 자극적인 문제이다. 여러 개의 자극적인 문제들은, 결국에는 중대한 결과로 이어짐을 밝힌 바 있다.
음향음성학의 연구분야에서 이러한 자극적인 문제를 찾기 위해서는 음향 음성학적인 실험을 한 사전연구 논문조사 등을 통해 문제점이 있는 부분을 찾아 내고 이들이 서로 다른 상반된 주장을 하고 있을 때 또는 이들의 주장에 대한 기초적인 원리의 이해에 있어서 잘못이 있다고 여겨질 때, 실험상의 잘못으로 인하여 엉뚱한 결론에 이른 것을 발견했을 때, 또는 음성학의 일반적인 원칙을 증명할 수 있는 방법을 발견했을 때 등에 필요하다. 또한, 음향실험 결과는 방언의 비교나 외국어와 한국어 발음의 수치적인 비교와, 외국어 학습효과 등을 구체적인 수치값으로 나타내어 통계적으로 비교하고자 할 때 활용할 수 있다.
3. 사전 문헌 조사
어떠한 실험 분야에 대한 조사를 하지않고 임의로 실험을 개시했을 때 그 결과가 만일 이미 다른 연구에서 이뤄졌다면 시간적으로도 학문적으로도 전혀 발전이 없을 것이다. 따라서, 연구자는 사전 문헌 조사를 통해서 가능하면 많은 자료를 모아 미리 문제점을 발견하고 또한 자료가 부족한 연구 방향에 대한 기초로 설정하는 것이 좋다. 실험적인 기술에 초점을 두는 연구자료는 국내에도 많은 자료가 있으므로, 기본적인 연구 방법과 문제점 등에 대해 충분한 사전 자료를 수집한다. 또한, 국외의 자료 가운데 음향음성학에 관한 논문들이 많이 출간되는 Journal of Phonetics, Phonetica, Language and Speech, Language, Word, Journal of Acoustical Society of America (JASA) 등과 같은 자료의 목록과 논문요약을 이용하여 관련 논문을 찾는다. 이들 정기간행물은 종합대학 도서관 등에서 쉽게 찾아볼 수 있다. 또한 국내 유명 도서관에도 들어와 있는 학위논문초록(Dissertation Abstracts International)은 국제적으로 매년 출간된 석박사 학위논문의 제목과 논문초록을 수록하고 있다. 학위 논문은 직접 UMI (University Microfilms International)를 통해 구입하거나, 국내의 대행업체를 통해 구입할 수 있다.
보다 빠른 자료 이용 방법은 이들 자료들의 목록을 년차별로 담아놓은 CD ROM 등을 이용하는 것이다. 국외의 일반 도서관에서는 이들 자료를 수록한 CD ROM을 개방하여 자료 검색에 이용하도록 하고 있다. 하나의 CD ROM에는 약 5년간 분량의 모든 정기간행물 자료가 데이터베이스화되어 있다. 이를 활용하는 방안은 주제어를 이용하거나 일정한 저자나 서적 제목 등을 이용하여 검색을 하고, 거기서 선정된 자료 가운데 연관된 초록을 읽어 보고 약 200편 정도로 범위를 좁혀서 이를 직접 논문집이나 정기간행물실에 비치된 학술지를 통해 수집한다. 보통 이들 자료를 직접 컴퓨터를 통해 검색하고 하나씩 저자와 논문 초록 등을 확인하는 데는 상당한 시간이 소요되고 비용도 많이 들게되므로 가능하면 빈 디스켓을 준비하여 화일을 옮겨서 개인용 컴퓨터에서 아스키 화일로 검색하는 방법이 좋다. 대체로 이들 자료검색기는 필요한 정보를 개인용 컴퓨터에서 이용할 수 있는 디스켓에 옮길 수 있도록 메뉴를 선정해 놓았다. 국내에서도 교보문고나 대학 도서관 또는 연구소에 가면 이들 자료검색을 직접 또는 도움을 받아 이용할 수 있다. 덧붙여 이들 논문을 구했을 때 어떤 해당 논문의 말미에 붙어있는 참고 문헌 목록을 이용하는 것도 상당히 시간을 절약할 수 있다. 보통 논문을 작성할 때 거기에 관련된 목록을 미리 살펴 보고 연구를 하므로 기존연구자들이 찾아놓은 자료도 매우 유용하다고 할 수 있다. 예를 들어, 석 박사학위 논문의 경우에 있어서는 제 2장에 지금까지의 논쟁거리와 앞으로의 연구과제에 대한 상세한 사전문헌 연구가 되어 있으므로 지금까지의 연구내용에 대한 풍부한 정보를 얻을 수 있을 것이다.
4. 실험 방법
실험자가 흥미있는 문제를 찾고 이들과 연관된 사전문헌연구를 마치면, 적절한 실험방법을 결정하여 가설 검증이나 설명적인 실험을 하게 된다. 먼저 실험대상자인 피험자를 선정해야 하고 이들이 발성한 음을 녹음하는 과정과 이를 측정하여 필요한 정보를 수집한 뒤, 이를 검토하고 토의하는 과정으로 이어진다. 이 과정에서 유의해야 할 점들을 알아본다.
4.1 피험자의 선정
피험자는 반드시 성별 연령 키 등과 같은 신체적인 요소를 설문지 조사를 통해 알아내야 한다. 또한 방언의 영향으로 실험결과에 상당한 혼란이 있을 수 있으므로, 연구 목적에 따라 달라지겠지만, 순수 언어학적인 결과를 얻고자 할 때는 가능한한 통제된 범위에서 실험이 이뤄져야 한다. 예를 들어, 기존의 표준말의 정의인 서울 출신의 교양있는 중류층의 시민이란 기준도 문제가 될 수 있다. 서울지역은 전국에서 이주해 온 사람들로 거대한 방언군을 이루고 있기 때문에 단순히 서울에 사는 학생 시민들로 정의하기엔 곤란하다. 또한 부모의 방언도 큰 변수가 될 수 있으므로 이를 철저히 조사하여 두어야한다. 특히, 서로 다른 언어끼리의 비교 연구라면 해당 나라 언어의 방언군에 대한 사전 지식을 충분히 갖춘뒤 실험을 해야 한다.
특히 출신지에 따른 방언의 항에 필요한 정보를 기재한다. 본인에게 자신이 판단하기로 적절한 방언그룹에 동그라미를 치도록하는 방법을 사용하는 것도 빠른 처리와 분류의 범위를 좁힐 수 있다. 이러한 상세한 정보는 실험결과를 해석하거나 극단치로 인한 문제점을 발견하는데 상당히 중요한 단서가 될 수 있다. 기타 실험목적과 대상에 따라 적절한 항목을 선정하여 가능하면 상세한 정보를 수집한다. 아울러, 이 피험자 설문지는 개인의 신상기록이므로 취급에 주의하여야 한다. 일단 설문지로 방언군을 상당히 균일하게 한 뒤 실험에 임하여야 하겠지만, 덧붙여 방언그룹을 보다 정밀하게 통제시키려면 개인별로 발음한 음성을 임의로 섞어서 녹음한 뒤 이 테이프를 모든 실험자에게 들려주어 각자의 방언과 일치되는지 여부를 표시하게 하고 이들의 표시를 모두 합하여 그 집단에서 벗어나는 사람을 찾아내는 방법도 쓸 수 있다. 이런 청각적인 판단은 방언에 대한 어느 정도의 지식을 갖추고 있는 음성학자에게 의뢰하는 것도 신뢰도를 높일 수 있을 것이다.
+------------------------------------------------------------------+
| 설 문 조 사 지 |
| |
| *피험자분류번호 __________________ |
| *실험그룹: _________ 통제그룹: ________ 기타: ___________ |
| 성명: _____________________ 성별 : 남 여 |
| 키: __________ cm 몸무게: _______ kg |
| 피험자의 출신지: _____________ *피험자의 방언: ________ |
| 부모의 출신지: 부 ____________ 모 ____________ |
| *부모의 방언: 부 ____________ 모 ____________ |
| |
| 교육: |
| ____________ 국민학교 _____________ 중학교 |
| ____________ 고등학교 _____________ 대학교 |
| |
| 언어: |
| 모국어 _________ 어 |
| 제 1 외국어: ____________ 상 중 하 |
| 제 2 외국어: ____________ 상 중 하 |
| 기 타: ____________ 상 중 하 |
| |
| |
| 지금까지 살아오면서 가장 많은 기간을 보낸 지역: |
| 서울 경기도 충청도 강원도 경상도 전라도 제주도 |
| 기타 ___________ |
| |
| 건강사항: |
| 빠진 이: 유 무 감기: 유 무 |
| 인두절제수술: 유 무 편두절제수술: 유 무 |
| |
| *기타 발음상 특기할 사항: _________________________________ |
| _________________________________ |
| *별표는 실험자가 기재할 것. |
+------------------------------------------------------------------+
4.2 녹음
녹음은 가능하면 실험실 내의 조용한 방음장치가 갖추어진 방에서 한다. 물론 자연언어처리와 같은 일상생활 중의 언어 분석을 시도할 때는 녹음은 이렇게 제한된 방에서 할 필요는 없다. 그러나 음성학적인 지식을 충분히 갖추지고 분석하고자 하는 변수에 대한 음향음성학적인 정보를 갖지 못하고 분석에 임할 때, 잡음이 많이 들어가면, 조사하고자 하는 정보가 또렷이 들어나지 않아 정확한 변수를 추출하는데 있어서 어려움이 있다. 예를 들어, 음향시설이 갖춰진 방송국 등에서 녹음을 할 경우는 좋은 음질이 나오며, 이렇게 녹음한 자료를 음성분석기에 넣어보면 아주 선명한 스팩트로그램을 보여 준다. 그러나 국내나 교내의 방송국등에도 바쁜 일정 때문에 시간을 마음대로 낼 수 없고, 잦은 실험을 해야할 경우에는 다음과 같은 간이 방음 장치를 만들 수 있다.
보통 방음 시설은 건축학에서 다루는 문제이나 편의상 다음과 같이 설계를 해 볼 만하다. 흔히 건축상에 가면 암면이나 유리면을 판매하는데, 약 10 cm 두께의 암면을 사방에 세우고 위아래에 수평으로 덮는다. 그리고 필요한 전등과 마이크를 달아 녹음기에 연결하고 바깥과의 신호연결은 작은 꼬마 색전구나 조절판 또는 끈을 이용하여 녹음시작과 끝을 약속한 신호에 의해 알려 준다. 암면은 가루가 피부에 닿으면 가려움증을 일으킬 수 있으므로 가능하면 그 면을 두껍고 올록볼록한 표면처리가 된 모직 천으로 싸거나 접착한다. 또한 전등은 간접조명 방식으로 하고 암면 조각으로 가려서 음이 반사되지 않도록 한다. 바닥에는 두꺼운 천이나 스티로폼을 깐다. 조립된 틈사이가 약 1 내지 2 mm정도이면 음이 통과하기 힘들기 때문에 접착제를 붙이지 않아도 좋으나 더 완벽한 방음실을 만들려면 바깥에 테이프 등으로 밀봉하는 방법도 가능하다.
녹음시는 음성 입력의 수준을 항시 관찰하여 너무 강한 음이나 약한 신호가 들어가지 않도록 주의한다. 시행착오를 막기 위해서는 미리 실험할 문장의 일부를 녹음하여 실제 컴퓨터에 입력하여 분석해 보고 문제점을 발견하여 수정하는 것이 좋다. 특히 마이크와 입사이의 거리를 너무 가까이 하면 파열하는 소음이 들어가서 분석에 어려움이 생기므로 10 cm 이상의 적절한 거리를 유지해야 한다. 덧붙여 일반 방송국의 설비에는 입력음성을 필터를 통해 일부 변형하여 출력되기 때문에 이들 신호의 변형과정에서 중요한 정보의 손실을 초래할 수 있다. 이러한 정보의 손실을 방지하기 위해 원음 그대로 녹음하는 것이 필요하다. 따라서, 가능하면, 컴퓨터등 입력장치를 이용하여 직접 컴퓨터 화일로 만들어 분석을 하는 것이 보다 명확한 결과를 얻을 수 있게 될 것이다. 녹음 과정 중 마이크가 장착된 소형 녹음기 등을 이용할 때는 주위의 잡음이 그대로 들어가면 중요한 변수나 소음에 의한 변화를 구분하기가 매우 어렵게 된다. 가능하면 모든 실험장치와 환경에 대한 내용을 상세히 기록하여 다른 사람이 그대로 되풀이할 수 있도록 하여야 한다. 이 상세한 기록은 같은 내용의 실험에서 다른 결과가 나왔을 때 중요한 원인을 알아낼 수 있는 단서가 된다.
5. 측정 및 분석
일단 녹음된 음을 컴퓨터에 입력할 때 주의할 사항으로는 다음과 같다. 마이크를 이용하여 직접 컴퓨터에 입력할 때는 고주파 부분을 필터를 사용하여 제거하는 것이 좋다. 물론 MacRecorder용 Digitizer는 4 KHz이상의 부분을 자동으로 제거해주는 장치가 있으나 기타 입력용 장치는 모든 주파수를 다 받아들이게 되어 있어서 이들 고주파가 저주파 값에 영향을 주는 현상이 발생하기도 한다. 또한 녹음기를 통해 간접으로 컴퓨터에 입력할 때는 녹음기 자체내의 Tone 조정을 최대값으로 하는 것이 필요하다. 이들 녹음기의 장치는 자체적으로 음성을 여과시키는 효과를 갖고 있으므로 분석할 때 주의해야 한다. 음성입력시 너무 과도한 신호를 그대로 입력할 때는 분석결과에 오류가 있을 수 있다. 너무 낮은 신호도 문제가 있으므로 입출력 단자의 특성을 고려하여 적절하게 실험자가 조절한다. 특히, Macintosh나 IBM용 음성분석소프트웨어에는 일정한 표본주파수 (5 KHz, 10 KHz, 20 KHz, 40 KHz) 등이 지정되어 있으므로 이들 분석프로그램 간에 음성신호자료를 이동할 때는 주의해야 한다. 예를 들어 Macintosh의 22 KHz의 표본주파수란 실제는 22,256 Hz에 해당하며 이를 25 KHz의 표본주파수를 갖고 있는 IBM의 음성분석기에 옮겨갔을 때 약간 빠른 속도를 발음됨을 금방 느낄 수 있다. 그 음성에 대한 형성음이나 기본주파수의 분석 결과도 물론 일정배율로 상승하므로 주의해야 한다.
녹음된 자료에서 필요한 요소를 측정하고 분석하는 일은 상당한 인내를 요한다. 또한 수많은 정보가운데 필요한 자료를 선택하는 일은 일종의 예술적인 자질이 필요하기도 한다. 요즈음 제작된 음성분석 소프트웨어들은 정밀한 수치를 한없이 쏟아내 준다. 이들의 값의 옳고 그름을 결정하는 데는 음향학에 대한 많은 지식이 필요하다. 동시에 이들 수치의 정밀도를 그대로 맹목적으로 받아 들이는 것은 위험하다. 예를 들어, 성대진동개시 시간을 측정할 때 소숫점 이하 몇자리까지 유효한가 생각해 보면, 어떤 컴퓨터 분석에서 12.3456789 msec로 나타났을 때 이는 매우 정밀한 것이다고 지레 판단해서는 안된다. 절대값으로는 12 msec 정도 값으로도 충분하다고 여겨진다. 물론 상대적인 비교에서 사람의 귀는 수 msec에 해당하는 차이도 쉽게 식별하는 실험 조사도 있다. 하지만 일반적으로 사람이 지각할 수 있는 차이는 20 내지 30 msec에 해당되기 때문에 오히려 십단위로 끊어도 큰 차이는 느낄 수 없다고 여겨진다.
덧붙여, 이를 측정할 때에 일관성이 있어야 한다. 측정상의 주관성에 의해 결과치가 달라지면 이를 이용한 통계적 해석은 별로 의미가 없을 것이다. 성대진동 개시시간의 경우에는 성대가 처음 열린 시점으로부터 시작해서 최초의 영점을 가로지르는 시점까지로 정의했다면 이를 일관성 있게 적용해야 한다. 실제 분석시에는 애매한 부분이 많이 나타나는데 이 때도 어떤 기준을 정해 놓고 이를 메모해 나가면서 원칙을 정하고 일관된 원칙에 따라 분석해야 하며 이를 논문에 정확히 기록해 줘야 한다.
또 다른 예로서, 형성음 측정에도 주파수 값의 정밀성에만 너무 치우치면 안된다. 예민한 귀로는 아주 적은 주파수 차이도 지각할 수 있지만 이것은 바로 저주파 범위에서의 이야기이고 고주파에 가면 아무런 의미가 없을 수도 있다. 따라서 1,000 Hz 이하의 값을 가지는 제 1 형성음 값에는 소숫점 이하의 단위는 필요없을 것이고 2,000 Hz 전후의 값을 가지는 제 2 형성음 값에는 십단위 3,000 Hz 전후의 값일 경우에는 백단위 정도로 그 유효숫자를 정할 수 있을 것이다. 이는 사람이 지각하는 단위인 멜(Mel)이나 바크(Bark) 척도로 살펴보면, 1,000 Hz 이하에서는 정밀한 구분이 되지만 그 이상일 때 지각이 둔화됨을 알 수 있다. 실제 실험연구에 따르면 제1형성음은 150 Hz 제2형성음은 300 Hz, 제 3형성음에서는 800Hz의 변화에도 동일한 음으로 지각하는 결과가 나와있다. 그러나 이는 어디까지나 일반적인 실험인 경우에 해당하며, 어떤 상대적인 비교나 보다 정밀한 기기제작에 필요한 자료 수집을 목표로 할 때는 물론 소숫점이하 한자리 까지 표기할 수도 있다.
기본주파수 측정의 방법에도 상당한 변이가 있을 수 있다. 예를 들어 자기상관법(autocorrelation)에 의해 측정했을 경우에는 연속된 신호부분의 자기상관계수가 가장 큰 것을 택하게 되는데 이 때도 반드시 신호를 확대하여 그림 1처럼 신호의 정상간 거리를 측정하여 이 값의 유효여부를 점검해야 한다. 다시 말해서, 기본주파수 값이 100에서 일정하게 유지되다가 갑자기 200 Hz로 상승하거나 하강하는 것은 성대의 해부구조상 불가능하다. 또한 분석기기에서는 어떤 일정한 간격을 두고 유효치를 걸러주는 장치가 있는데 이들 장치의 문제점을 미리 알고 있어야한다. 이러한 조음학적인 지식을 활용하여 항상 비판적인 안목으로 분석기의 자료를 수집하고 해석해야 한다. 특히, 낮은 진폭의 포먼트는 나타내지 않도록 프로그램이 되어 있어서, 모음 [o] 나 [u]의 선형예측계수(LPC)에 의한 측정결과 일 때는 약한 제 2, 제 3 형성음이 사라질 수도 있으므로 스팩트로그램의 판단에서는 몇번이고 재확인을 해야 한다. 이러한 문제점을 해결하기 위해서는 오디오 기기를 이용하여 고주파 부분을 증폭시키고 저주파 부분은 감폭시켜서 입력하면 보다 선명한 포먼트값의 위치를 확인할 수 있다.
자료의 분석시에는 가능하면 모든 잘못된 수치를 최대한 제거한 뒤에 통계적인 분석을 시도해야 한다. 흔히 잘못 측정된 자료를 통계처리하여 그 결과를 그대로 보고하는 경향이 있는데, 반드시 기존 자료와의 상관관계나 그 수치의 범위를 확인하는 절차를 밟아야 한다. 특히, 통계 처리에 있어서 평균과 표준 편차등을 표시하여 측정한 자료에 대한 구체적인 윤곽을 보여줘야 하며 또한 통계처리 방법에 따라 기본 가정이 있는데 이를 만족시키는가를 확인해야 한다. 통계처리 방식에 있어서도 복잡하고 고급의 기법을 쓰는데만 치중하지 말고 어떻게 하면 더욱더 선명하게 자료를 제시할 수 있을까 연구해야 한다. 덧붙여, 수치를 표를 통해 제시하기 보다는 그림이나 차트를 통해 시각적으로 제시하는 것도 좋은 방법이다. 또한 그림 안에 너무나 많은 정보가 빈틈없이 들어 있으면 독자의 눈에 피로를 주기때문에 일목요연하게 제시하고 필요없는 정보는 가능하면 생략하거나 단순화시켜야 한다. 예를 들어, 주파수 값을 그래프에 표시할 때, x, y축에 1,000 Hz, 2,000 Hz 등으로 표기하기 보다는 1 kHz, 2 kHz로 표시하여 논문을 읽는 사람들의 시각적인 피로를 덜어줄 수 있도록 한다.
참고 문헌
고도흥 구희산 김기호 양 병 곤. (1995). 음성언어의 이해. 서울: 한신문화사.
양병곤. (1993). 음성학 입문. 부산:진영문화사.
Byunggon Yang. (1993). "A voice onset time comparison of English and Korean
stop consonants." 동의논집 인문사회과학편 제 20집, pp.41-59.