Kaldi Tutorial for Korean Model Part 1

Image source 칼디로 한국어 음성인식 구현하기 파트 1

---

• 본 튜토리얼은 칼디를 막 시작하는 초보자들을 대상으로 하고 있으므로 칼디를 어느정도 공부하신 분들에게는 적합하지 않을 수 있습니다. 모든 설명은 다음 깃헙에 올려진 run.sh 스크립트를 기준으로 진행되면 추가적으로 궁금한 사항은 칼디 공식 홈페이지나 칼디 구글 헬프를 이용하길 바랍니다.
• 본 튜토리얼에서 사용하는 스크립트는 맥과 리눅스(우분투) 환경에서 준비해왔기 때문에 그 외에 환경 (예: 윈도우)에서는 제대로 진행되지 않을수도 있습니다. 어차피 칼디를 진행하기 위해서는 리눅스 환경이 갖춰져야 하기 때문에 이 부분은 불편하시더라도 최대한 맞춰주시고 튜토리얼을 진행하여 주시기 바랍니다.
• 튜토리얼에 사용되는 튜토리얼용 서울말 낭독체 코퍼스는 아래 링크를 통해 받으실 수 있으며, 튜토리얼 진행 도중 훈련에 필수적인 파일들이 제대로 생성되지 않을 상황에 대비해서 몇개의 파일을 미리 생성하여 준비하였으니 필요한 데이터는 그때마다 다운 받으시고 계속해서 진행해 나가시면 되겠습니다.
• 궁금한 사항이 있으실 경우 개인적인 메일을 보내시기 보다는 아래에 댓글을 다셔서 대부분의 질문이 이 튜토리얼을 보는 모든 분들과 공유되게 해주시기 바랍니다.

데이터 준비

---

서울말 낭독체 데이터 구하기

• 훈련을 하기 위해 먼저 데이터를 준비해야 한다. 우리는 국립국어원에서 제공하는 서울말 낭독체를 이용해서 실험을 진행할 것이다. 따라서 다음 링크에서 “small_krs” 폴더를 먼저 받기를 바란다. 혹시 전체 데이터를 다운 받아 훈련을 진행하고자 한다면 다음 링크를 통해 국립국어원으로 접속하여 공지사항을 확인한 후 데이터를 받으면 되겠다.
• 본 훈련의 빠른 진행을 위해 정제된 데이터를 제공해 주었지만 데이터를 훈련하는 것 만큼이나 중요한 것이 바로 잘 정제된 데이터를 준비하는 것이다. 정제 이전의 서울말 낭독체는 꽤나 많은 수 작업을 필요로 하기에 미리 데이터를 잘 정리하는 작업을 꼼꼼하게 진행해야 할 것이다.
• 그렇다면 혹시라도 다른 코퍼스 데이터를 이용해 훈련할 경우를 생각해서 데이터 정제작업에 대해 간략히 이야기 하겠다.
  • 먼저 데이터는 음성파일과 그 음성파일이 전사된 텍스트 파일로 이루어져야 한다. 예를들어 “학교 다녀 왔습니다.” 라고 녹음된 음성파일이 있다면 그것에 대한 전사파일이 있어야 한다. 그리고 두 파일의 이름은 확장자명만 제외하고 같아야 한다.
    • test01.wav > “학교 다녀 왔습니다” 라고 녹음된 음성 파일.
    • test01.txt > “학교 다녀 왔습니다” 가 적힌 텍스트 파일.
  • 음성 데이터 자체의 길이는 상관없다. 예를들어 5분정도의 말하기가 담긴 파일이라도 훈련에 사용할 수 있다. 하지만 훈련할 때는 한 문장 단위로 넣어줘야 좋기 때문에, 이왕이면 긴 파일을 문장 단위로 끊어서 한 파일에 한개의 문장만 있도록 하는 것이 가장 이상적인 데이터가 될 것이다. 하지만 그렇다고 꼭 물리적으로 끊을 필요는 없다. 추후에 알게 되겠지만 칼디는 “segments”라는 파일을 통해 이러한 문제를 해결해 주기 때문이다. (아 물론, 이미 한 문장 단위로 데이터가 준비되어 있다면 굳이 이 segments라는 파일을 신경 안써도 된다.)
    • 긴 문장
      • test01.wav: “오늘 학교에 갔어요. 너무 공부를 했더니 피곤하네요.”
    • 개인적으로 좋다고 생각하는 나눈 문장
      • test01.wav: “오늘 학교에 갔어요.”
      • test02.wav: “너무 공부를 했더니 피곤하네요”
  • 위의 데이터를 화자별로 담아서 폴더에 준비해 두도록 하자. 예를들어 여자 a, b와 남자 c, d의 녹음된 파일을 얻었다면 하나의 data라는 폴더를 만들고 거기에 a, b, c, d라는 폴더를 만들어 각 화자별로 녹음된 파일을 담아 준비하도록 하자. 훈련 과정중에 화자별 특징을 제거해주는 과정을 거쳐야 하기 때문이다. (명심해야 할 것은, 우리는 특정 여성의 “안녕”이라는 발화가 다른 특정 남성의 “안녕”과 다르다는걸 훈련시켜서는 안 된다. 둘의 목소리톤과 발화 길이가 다르더라도 무조건 그것은 “안녕”이라고 인식하도록 훈련시키는 것이 우리의 원하는 음성인식 결과물이기 때문이다.)
  • 추가적으로 확인할 사항으로는 음성파일이 제대로 실행 되는지, 텍스트 파일이 음성파일의 발화를 제대로 표기하고 있는지를 확인해 보는 것이다. 가끔 대량의 데이터를 다른 곳에서 받다보면 재생이 안되는 데이터로 인해 훈련 중 에러가 발생하거나(읽지를 못하므로), 전사가 음성파일과 달라서 성능이 낮아지는 경우가 있을 수 있다. 이 외에도 데이터를 정제할 때 고려해야 할 사항들이 많지만 데이터의 특성과 훈련하고자 하는 목적에 따라 정제방식은 달라지기 때문에 본 글에서는 여기까지만 다루도록 하겠다.

필수자료 생성하기

• wav.scp, utt2spk, text, 그리고 segments는 칼디 훈련에 들어가기전 데이터셋으로부터 추출하는 필수 자료다. 우리는 다운로드 받은 서울말 낭독체로부터 이 필수자료들을 생성하기 위해 krs_prep_data.sh 코드를 이용할 것이다. krs_prep_data.sh을 실행시켜 생성되는 필수 자료들을 열어보고 어떤식으로 구성되어있는지 확인해 보자.
  
  • wav.scp
    • wav.scp는 오디오 데이터 이름과 그 데이터의 절대경로로 이루어진 파일이다. 여기서 중요한 사실은 오디오 데이터의 이름을 적을때는 확장자명인 “.wav”를 생략해야 하고 데이터의 절대경로를 적을때는 확장자명까지 다 적어줘야 한다는 것이다.
      • [오디오 데이터 이름] [오디오 데이터 절대 경로]
      • fv01_t01_s01 /home/data/train/fv01/fv01_t01_s01.wav
  • utt2spk
    • utt2spk는 발화(utterance)와 발화자(speaker)를 연결해주는 파일이다. 위에서 한 화자가 발화한 모든 오디오 파일을 한 폴더에 담아서 준비하자고 했었는데, 이 과정을 제대로 지켰다면 한 폴더의 이름은 한 화자의 고유 식별이름이 되는것이고 그 폴더에 담긴 각 파일들은 그 화자와 연결될 것이다. 기본적으로 한 폴더에는 여러개의 녹음된 데이터가 있기때문에 첫번 째 줄의 이름은 다양하게 나오는 반면 두번째 줄의 이름은 중복되게 나온다.
      • [오디오 파일 이름] [화자 폴더 이름]
      • fv01_t01_s01 fv01
        fv01_t01_s02 fv01
  • text
    • text는 오디오 데이터 이름과 그 데이터의 발화 문장을 기록한 파일이다. 이 파일에서도 오디오 데이터 이름은 확장자명인 “.wav”를 제거한 상태로 적어야 한다.
      • [오디오 파일 이름] [발화 문장]
      • fv01_t01_s01 기차도 전기도 없었다
  • segments
    • segments는 오디오 파일의 시작과 끝 지점을 알려주는 파일이다. 먼저 오디오 데이터의 시작과 끝을 지정해줄 데이터 이름을 적고 이후에 시작과 끝 시간을 적으면 된다. 각각의 오디오 데이터가 한 문장만 담고 있다면 segments의 한 줄당 한 오디오 데이터 이름과 그 오디오 데이터의 시작과 끝 시간을 적어주면 되지만 이런 경우에는 segments가 굳이 없어도 칼디 내부적으로 한 오디오 데이터가 한 문장을 담는것으로 인식하고 처리한다. 따라서 segments가 필요한 경우는 여러문장을 한 오디오 데이터가 담고 있을 경우 그 문장을 끊어서 인식하고 훈련하기를 원할 때 사용한다.
      • 오디오가 한 문장만 담고 있을 경우: fv01_t01_s01이라는 문장은 “기차도 전기도 없었다” 라는 한 문장만을 담고 있으며 이 문장은 0초에 시작하여 4.93초에 끝난다. 시각적으로 잘 보이도록 일부러 1, 3번째 컬럼에 볼드체를 주었다.
        • [오디오 파일 이름 시작] [오디오 파일 이름 끝] [시작 시간] [끝 시간]
        • fv01_t01_s01 fv01_t01_s01 0 4.93
      • 오디오가 여러 문장을 담고 있을 경우: st01_f01_v01이라는 문장은 “어제부터 하루종일 비만 내리더라구요 그래서 너무 우울했어요” 라는 두 가지 문장을 담고 있고, 첫 번째 “어제부터 하루종일 비만 내리더라구요” 문장은 0초에 시작해서 6.23에 끝나고, 두 번째 “그래서 너무 우울했어요” 문장은 7.01초에 시작해서 11.36초에 끝난다. segments에 아래처럼 표시함으로써 칼디는 한 오디오 파일에서 두 가지 문장을 추출해서 훈련한다. 시각적으로 잘 보이도록 일부러 1, 3번째 컬럼에 볼드체를 주었다.
        • [오디오 파일 이름 시작] [오디오 파일 이름 끝] [시작 시간] [끝 시간]
        • st01_f01_v01 st01_f01_v01 0 6.23
        • st01_f01_v01 st01_f01_v01 7.01 11.36
• 위 필수자료들이 만들어졌다면 이젠 그 파일들을 통해 2가지 파일을 더 생성해야 한다. 바로 textraw와 spk2utt인데 이 두 파일들은 각각 text와 utt2spk을 통해 쉽게 만들어 낼 수 있다. 자세한 생성법은 krs_prep_data.sh 코드를 참고하면 된다.
  
  • textraw
    
    • textraw는 text에서 추출하는 정보로 첫번째 줄에 입력된 오디오 데이터 이름만 제거하여 발화문장만 남긴 파일로서 위에서 언급한 text 파일에서 textraw를 생성한다면 다음과 같은 모습을 갖게 된다.
      
      • [발화 문장]
      • 기차도 전기도 없었다
    • text를 가지고 아래와 같이 bash command line에 입력하면 textraw가 생성된다.
      

      $ cat text | awk '{$1="";print $0}' | sed 's/^ //g' > textraw
      

  • spk2utt
    
    • spk2utt은 utt2spk의 반대 맵핑인 파일로 발화자에 발화문장들을 연결해주는 파일로 다음과 같은 모습을 갖고 있다.
      
      • [화자 폴더 이름] [오디오 파일 이름들]
      • fv01 fv01_t01_s01 fv01_t01_s02
    • utt2spk을 가지고 아래와 같이 bash command line에 입력하면 spk2utt가 생성된다.
      

      $ utils/utt2spk_to_spk2utt.pl utt2spk > spk2utt    
      

• 여기까지 잘 따라왔다면 (파일들을 잘 생성했다면) 훈련을 위한 준비가 1차적으로 끝났다. 만약 위에서 생성된 각각의 필수 자료들이 어떤식으로 구성되었는지 제대로 이해했다면 다른 코퍼스를 이용한 훈련도 가능해진다. 다음으로 dictionary와 관련된 파일들을 생성하는 과정에 대해 알아보도록 하자.
  

dictionary 생성하기

• dictionary는 데이터를 훈련할 때 어떠한 음소(phoneme)를 가지고 훈련할지에 대한 정보를 담고 있으며, 이 정보를 이용해서 단어들에 대한 발음 정보를 구성한다. dictionary에 정의되는 음소들은 실제 훈련과정속에서 사용되는 정보이므로 한 번 설정하여 훈련을 시작하면 추후에 바꿀 수 없는 정보가 된다. 따라서 추후에 음소들에 대한 구성을 바꾼다면 훈련 또한 새롭게 진행되어야 한다.
• 음소는 무음과 유음이라는 큰 2가지의 파트로 나뉘어진다. (물론 연구자에 방향에 따라 이 파트도 세분화 할 수 있으며 필자는 4가지 분류까지 나눠서 실험을 진행해 본 적이 있다.) 그리고 그 2가지 파트에 존재하는 음소를 이용해서 textraw에 존재하는 모든 문장의 단어들을 음소로 구성된 발음열로 변환시킨다. 이 때 중요한 것은 문자 그대로의 발음을 기록하는 것이 아니라 인간이 실제로 내뱉는 발음을 기록해야 한다는 것이다. 왜냐하면 우리는 소리를 훈련하기 때문에 단어 그대로의 발음보다(예, 권력: 권력) 실제로 음운규칙이 적용된 발음으로 (예, 권력 : 궐력) 기록해야 제대로된 훈련을 진행할 수 있기 때문이다.
• 보통 dict라는 폴더를 생성하여 dictionary 관련 파일들을 담는데 그 관련 파일들은 다음과 같다.
  • nonsilience_phones.txt
    
    • 훈련에 사용할 유음(nonsilence) 종류를 담은 파일로 한 줄에 한 음소를 적는다. 유음의 경우 30 ~ 50개 사이의 음소셋으로 구성된다.
      • [훈련에 사용할 유음 음소]
      • p0
  • silence_phones.txt
    
    • 훈련에 사용할 무음(silence) 종류를 담은 파일로 한 줄에 한 음소를 적는다. 무음의 경우 1-5개 사이의 음소라기 보다 특정 기호나 단어로 구성되며, 보통 sil, < SIL >, < UNK >를 사용하여 무음구간을 표현한다.
      • [훈련에 사용될 무음]
      • sil
    • 무음을 훈련하는 것은 유음과 다르다. 예를들어 웃음소리와 말 안하는 두 가지를 무음으로 훈련한다면 말 안하는 것과 웃음소리를 유음에서처럼 g2p로 변환할 수 없다. “꺄르르르”, “큭크큭”, “아하하하하” 등등 다양한 웃음을 어떻게 별개로 따질수 있겠는가? 그것들은 다르게 들릴지라도 웃음이라는것은 동일하고 어떤 의미를 갖는 것은 아니다. 따라서 다양한 웃음소리는 < LAUGH >로 통일시키고, 조용히 있는 부분을 “< SIL >”로 통일시켜서 훈련하는게 더 올바른 방향이라 할 수 있다.
  • optional_silence.txt
    
    • 이 무음 파일의 경우 단어와 단어 사이에 선택적으로 들어가는 휴지 구간에 대해 어떤 음소셋으로 표현할지를 정하는 파일이다. 한개의 음소셋을 넣어주면 되지만 이것도 무음을 표현하는 것이기에 음소라기 보다 위와 같은 특정 기호나 단어로 구성한다.
      • [훈련에 사용할 무음]
      • sil
  • lexicon.txt
    
    • 단어들과 그 단어들의 음소정보를 저장한 파일로, 칼디는 이 파일 정보를 통해 각 단어들을 음소셋으로 변환하여 AM(Acoustic Model) 훈련을 진행한다.
      • [단어] [단어 음소]
      • 끝까지 kk xx tf kk aa c0 ii
  • lexiconp.txt
    
    • lexicon.txt 파일에 확률값이 삽입 된 파일로 한 단어가 표기된 음소셋으로 읽힐 확률에 대해 기록하고 있다. 한국어의 경우 표기상의 단어가 다양한 형태로 읽히는 경우가 적어서 보통 1.0이라는 100퍼센트 확률을 부여하여 lexiconp.txt를 기록하지만 영어의 경우 한 단어가 다양한 발음으로 읽힐 수 있기 때문에 이 확률값을 적용하는게 의미를 갖는다. 예를들어 tomato의 경우 영어는 “도마도” 혹은 “토메이도”라는 2가지의 경우로 읽힌다. 이 때 “도마도”가 “토메이도”보다 더 자주 발음한다면 “도마도”의 경우 0.7의 확률값으로 “토메이도”의 경우 0.3의 확률값을 부여할 수 있을 것이다. 이러한 확률값은 존재하는 데이터를 통해 추출할 수 있지만 한국어의 경우 편의상 1.0으로 처리하는 경우가 대부분이다. 영어의 경우도 저러한 정보를 뽑기 힘들 경우 1.0으로 맞출수 있으며 이로 인해 훈련에 큰 지장은 일어나지 않는다.
      
      • [단어] [확률] [단어 음소]
      • 끝까지 1.0 kk xx tf kk aa c0 ii
    • 모든 단어에 대해 1.0으로 확률값을 부여할 예정이라면 lexicon.txt만 가지고 있어도 된다. 왜냐하면 prepare_lang.sh을 돌릴 때 자동적으로 lexiconp.txt를 생성해 주기 때문이다. 혹시라도 미리 생성하고자 한다면 아래의 커맨드 라인을 이용하면 쉽게 생성할 수 있다.
      

      $ perl -ape 's/(\S+\s+)(.+)/${1}1.0\t$2/;' < lexicon.txt > lexiconp.txt
      

  • extra_questions.txt
    
    • 이 파일은 추후 훈련을 통해 tree라는 파일을 생성할 때, 칼디 내부적으로 폰을 찾아가는 과정을 “물어보는 방식으로” 진행하는 데 그 때 필요로 하는 파일이다. 이 파일에 대해서는 추후에 설명하는 것이 맞는듯 하여 현재 단계에서는 설명을 생략하겠으며 그냥 아무것도 적지 않은 공백 상태로 파일을 생성해 두면 prepare_lang.sh 스크립트가 알아서 처리할 것이다.

Hyungwon Yang