Festival note

本網頁以打造無障礙閱讀為目標，可以用任何瀏覽器來觀看本網頁

• 簡介
• 安裝
• 使用
• 設定檔
• Festival 的語音架構 (Speech Architecture)
• 使用festival發出中文語音的實驗
• 語音結構遊覽必備函數
• Festival說明檔摘要
• 以自由軟體實作應用於專屬領域的合成語音
• 說明檔翻譯(未完成)
• 相關名詞
• 網路資源

緣起

我們可以發現雖然在國外有像Festival等的open source語音合成軟體可供研究，但並未針對中文作處理，而國內的研究雖然先進但尚未能找到開放原始碼的版本，因此希望能善用Festival現有的成果，不要重新發明 輪子，期許創造一個雖然距離國內許多先進研究成果差一段距離，但卻是一個屬於中國人專屬的語音合成自由軟體，同時藉由此計劃拋磚引玉的效果快速的集聚OSS的社群力量，將 Festival修改後使其能夠做國語語音合成的基石。

簡介(Introduction)

1. 最新版本 : 1.95-beta (2004/07/14)
2. 主要作者 : Alan W Black
3. 開發語言 :
   • 核心：C++
   • 外部控制：一個名為 SIOD 的Scheme直譯器(a dialect of Lisp)
4. 發音語言 : 英語(英式,美式),西班牙語,威爾斯語
5. Festival這套軟體所使用的合成語音有一個子計畫叫做FestVox

安裝

以rpm安裝(若只要使用festival來發聲)

下載點

• festival 1.4.3 //所列之rpm檔是配合mandrake 9.1之用，若是其他distrobution或下載點失效，請讀者自行以rpmfind找尋
  • ftp://mirrors.kernel.org/mandrake/9.1/contrib/i586/festival-1.4.3-2mdk.i586.rpm
  • ftp://mirrors.kernel.org/mandrake/9.1/contrib/i586/festival-devel-1.4.3-2mdk.i586.rpm
  • ftp://mirrors.kernel.org/mandrake/9.1/contrib/i586/festlex-CMU-1.4.3-1mdk.noarch.rpm
  • ftp://mirrors.kernel.org/mandrake/9.1/contrib/i586/festlex-POSLEX-1.4.3-1mdk.noarch.rpm
  • ftp://mirrors.kernel.org/mandrake/9.1/contrib/i586/festvox-kallpc-common-1.4.3-1mdk.noarch.rpm
  • ftp://mirrors.kernel.org/mandrake/9.1/contrib/i586/festvox-kallpc16k-1.4.3-1mdk.noarch.rpm
  • ftp://mirrors.kernel.org/mandrake/9.1/contrib/i586/festvox-kallpc8k-1.4.3-1mdk.noarch.rpm
  • ftp://mirrors.kernel.org/mandrake/9.1/contrib/i586/festvox-kedlpc-common-1.4.3-1mdk.noarch.rpm
  • ftp://mirrors.kernel.org/mandrake/9.1/contrib/i586/festvox-kedlpc16k-1.4.3-1mdk.noarch.rpm
  • ftp://mirrors.kernel.org/mandrake/9.1/contrib/i586/festvox-kedlpc8k-1.4.3-1mdk.noarch.rpm

安裝步驟

#rpm -Uvh fest*

以tarball安裝(若同時要自製合成語音檔)

下載點

• festival 1.4.3 http://www.festvox.org/packed/festival/1.4.3/
• festvox 2.0 http://festvox. org/festvox-2.0/festvox-2.0-release.tar.gz

檔案清單

安裝步驟

假設使用者家目錄為peter, 請將上列下載的所有檔案複製到使用者家目錄中的 projects 子目錄中，以下步驟也可整個寫成一支shell script方便執行。

1. 編寫script解壓縮所有檔案,會得到3個目錄 speech_tools, festival, festvox
   
   #!/bin/sh
   for i in *.gz
   do
     tar -zxvf $i
   done
2. 到speech_tools目錄下,執行 ./configure, gmake, gmake test
   
   cd speech_tools
   ./configure
   make
   make test
   make install
3. 到festival目錄下,執行 ./configure, gmake, gmake test
   
   cd ../festival
   ./configure
   make
   make test
   make install
4. 增加4個環境變數(~/.bashrc)
   export PATH=$PATH:/home/peter/project/festival/bin
   export PATH=$PATH:/home/peter/project/speech_tools/bin
   export ESTDIR=/home/peter/project/speech_tools
   export FESTVOXDIR=/home/peter/project/festvox
5. 到festvox目錄下,執行 make
   cd festvox
   ./configure
   make

使用

shell下

festival內

festival 因為連結了readline函式庫，因此按鍵方式與shell下與emacs相同

設定檔

Festival 的語音架構 (Speech Architecture)

本文主要在探討語音合成的資料結構，在此使用了語音合成的自由軟體巨擘Festival(http://www.festvox.org/packed/festival/1.4.3/ )，來剖析，並以Lisp家族中的Scheme來作為研究的工具。

Festival這套語音合成系統是由蘇格蘭愛丁堡大學(University of Edinburgh)因為愛丁堡藝術節而命名 ，其核心以C++撰寫而成，但因為配合使用了SIOD函式庫，所以可以使用Scheme來控制與使用。 目前的穩定版本為1.43版，最新版本為2004/7/14的 1.95版。

卡內基美濃大學 配合 Festival 發展了一個子計畫：Festvox(http://festvox.org/)，目的在提供更多樣化的語音與更好的語音品質與手冊文件。

產生Utterance物件

在安裝Festival完成之後，我們可以簡單的試一下要如何發聲，在提示符號下輸入 (SayText "This is an example")

festival> (SayText "This is an example")
#<Utterance 0x404054e8>

回應表示festival將使用者鍵入的文字轉換為一個名為Utterance的資料結構中，並儲存在記憶體0x404054e8位址上 ，因為後續要針對這個語音的資料結構進行拆解，因此了定義一個「sen」 的變數指向它，以便接下來可以對這個Utterance 結構進行剖析

festival> (set! sen (SayText "This is an example"))
#<Utterance 0x40554b98>

Utterance的結構

從語音學(phonetics)的層次上，至少可以將一句話(Utterance)從不同的觀點來解析，如詞組(phrase)、語詞(Word)、音節(Syllable)、音節(Segment)等，這些不同的觀點在此我們可以稱為Relations。 例如：從Word這個Relation來看，它是由 This<->is<->an<->example所串連而成，而這個「This」、「is」、「an」、「example」在此稱之為 item，而每一個item有一組屬性，用來描述本身的特徵，在此稱之為Features。

Utterance relations的組成	Word relation的組成

如果不好理解的話，我們另外舉一個例子，有一個學生Peter (like utterance) ，他的社會關係(relations)可以有 朋友關係 (like word relation) 、學校關係(like syllable relation)、家庭關係(like segment relation)，而以朋友關係為例，Peter認識Cathy、Cathy認識Tom、Tom認識Emma，這些人(like item)本身各有特色(like features)，如性別，年齡，身高，血型等。

Peter同學社會關係的組成	朋友關係的組成

而在Festival中對於語音(speech)或語言的(linguistic)的結構上也因而有三個主要的形式

1. Items(項目) ： Item 指的是一個單一的語言單元，像是 phone(音素), word(單字), syllable(音節) , syntactic node(語法上的節點) , intonation phrase(聲調片語) 等 。 每一個 Item 都有自己的 features(特徵值) ，用以描述本身的局部屬性，例如名稱，發音長短等。features 的內容可能是文數字或是函數。
2. Relations(關係) ：relation 將上述的 item 連結在一起，例如可能會有word(單字), 語法(syntax), syllable(音節) ,等的relation。 relations 通常以圖形的資料結構表示，有lists, trees ，而最常見的是雙向的鏈結串列，例如 ：word 的 relation 就是一個雙向的鏈結串列，它依序連結了所有在 utterance 中的 word 。 relations 也可能是以樹的資料結構表示，例如：一個音節的 relation 包含了開始(onset)，結束(coda)，中心(nucleus)，與韻律(rhyme)的結構 。 有一點很重要，那就是 items 可以有超過一個以上的 relation ，例如：一個語法的 relation是一個樹狀結構，它的樹葉是 words ，而這些words本身又包含在 word的 relation 。
3. Utterances(語調) ： utterances 由 items 組成，每個 item有許多的features，item 間可能有1到多個 relations。

鍊結串列型的relations

接下來我們來瞭解Word relation的組成，在此我們要利用上面定義的sen變數，先看看在Word relation有幾個 item

festival> (utt.relation.leafs sen 'Word)
(#<item 0x87a1680>
  #<item 0x87a2170>
  #<item 0x87a2418>
  #<item 0x87a26c8>)

festival> (utt.relation.first sen 'Word)
#<item 0x87a1680>

festival> (set! firstword (utt.relation.first sen 'Word))

既然我們有了一個名為firstword的item，我們當然要看看它有哪些features

festival> (item.features firstword)
((id "_5")
  (name "This")
  (pos_index 2)
  (pos_index_score 0)
  (pos "dt")
  (phr_pos "dt")
  (pbreak_index 1)
  (pbreak_index_score 0)
  (pbreak "NB"))

我們也可以指定只看單一的feature，例如：要看firstword這個item名為「name」的feature

festival> (item.feat firstword "name")
"This"

除了直接指定item的順序之外，我們還可以利用目前的item位置，往後取得下一個item或往前取得前一個item

festival> (set! secondword (item.next firstword))
#<item 0x87a2170>
festival> (item.feat secondword "name")
"is"
festival> (item.feat secondword "p.name")
"This"

樹狀型的relations

接下來我們來瞭解 SylStructure relation的組成，在此我們要利用上面定義的sen變數，先看看在 SylStructure relation有幾個 item

festival> (utt.relation.leafs sen 'SylStructure)
(#<item 0x87a30b8>
  #<item 0x87c3060>
  #<item 0x87a57b8>
  #<item 0x87a59e8>
  #<item 0x87c2cb8>
  #<item 0x87c2d48>
  #<item 0x87a42d8>
  #<item 0x87a4758>
  #<item 0x87a48f8>
  #<item 0x87a4c78>
  #<item 0x87a4e18>
  #<item 0x87a4fb8>
  #<item 0x87a5158>
  #<item 0x87a54d8>
  #<item 0x87be800>)

festival> (utt.relation.first sen 'SylStructure)
#<item 0x87a1680>

實驗歷程

觀察整理

自訂函數

(define (valot utt rel)
   to_end (utt.relation.first utt rel)
)

(define (to_end node)
   (if node
      (cons (sub_tree node) (to_end (item.next node)))
      nil
   )
)

(define (sub_tree node)
   (if (item.daughters node)
      (mapcar sub_tree (item.daughters node))
      node
   )
)

(define (mapleaf fun 1st)
   (cond
    ((null? 1st) nil)
    ((atom 1st) (fun 1st))
    (t (cons (mapleaf fun (car 1st)) (mapleaf fun (cdr 1st))))
   )
)

使用festival發出中文語音的實驗

語音結構遊覽必備函數

Festival說明檔摘要

快速上手

Scheme

Emacs and Sable

Utterances

festival語音合成的基本物件就是utterance，以下列出如何將文字轉換為發音的步驟

1. tokenization
2. token identification
3. token to word
4. part of speech
5. prosodic phrasing
6. lexical lookup
7. intonational accents
8. assign duration
9. generate F0 contour(tune)
10. render waveform

以自由軟體實作應用於專屬領域的合成語音

摘要

本文介紹了一個可靠又有效率的方法來建立應用於專屬領域(limited domain)的合成語音，完整的合成語音要能夠發出所有的字詞甚至是符號，但在某些應用系統上卻只要發出部份且固定的字詞而不需要每個字都能夠發聲，像是 117 的報時台或預報天氣等系統就僅需要專屬領域的合成語音，以下讓我們來實作一套以自己的聲音錄製的報時語音檔藉著Festival語音合成工具與Festvox聲音建立工具。

簡介

語音合成又名為文句轉語音 (Text-to-Speech)，它可應用的範圍相當廣泛，例如，氣象或報時等訊息發佈系統、電話查號系統、盲胞語音輔助系統 、有聲書等，隨著進來語音應用需求的增加可以發現，大多數的語音仍舊是採取預先錄製的方法而不使用語音合成系統來產生語音，其主要原因在於， 無論接受的是一段文字的輸入或是一篇文章，這些文字本身並沒有包含任何聲學特性 (acustic feature，例如聲調的高低，停頓方式，發音長短等韻律 參數)，只有語言學的特性，所以必須透過自動預測的機制來產生這些文字的可能的聲學特性 而所謂自動預測的機制，一般有 rule-based 跟 data driven 兩大類手法，但是這兩種手法合成的品質音色平淡又缺乏吸引力且遇到連續發音或要保留語者音色時表現都不好， 因此近來流行音節串接法(corpus-based syllable concatenation)，就是以一個錄好聲音的語料庫來當作比對的標的，從語料庫中抓出相對應的合成單元，相較於在 rule-based 跟 data driven 手法下所需要做細節的聲韻調整也因此減少了許多，如此一來不但具有了與預錄方式一樣自然度之外更減少了大量錄製所耗費的時間與成本。

本文使用了英國愛丁堡大學語言研究中心所研發的語音合成軟體Festival，它使用了二種增進合成語音品質的技術，語音單元選取合成法(unit selection synthesis)與泛用型雙音素合成法(general diphone synthesis)，而配合專屬領域的語音少量而固定變化的特性，在本篇所使用到的語音單元選取合成法是簡化過了的，方法是事先將所需要的語音錄製下來，語音合成時會自動選取其中相似的語音單元來作發聲，因此與泛用型的語音單元選取合成語音系統(general unit-selection based TTS)比較起來，聲音更為流暢與自然。

規劃製作語音環境

在製作報時語音檔前，我們要先作一些準備工作

1. 尋找適當的語者：
   因為語者的音色會影響到合成語音的品質，同時讓語者瞭解合成的語音資料庫的授權是自由的
2. 尋找品質好的音效卡與麥克風：
   因為我們要建立一個可以讓單元選取技術利用的資料庫
3. 安裝下列相關套件：
   安裝與基本使用方式可參考 http://www2.cyut.edu.tw/~s9154610/festival.html#install
   1. 安裝語音合成工具：festival
   2. 安裝語音製作工具：festvox
   3. 安裝語音分析工具：emulabel
4. 安裝位置：
   /home/peter/projects/(根據語者名稱安裝在其家目錄的projects子目錄中,本例的語者名稱為peter)
5. 建立相關的環境變數：
   export PATH=$PATH:/home/peter/projects/festival/bin
   export FESTVOXDIR=/home/peter/projects/festvox
   export ESTDIR=/home/peter/projects/speech_tools
6. 測試錄音效果與品質：
   我們選擇在個人電腦搭配Linux作業系統來進行錄音，缺點是品質可能會受到電子訊號影響，優點是控制較為便利。
   • 利用aumix程式來調整麥克風的輸入音量與耳機的輸出音量。
   • 若你看到這個錯誤訊息"Can't open output file '/dev/dsp': Device or resource busy"可以有2個解決方案
     • 換一塊標準的音效卡: 如sound blaster card
     • 使用Xwindow選單中的 設定/KDE/音效/Sound System 其中的聲音I/O標籤頁，將聲音輸出入方式改為『沒有聲音輸入/輸出』
   • 錄一段5秒的音，聽聽看麥克風雜訊的狀況，並持續調整調整到OK的狀況。
     $ESTDIR/bin/na_record -f 16000 -time 5 -o test.wav -otype riff
     $ESTDIR/bin/na_play test.wav
   • 或利用sox錄音，也可利用sox放音，聽聽看麥克風雜訊的狀況，並持續調整調整到OK的狀況。
     $ESTDIR/bin/sox -c2 -sw -r 16000 -t ossdsp /dev/dsp -c1 -sw -r 16000 test.wav
     $ESTDIR/bin/sox test.wav -c2 -t ossdsp /dev/dsp
   • 也可顯示波形與頻譜(需安裝emulabel搭配tcl與emu)
     
     $FESTVOXDIR/src/general/display_sg test.wav
   有幾個減少噪音干擾的方法
   1.避免麥克風的線與其他的線纏繞，特別是電源線。
   2.改變電腦的角度與位置。
   3.改變音效卡的插槽位置。
7. 耐心與恆心：
   要錄製令人滿意的語音有時候要花相當多的時間，儘量是一次錄完，因為每個人不同時段的嗓子狀態都不同，尋找相同的錄音環境與條件或心情，將所有設備調整測試到最佳狀態才能達到最好的語音品質。

建立語音

建立報時的資料庫

首先我們在使用者家目錄中建立存放語音的目錄 data/time，然後透過festvox提供的命令稿(scheme file)讓我們可根據應用的「機構」，「語者」，「領域」的參數建立在語音目錄下所需的資料庫

• 所屬機構名稱：cyut(朝陽科技大學，若僅為個人使用建議為net)
• 應用領域名稱：time (本例應用在報時上)
• 錄音的語者名稱：peter

執行 setup_ldom 這個命令稿後我們可以發現它在 data/time 下產生了許多為了存放合成語音的目錄與檔案，特別的是在 data/time/festvox 子目錄下有4個用來控制 festival 的 scheme 命令稿，我們稍後可能需要編輯它。(檔案變動列表)

文後所提及之目錄名稱，除非特別指定，否則皆以 ~/data/time 為相對目錄起始點。

檔案變動列表利用 ls -1R 取得目錄列表。

設計提示語(Designing the prompts)

根據應用的領域我們必須設計一個提示語的參考檔，通常是以 DOMAIN.data 命名，如本例應用在語音領域就應該取名為 time.data 這個提示語的參考檔必須放在語音目錄的etc下，但因為我們使用了 festvox 提供的自製報時語音命令稿(下面例子的 build_ldom.scm )，因此 etc/time.data 已被自動建立，值得注意的是若我們要自行產生 DOMAIN.data ，其中不可有空行，且左括號之後要空一格。

根據提示語錄製語音(Recording the prompts)

festival提供了一個命令稿 build_ldom.scm 來根據 etc/time.data 產生錄製語音時所用的提示語，它將會在 prompt-lab, prompt-utt, prompt-wav 等3個目錄中產生 time0001~time0024 各24個檔案。(檔案變動列表)

接下來需鍵入 prompt_them 指令， festival 會根據已建立的提示語念出句子來，當我們看到"starting recording"後就跟著念一遍，festival會將語者所發的語音儲存在wav目錄中產生time0001~time0024等24個wav檔，要注意的是超過10秒的語音會花費很多的swap空間。(檔案變動列表)

自動比對提示語(Autolabeling the prompts)

萃取音調符號與建立LPC餘數(Extracting pitchmarks and building LPC coefficients)

從發音中取出語音合成單元(Building a clunit based synthesizer from the utterances)

取出的合成單元包含了語言學(phonetic)與聲韻學(prosodic)的特性來建立決策樹(decision tree)。

若不算錄音的時間，大約只要3分鐘的時間就可以建立完成了。

也可以使用英語之外的語言建立報時所用的語音檔喔。

• 在festival/clunits 目錄下增加了 cyut_time_peter.catalogue 一個檔案
• 在festival/feats目錄下增加了132個檔案(*.feats)
• 在festival/trees目錄下增加了133個檔案(*.tree)

(檔案變動列表)

測試與調整(Testing and tuning)

參考文獻

1. Black, A., and Lenzo, K. Building voices in the Festival speech synthesis system. http://festvox.org, 2000
2. Black, A., and Lenzo, K. Limited Domain Synthesis.

說明檔翻譯(未完成)

• 第20章 UniSyn synthesizer(統一的合成器)
  自1.3版起加入了新的通用型合成模組。這個設計用來取代舊的雙音素合成器將在下個章節來說明，為了連續音而非雙音素的的語音進行一般化的波形合成器與訊號處理模組而需要 重新設計之，同時在完整的雙音素資料庫的預處理函數會被加至語音工具函式庫
• 20.1 Unisyn database format(統一的合成資料庫格式)
  統一的合成模組以兩種基本格式來使用資料庫,分離式與群組式,分離格式指的是當所有的檔案(信號,音高符號與係數檔)在合成時分別地被存取,這是在資料庫發展時的標準使用方 式,群組格式指的是蒐集了所有聲波合成所需的資訊到一個獨特的檔案的資料庫,這種格式是設計用來散佈與一般使用的資料庫.
  資料庫應該由一組波形(或許應該稱為訊號處理方法所需的一組係數),一組音高符號與索引所組成.我們現在的信號處理是需要音高符號來作音高的同步
• 20.1.1 Generating pitchmarks(產生音高符號)
  音高符號可以從語音工具函式庫中驗證過的程式pitchmark所產生的喉音圖檔案中得出,針對這個程式要使用正確的參數還是有點藝術形式.第一個主要議題是lar檔 案格式的未來走向.我們已經看過2者雖然它看起來像是CSTR機構提供的亂七八糟的東西,相較於其他機構的正確方向上,在pitchmark上的-inv這個參數正是為了 此檔案格式所提供,其它的議題是獲取音高符號的校正,基本產生音高符號的命令如下
  
• pitchmark -inv lar/file001.lar -o pm/file001.pm -otype est -min 0.005 -max 0.012 -fill -def 0.01 -wave_end

  -min,-max,-def(無聲的範圍)這些參數都需根據與者的音高範圍來調整.以上適合男性的語者.-fill這個參數代表無聲的段落需要被填上等量的空白音高記號

• 20.1.2 Generating LPC coefficients(產生LPC的係數)
  LPC的係數可用sig2fv這個命令來產生,可分為產生係數與餘數2個步驟,示範命令如下
  

• coefficients	sig2fv wav/file001.wav -o lpc/file001.lpc -otype est -lpc_order 16 -coefs "lpc" -pm pm/file001.pm -preemph 0.95 -factor 3 -window_type hamming
  residual	sig2fv wav/file001.wav -o lpc/file001.res -otype nist -lpcfilter lpc/file001.lpc -inv_filter

  在某些資料庫你可能需要正規化其音量強度.或許正規化音量強度有點難,不過我們提供了示範的函數可將這個工作做到還可以接受的程度,你需要在作LPC的分析前先作它(且確 定在取出餘數的動作是在正規化之後而非原始的波形檔)
  ch_wave -scaleN 0.5 wav/file001.wav -ofile001.Nwav
  正規化音量是藉由先最大化信號然後乘以給予的係數.如果資料庫的波形是乾淨的,這麼做後就可以得到合理的結果.
• 20.2 Generating a diphone index(產生雙音素的索引)
• 20.3 Database declaration(資料庫的宣告)
• 20.4 Making groupfiles(製作群組檔案)
• 20.5 UniSyn module selection(統一合成模組的選擇)
• 20.6 Diphone selecction(雙音素的選擇)

相關名詞

愛丁堡藝術節

CSTR(The Centre for Speech Technology Research)

CSTR是一個有關各種學問的研究中心,目前著手語音研究的應用導向

網路資源

• Festiva
• Festvox
• 11-752: Schedule: Spring 2004
• wikipedia
• Building Synthetic Voices
• Building Limited Domain Voices For Use With Festival
• LIMITED DOMAIN SYNTHESIS
• Building a Limited Domain synthesiser with Festival
• On-line synthesis example
• The Festival Speech Synthesis System - System documentation
• 處理聲音的應用程式
• Examples of Synthesized Speech
• Duke Speaks: Free Speech Synthesis
• Diphone Definition for Mandarin Speech Synthesis
• Speech Synthesis - References
• HMM-Based Speech Synthesis System (HTS)
• Duke Speaks: Free Speech Synthesis
• FestVox To FreeTTS
• HTS Voices for Festival
• Overview of Speech Synthesis technology
• DSP Project : Speech Synthesis

主 網 站：http://peterju.notlong.com (目前轉址至 http://irw.ncut.edu.tw/peterju/)

| | | | | |
This work is licensed under a Creative Commons License