声の表現に、新たな軸を加える。

Beatrice 2 には次のような特徴があります。

• 単純なピッチシフト以上にピッチを変化させないため、喋り方の癖やイントネーションを保持した変換や、歌声の変換を行うことができます。
• 学習ツールキットを OSS として公開しているため、新しい目標話者のモデルを誰でも作成・配布できます。
• モデルアーキテクチャを公開しているため、Beatrice 2 のモデルで声の変換を行うソフトウェアを誰でも作成できます。^※

※ 公式推論ライブラリを利用する場合は、Project Beatrice にお問い合わせください。

公式 VST の動作には必ず VST ホストアプリケーションが必要です。

公式 VST の代わりに beatrice-client または VCClient を使用することで、VST ホストアプリケーションを介さずに動作させることができます。
これらのソフトウェアは公式 VST と同じ推論ライブラリを使用しており、単体で声の変換が可能です。^※

※ 遅延の長さは各ソフトウェアの実装に依存します。
※ 最新モデルへの対応が公式 VST より遅れる場合があります。

Beatrice の開発では、権利侵害の恐れのあるデータを学習に使用しないよう、細心の注意を払っています。

Beatrice 2 を構成するモジュールは、大まかに「ユーザが喋った内容を認識する部分」と「目標話者の声質で音声を合成する部分」に大別されます。
使用される学習データは、モジュールによって異なります。

以下は、公式に配布している Beatrice 2 のモデルの学習に使用されたデータセットの一覧です。(2.0.0-rc.0 時点)

Reazon^®Speech

ReazonSpeech は、株式会社レアゾン・ホールディングスが公開している大規模日本語音声コーパスです。
ワンセグ放送の録画データから音声が収集され、著作権処理 (元の番組が復元できないよう分割・ファイル名のハッシュ化) が行われています。

Beatrice 2 では、ユーザがどんな声を入力しても発話内容の認識が可能となるよう、「ユーザが喋った内容を認識する部分」の学習のみにこのデータを使用しています。
合成部分では使用していないため、入力音声がこのデータに含まれる話者の声質に変換されることはありません。

VocalSet (2.0.0-rc.0 以降で使用)

VocalSet は、ノースウェスタン大学の研究者らが公開している歌声コーパスです。
20 名のプロ歌手による、母音 5 種を用いた様々な発声法が体系的に収録されています。

Beatrice 2 では、ユーザの歌声を正しく認識できるよう、「ユーザが喋った内容を認識する部分」の学習のみにこのデータを使用しています。
合成部分では使用していないため、入力音声がこのデータに含まれる話者の声質に変換されることはありません。

DNS Challenge

DNS Challenge は、Microsoft^® が公開しているノイズ抑制モデル開発向けのデータセットです。

Beatrice 2 では、ユーザの入力した音声に含まれるノイズを無視して声のみを変換できるよう、このデータセットに含まれるノイズデータを使用しています。
このノイズデータはすべて、著作権法上の例外や権利制限規定にもとづく場合にはライセンスの規定に従う必要は無いと明示的に記載されたライセンス (CC0, CC BY, CC BY-SA) が付与されたものです。

LibriTTS-R

LibriTTS-R は、Google^® と東京農工大学の研究者らが公開している英語音声コーパスです。
パブリックドメインの LibriVox 朗読音声を元に音質向上処理を行っています。

Beatrice 2 では、より品質の高い音声の合成が可能となるよう、「目標話者の声質で音声を合成する部分」の事前学習に使用しています。

各目標話者の音声データ

各目標話者の音声データを、公開データのライセンスに従って、または個別の許諾を得て、「目標話者の声質で音声を合成する部分」の学習に使用しています。