Beatrice は、
を特徴とする AI ボイスチェンジャー VST® です。
誰でも無料で使うことができます。
動作環境
OS: Windows® 10/11
CPU: Intel® Core™ シリーズ第 4 世代以降 / N100
これまでの Beatrice の構成を全て見直し、 大幅な性能強化と利便性の向上を目指した Beatrice 2 を開発中です。
現在ベータ版を公開しています。
「OLUNE」は、Leo Carvalho氏によって製作された音声合成キャラクターです。
■olune site
■Voice actor: Leo Carvalho
■Illustrator: @Thor.Vg8
超軽量・超低遅延なAIボイチェン「Beatrice」正式リリースしました！🎉🎉
— Project Beatrice (@prj_beatrice) September 10, 2023
CPUシングルスレッドでみんなつくよみちゃんになりましょう！！https://t.co/dtkPZO0hqa#つくよみちゃん pic.twitter.com/hAMgff5049
Beatrice 2 には次のような特徴があります。
公式 VST の動作には必ず VST ホストアプリケーションが必要です。
公式 VST の代わりに beatrice-client または VCClient を使用することで、VST
ホストアプリケーションを介さずに動作させることができます。
これらのソフトウェアは公式 VST と同じ推論ライブラリを使用しており、単体で声の変換が可能です。※
※ 遅延の長さは各ソフトウェアの実装に依存します。
※ 最新モデルへの対応が公式 VST より遅れる場合があります。
Beatrice の開発では、権利侵害の恐れのあるデータを学習に使用しないよう、細心の注意を払っています。
Beatrice 2 を構成するモジュールは、大まかに「ユーザが喋った内容を認識する部分」と「目標話者の声質で音声を合成する部分」に大別されます。
使用される学習データは、モジュールによって異なります。
以下は、公式に配布している Beatrice 2 のモデルの学習に使用されたデータセットの一覧です。(2.0.0-beta.4 時点)
ReazonSpeech
は、株式会社レアゾン・ホールディングスが公開している大規模日本語音声コーパスです。
ワンセグ放送の録画データから音声が収集され、著作権処理 (元の番組が復元できないよう分割・ファイル名のハッシュ化) が行われています。
Beatrice 2 では、ユーザがどんな声を入力しても発話内容の認識が可能となるよう、「ユーザが喋った内容を認識する部分」の学習のみにこのデータを使用しています。
合成部分では使用していないため、入力音声がこのデータに含まれる話者の声質に変換されることはありません。
DNS Challenge は、Microsoft® が公開しているノイズ抑制モデル開発向けのデータセットです。
Beatrice 2 では、ユーザの入力した音声に含まれるノイズを無視して声のみを変換できるよう、このデータセットに含まれるノイズデータを使用しています。
このノイズデータはすべて、著作権法上の例外や権利制限規定にもとづく場合にはライセンスの規定に従う必要は無いと明示的に記載されたライセンス (CC0, CC BY, CC BY-SA) が付与されたものです。
LibriTTS-R は、Google®
と東京農工大学の研究者らが公開している英語音声コーパスです。
パブリックドメインの LibriVox 朗読音声を元に音質向上処理を行っています。
Beatrice 2 では、より品質の高い音声の合成が可能となるよう、「目標話者の声質で音声を合成する部分」の事前学習に使用しています。
各目標話者の音声データを、公開データのライセンスに従って、または個別の許諾を得て、「目標話者の声質で音声を合成する部分」の学習に使用しています。