声の表現に、新たな軸を加える。

Beatrice は、

  • 軽量 (CPU シングルスレッドで動作)
  • 低容量 (約 35 MB)
  • 低遅延 (約 0.05 秒、外部の録音機器による実測値)

を特徴とする AI ボイスチェンジャー VST® です。
誰でも無料で使うことができます。

動作環境
OS: Windows® 10/11
CPU: Intel® Core™ シリーズ第 4 世代以降 / N100

新バージョン情報

これまでの Beatrice の構成を全て見直し、 大幅な性能強化と利便性の向上を目指した Beatrice 2 を開発中です。

現在ベータ版を公開しています。

エディション (Beatrice 1)

つくよみちゃん®

「つくよみちゃん」は、夢前黎ゆめさきれい®氏がプロデュースするバーチャルキャラクターです。

つくよみちゃん公式サイト
イラスト素材:えみゃコーラ様

つくよみちゃんエディション使用許諾・ダウンロード

刻鳴時雨

刻鳴時雨ときなしぐれ」は、「瓶詰め」氏が管理する音声合成キャラクターです。

刻鳴時雨の猫ちぐら
■CV:丸ころ
立ち絵:彩瀬

刻鳴時雨エディション使用許諾・ダウンロード

OLUNE

「OLUNE」は、Leo Carvalho氏によって製作された音声合成キャラクターです。

olune site
■Voice actor: Leo Carvalho
■Illustrator: @Thor.Vg8

OLUNEエディション使用許諾・ダウンロード

つかいかた (Beatrice 1)

README.pdf

デモ (Beatrice 1)

超軽量・超低遅延なAIボイチェン「Beatrice」正式リリースしました!🎉🎉
CPUシングルスレッドでみんなつくよみちゃんになりましょう!!https://t.co/dtkPZO0hqa#つくよみちゃん pic.twitter.com/hAMgff5049

— Project Beatrice (@prj_beatrice) September 10, 2023

Q&A (Beatrice 2)

Q. Beatrice 2 は、Beatrice 1 とどう違いますか?

Beatrice 2 には次のような特徴があります。

  • 単純なピッチシフト以上にピッチを変化させないため、喋り方の癖やイントネーションを保持した変換や、歌声の変換を行うことができます。
  • 学習ツールキットを OSS として公開しているため、誰でも新しい目標話者のモデルを作成・配布できます。

Q. スタンドアロンで動作しますか? VST ホストアプリケーションなしで使用できますか?

公式 VST の動作には必ず VST ホストアプリケーションが必要です。

公式 VST の代わりに beatrice-client または VCClient を使用することで、VST ホストアプリケーションを介さずに動作させることができます。
これらのソフトウェアは公式 VST と同じ推論ライブラリを使用しており、単体で声の変換が可能です。

※ 遅延の長さは各ソフトウェアの実装に依存します。
※ 最新モデルへの対応が公式 VST より遅れる場合があります。

Q. 権利侵害の恐れのあるデータを学習に使用していませんか?

Beatrice の開発では、権利侵害の恐れのあるデータを学習に使用しないよう、細心の注意を払っています。

Beatrice 2 を構成するモジュールは、大まかに「ユーザが喋った内容を認識する部分」と「目標話者の声質で音声を合成する部分」に大別されます。
使用される学習データは、モジュールによって異なります。

以下は、公式に配布している Beatrice 2 のモデルの学習に使用されたデータセットの一覧です。(2.0.0-beta.4 時点)

Reazon®Speech

ReazonSpeech は、株式会社レアゾン・ホールディングスが公開している大規模日本語音声コーパスです。
ワンセグ放送の録画データから音声が収集され、著作権処理 (元の番組が復元できないよう分割・ファイル名のハッシュ化) が行われています。

Beatrice 2 では、ユーザがどんな声を入力しても発話内容の認識が可能となるよう、「ユーザが喋った内容を認識する部分」の学習のみにこのデータを使用しています。
合成部分では使用していないため、入力音声がこのデータに含まれる話者の声質に変換されることはありません。

DNS Challenge

DNS Challenge は、Microsoft® が公開しているノイズ抑制モデル開発向けのデータセットです。

Beatrice 2 では、ユーザの入力した音声に含まれるノイズを無視して声のみを変換できるよう、このデータセットに含まれるノイズデータを使用しています。
このノイズデータはすべて、著作権法上の例外や権利制限規定にもとづく場合にはライセンスの規定に従う必要は無いと明示的に記載されたライセンス (CC0, CC BY, CC BY-SA) が付与されたものです。

LibriTTS-R

LibriTTS-R は、Google® と東京農工大学の研究者らが公開している英語音声コーパスです。
パブリックドメインの LibriVox 朗読音声を元に音質向上処理を行っています。

Beatrice 2 では、より品質の高い音声の合成が可能となるよう、「目標話者の声質で音声を合成する部分」の事前学習に使用しています。

各目標話者の音声データ

各目標話者の音声データを、公開データのライセンスに従って、または個別の許諾を得て、「目標話者の声質で音声を合成する部分」の学習に使用しています。