RubatoCodec: Budgeted Adaptive Speech Tokenization with Streaming Decoding
Chihiro Arata, Shohei Taniguchi, Gouki Minegishi, Kan Hatakeyama-Sato
発話単位のトークン数を厳密に制御でき、ストリーミング復号にも対応した可変フレームレート音声コーデック。
研究論文
Chihiro Arata, Shohei Taniguchi, Gouki Minegishi, Kan Hatakeyama-Sato
発話単位のトークン数を厳密に制御でき、ストリーミング復号にも対応した可変フレームレート音声コーデック。
T5Gemmaをベースにしたエンコーダ・デコーダ型のコーデック言語モデルによる多言語ゼロショット音声合成。PM-RoPEにより発話長を制御。
Zennでの技術記事の発信
GitHubで公開しているプロジェクト
A Flow Matching-based Text-to-Speech Model with Emoji-driven Style Control
Multilingual TTS model with voice cloning and duration control, based on T5Gemma encoder-decoder LLM
Inference server for MioTTS, a lightweight and fast LLM-based TTS model.
OpenAI Text-to-Speech API compatible server for Irodori-TTS
Hugging Faceで公開しているモデル/データセット
これまでの職歴
Senior Research Engineer
2025年10月~現在
LLMやTTSをはじめとするAIモデルの研究開発・運用などを担当
LLMエンジニア
2025年3月~2025年9月
自社サービス向けLLMのモデル開発や推論クラスタ構築などを担当
データサイエンティスト
2023年4月~2025年2月
生成AIによる社内外の業務効率化支援などを担当