project
SeniorTalk - 超高齢者向けの中国語対話音声データセット。Zhiyuanと南開大学が共同開発。
SeniorTalkは、南開大学人工知能技術研究院（AIAI）と同大学コンピュータサイエンス学部人間言語技術研究所（HLT Lab）が共同開発した、世界初の超高齢者向け中国語対話音声データセットです。このデータセットには、75歳以上の202人の音声データが含まれています。
SeniorTalkとは何ですか？
SeniorTalkは、北京人工知能研究院（BAAI）と南開大学コンピュータサイエンス学部人間言語技術研究所（HLT Lab）が共同で発表した、世界初の超高齢者向け中国語対話音声データセットです。このデータセットには、75歳以上の202名から収集した合計55.53時間の音声データが含まれています。データ収集は16の省と直轄市で行われ、様々な地域訛りを網羅しています。自然なペア会話に基づき、退職、健康、日常生活といったトピックを取り上げ、実際のコミュニケーションシナリオを忠実に再現しています。データセットには、話者情報、対話の書き起こし、タイムスタンプ（文レベルと単語レベル）、訛りカテゴリラベルなど、多次元的で詳細な注釈が付与されています。SeniorTalkは、高齢者の音声信号に関する詳細な研究や、高齢者向け音声対話システムの最適化に貴重な情報を提供し、高齢者に優しい機器、健康管理、高齢者介護ロボットなどの関連産業の発展を促進します。
SeniorTalkの主な機能
- 音声認識超高齢者の音声認識精度を向上させ、高齢者が音声対話をより容易に利用できる、より高精度な音声認識システムの開発を支援すること。
- 話者確認音声対話の安全性と信頼性を確保するため、話者認証技術に関する研究を支援する。
- スピーカーの分離本システムは、複数話者間の対話データを提供し、話者分離技術の研究を支援するとともに、複雑な環境下で異なる話者の音声を正確に識別するのに役立ちます。
- 音声編集これは、音声編集技術の研究を支援し、音声合成および編集結果を向上させるための自然な対話データを提供する。
- 健康状態のモニタリングとコミュニケーション支援高齢者の発話特性を分析し、健康モニタリングや支援コミュニケーション技術に関する研究を支援するとともに、高齢者介護や健康管理のためのデータ支援を提供する。
SeniorTalkの技術原則
- データ収集この手法は、自然なペア会話に基づいており、実際のコミュニケーションシナリオをシミュレートすることで、音声データの自然さと信憑性を確保しています。データの多様性と適用性を確保するため、Android端末やApple端末など、様々なスマートフォンを使用して録音を行っています。データ収集プロセスが合法かつ安全であり、参加者のプライバシーが保護されるよう、厳格な法的および倫理的ガイドラインを遵守しています。
- データラベル付けこれには、話者情報（年齢、性別、地域、使用デバイスなど）、対話の書き起こし、タイムスタンプ（文レベルおよび単語レベル）、アクセントカテゴリタグが含まれます。データの正確性と完全性は、手動による注釈付けと校正によって保証されています。
- データ処理16kHzのサンプリングレートを持つWAVファイル形式に基づいているため、音声品質は保証されています。データセットは、さまざまな研究課題のニーズに対応するため、トレーニングセット、検証セット、テストセットに分割されています。
- 技術応用本研究は、Transformer、Conformer、E-Branchformerなどの高度なモデルを用いた学習を通じて、音声認識性能の向上を目指しています。また、話者照合および分離には、X-vector、ResNet-TDNN、ECAPA-TDNNなどのモデルを活用しています。さらに、CampNet、EditSpeech、A3Tなどの手法を用いて、音声編集技術を検証し、音声合成結果の改善を図っています。
SeniorTalkのプロジェクトアドレス
- GitHubリポジトリ：https://github.com/flageval-baai/SeniorTalk
- ハギングフェイスモデルライブラリ：https://huggingface.co/datasets/BAAI/SeniorTalk
- arXiv技術論文：https://www.arxiv.org/pdf/2503.16578
SeniorTalk アプリケーションシナリオ
- スマート高齢者介護システムこのシステムは、高齢者が音声コマンドに基づいて家電製品を操作したり、情報を検索したりすることを可能にし、利便性を向上させる。また、高齢者の健康状態をリアルタイムで監視し、警告を発する。
- 補助通信機器これは、言語障害のある高齢者が自然に自己表現を行い、複数人での会話において特定の音声コマンドを正確に認識するのに役立ちます。
- 健康管理プラットフォーム音声の特徴を分析して健康状態を評価し、音声対話を通じて健康相談やリマインダー機能を提供する。
- インテリジェント音声アシスタント高齢ユーザー向けに音声アシスタントのパフォーマンスを最適化し、より自然で分かりやすい音声フィードバックを提供する。
- 高齢者に優しい製品の研究開発高齢者に適したスマートデバイスの開発を支援し、音声対話機能が高齢者の利用習慣に適合するようにする。