AWSのBedrock Nova 2 Sonic、Amazon Kinesis Video StreamsとWebRTCとリアルタイムのオーディオ/ビデオ処理を統合した包括的なSpeech(S2S) WebRTCソリューション。

サンプル解決の建築:

OST の特徴

機能

• リアルタイムWebRTC通信: Amazon KVS WebRTCを使用した低レイテンシーオーディオストリーミング
• AI-Powered Speech Processing:先進的なスピーチ・ツー・スピーナ機能のためのAWS Bedrock Nova Sonicとの統合
• Cross-Platform Support:Windows、macOS、Linux上でシームレスに動作します
• 生産準備:開発および生産環境のために最大限に活用される
• モジュラーアーキテクチャ: 別々のPythonのバックエンドとReactのフロントエンドの柔軟性
• エージェントインテグレーション:MCP(モデルコンテキストプロトコル)およびストランドエージェントのサポート

受託サービス

テストされた構成

このソリューションは、以下の正確なバージョンでテストおよび検証されています。

中心の依存関係: -Python: 3.12.x -numpy:1.26.4(condaをvに依存してインストール)

• av (PyAV): 11.0.0 (FFmpegのリンクのためのcondaによって取付けられて)
• aiortc: 1.6.0 (依存関係管理とピップを介してインストール) -ffmpeg: 6.1.2 +(コンダを介してインストール)

Nova S2S WebRTC Workshop

A comprehensive Speech-to-Speech (S2S) WebRTC solution integrating AWS Bedrock Nova 2 Sonic, Amazon Kinesis Video Streams with WebRTC, and real-time audio/video processing.

The sample solution architecture:

🚀 Features

Capabilities

• Real-time WebRTC Communication: Low-latency audio streaming using Amazon KVS WebRTC
• AI-Powered Speech Processing: Integration with AWS Bedrock Nova Sonic for advanced speech-to-speech capabilities
• Cross-Platform Support: Works seamlessly on Windows, macOS, and Linux
• Production Ready: Optimized for both development and production environments
• Modular Architecture: Separate Python backend and React frontend for flexibility
• Agent Integration: Support for MCP (Model Context Protocol) and Strands agents

📋 System Requirements

Tested Configuration

This solution has been tested and verified with the following exact versions:

Core Dependencies:

• Python: 3.12.x
• numpy: 1.26.4 (installed via conda as av dependency)
• av (PyAV): 11.0.0 (installed via conda for FFmpeg linking)
• aiortc: 1.6.0 (installed via pip with dependency management)
• ffmpeg: 6.1.2+ (installed via conda)

AWS SDK:

• boto3: ≥1.34.0
• aws-sdk-bedrock-runtime: ≥0.0.1
• smithy-aws-core: ≥0.1.0

Agent Integration:

• mcp: ≥1.0.0
• strands-agents: ≥0.1.0

Hardware Requirements

• CPU: Multi-core processor (Intel i5/AMD Ryzen 5 or better recommended)
• RAM: Minimum 4GB, 8GB recommended for optimal performance
• Storage: At least 2GB free space for dependencies and build files
• Network: Stable internet connection with low latency for real-time communication
• Audio: Microphone and speakers/headphones for testing

Software Requirements

Cross-Platform Support

• Windows: Windows 10 or later
• macOS: macOS 10.15 (Catalina) or later (Intel and Apple Silicon)
• Linux: Ubuntu 18.04+, CentOS 7+, or equivalent distributions

Python Backend

• Python: 3.12 (required for AWS Bedrock runtime)
• Conda: Miniconda or Anaconda (required for proper FFmpeg/PyAV linking)
• System Dependencies: ffmpeg, pkg-config (automatically handled by conda)

React Frontend

• Node.js: 16.0 or higher (18.x LTS recommended)
• npm: 8.0 or higher (comes with Node.js)
• Browser: Modern browser with WebRTC support (Chrome 80+, Firefox 75+, Safari 14+, Edge 80+)

AWS Requirements

• AWS Account: Active AWS account with appropriate permissions
• AWS Services Access:
  • Amazon Kinesis Video Streams
  • AWS Bedrock (Nova Sonic model access)
  • IAM permissions for KVS and Bedrock

🏗️ Project Structure

sample-nova-sonic-speech2speech-webrtc/
├── README.md                    # This file
├── start-python-server.sh      # Python server launcher script (cross-platform)