Комплексное решение Speech-to-Speech (S2S) WebRTC, интегрирующее AWS Bedrock Nova 2 Sonic, Amazon Kinesis Video Streams с WebRTC и обработку аудио / видео в режиме реального времени.

Архитектура выборочного решения:

Feature Особенности

Способности

В режиме реального времени WebRTC Communication: Низкая задержка потокового аудио с использованием Amazon KVS WebRTC AI-Powered Speech Processing: интеграция с AWS Bedrock Nova Sonic для продвинутых речевых возможностей ** Поддержка кросс-платформы**: без проблем работает на Windows, macOS и Linux ** Готовое производство**: оптимизировано как для разработки, так и для производства Модульная архитектура: Отдельный бэкэнд Python и React frontend для гибкости Интеграция агентов: поддержка MCP (Model Context Protocol) и агентов Strands

##Системные требования

###Проверенная конфигурация

Это решение было протестировано и проверено в следующих точных версиях:

** Основные зависимости: **

• Питон: 3.12.x
• numpy: 1.26.4 (установлено через conda как av-зависимость)
• av (PyAV): 11.0.0 (установлено через Conda для FFmpeg linking) aiortc: 1.6.0 (установлено через pip с управлением зависимостью) ffmpeg: 6.1.2+ (установлено через conda)

Nova S2S WebRTC Workshop

A comprehensive Speech-to-Speech (S2S) WebRTC solution integrating AWS Bedrock Nova 2 Sonic, Amazon Kinesis Video Streams with WebRTC, and real-time audio/video processing.

The sample solution architecture:

🚀 Features

Capabilities

• Real-time WebRTC Communication: Low-latency audio streaming using Amazon KVS WebRTC
• AI-Powered Speech Processing: Integration with AWS Bedrock Nova Sonic for advanced speech-to-speech capabilities
• Cross-Platform Support: Works seamlessly on Windows, macOS, and Linux
• Production Ready: Optimized for both development and production environments
• Modular Architecture: Separate Python backend and React frontend for flexibility
• Agent Integration: Support for MCP (Model Context Protocol) and Strands agents

📋 System Requirements

Tested Configuration

This solution has been tested and verified with the following exact versions:

Core Dependencies:

• Python: 3.12.x
• numpy: 1.26.4 (installed via conda as av dependency)
• av (PyAV): 11.0.0 (installed via conda for FFmpeg linking)
• aiortc: 1.6.0 (installed via pip with dependency management)
• ffmpeg: 6.1.2+ (installed via conda)

AWS SDK:

• boto3: ≥1.34.0
• aws-sdk-bedrock-runtime: ≥0.0.1
• smithy-aws-core: ≥0.1.0

Agent Integration:

• mcp: ≥1.0.0
• strands-agents: ≥0.1.0

Hardware Requirements

• CPU: Multi-core processor (Intel i5/AMD Ryzen 5 or better recommended)
• RAM: Minimum 4GB, 8GB recommended for optimal performance
• Storage: At least 2GB free space for dependencies and build files
• Network: Stable internet connection with low latency for real-time communication
• Audio: Microphone and speakers/headphones for testing

Software Requirements

Cross-Platform Support

• Windows: Windows 10 or later
• macOS: macOS 10.15 (Catalina) or later (Intel and Apple Silicon)
• Linux: Ubuntu 18.04+, CentOS 7+, or equivalent distributions

Python Backend

• Python: 3.12 (required for AWS Bedrock runtime)
• Conda: Miniconda or Anaconda (required for proper FFmpeg/PyAV linking)
• System Dependencies: ffmpeg, pkg-config (automatically handled by conda)

React Frontend

• Node.js: 16.0 or higher (18.x LTS recommended)
• npm: 8.0 or higher (comes with Node.js)
• Browser: Modern browser with WebRTC support (Chrome 80+, Firefox 75+, Safari 14+, Edge 80+)

AWS Requirements

• AWS Account: Active AWS account with appropriate permissions
• AWS Services Access:
  • Amazon Kinesis Video Streams
  • AWS Bedrock (Nova Sonic model access)
  • IAM permissions for KVS and Bedrock

🏗️ Project Structure

sample-nova-sonic-speech2speech-webrtc/
├── README.md                    # This file
├── start-python-server.sh      # Python server launcher script (cross-platform)