nvidia-ai-blueprints/video-search-and-summarization

NVIDIA AIブループリント:ビデオ検索と要約(VSS)

GPU加速の動画AIエージェントを構築し、自然言語を用いてライブまたは録画動画を検索、分析、要約、推論します。

NVIDIA AI Blueprint for Video Search and Summarization(VSS)は、ビジョン言語モデル、RAG、NVIDIA NIMマイクロサービスを組み合わせ、リアルタイムのビデオ分析、ビジュアルQ&A、アラート検証、クリップ取得、長尺動画サマリゼーションを提供します。

• 自然言語クエリを用いて動画ストリームやアーカイブを検索
• 何時間分の動画を要約するか
• 視覚的な質問をし、自動的にレポートを生成する
• VLMによるリアルタイムアラートの検出と検証

** 🚀 デモを試してみて**** ⚡ クイックスタート** ·** 📚 ドキュメント**** 🏗️ アーキテクチャ**** 📦 最新リリース**

目次

• 概要
• ユースケース/問題の説明
• エージェントワークフロー
• ソフトウェアコンポーネント
• ターゲットオーディエンス
• リポジトリ構造概要
• 文書化
• 前提条件
• ハードウェア要件
• クイックスタートガイド
• 貢献
• ライセンス

概要

NVIDIA Blueprint for Video Search and Summarization(VSS)は、ビジョンエージェントやAI搭載のビデオ分析アプリケーションを構築するためのリファレンスアーキテクチャ群を提供します。

NVIDIA AI Blueprint: Video Search and Summarization (VSS)

Build GPU-accelerated video AI agents that search, analyze, summarize, and reason over live or recorded video using natural language.

NVIDIA AI Blueprint for Video Search and Summarization (VSS) combines vision-language models, RAG, and NVIDIA NIM microservices to deliver real-time video analytics, visual Q&A, alert verification, clip retrieval, and long-video summarization.

• Search video streams or archives using natural language queries
• Summarize hours of video
• Ask visual questions and automatically generate reports
• Detect and verify real-time alerts with VLMs

🚀 Try the Demo · ⚡ Quickstart · 📚 Documentation · 🏗️ Architecture · 📦 Latest Release

Table of Contents

• Overview
• Use Case / Problem Description
• Agent Workflows
• Software Components
• Target Audience
• Repository Structure Overview
• Documentation
• Prerequisites
• Hardware Requirements
• Quickstart Guide
• Contributing
• License

Overview

The NVIDIA Blueprint for Video Search and Summarization (VSS) provides a suite of reference architectures for building vision agents and AI-powered video analytics applications. Those architectures bring together accelerated vision microservices, vision language models (VLMs), and large language models (LLMs) so you can use them in existing applications, as standalone microservices, or as part of a larger vision agent.

VSS is organized into three areas of processing and analysis: real-time video intelligence (feature extraction, embeddings, and stream understanding with results published to a message broker), downstream analytics (enrichment of metadata into trajectories, incidents, and verified alerts), and agentic and offline processing (orchestrated tools for search, Q&A, summarization, and clip retrieval, including via the Model Context Protocol).

This repository implements the blueprint and powers the NVIDIA build experience for natural-language video agents—search, summarization, visual Q&A, and related workflows—backed by generative AI, VLMs and LLMs, and NVIDIA NIM microservices as configured in the stacks below.

Use Case / Problem Description