KV

knishika62/video-analyzer

开发工具

本页由 AI 翻译,技术细节请以原文为准。 查看原文

61 stars 质量 66 趋势 21MIT

一个用于从视频生成提示的工具(视频+音频生成模型)/(Lightricks视频+音频同时生成模型),并附有相应的提示指南合集。

概览

一个用于从视频生成提示的工具(视频+音频生成模型)/(Lightricks视频+音频同时生成模型),并附有相应的提示指南合集。 - h3_video2prompt.py — 分析视频和音频,生成 H3 T2VA / I2VA / FL2VA / L2VA 提示(英文)或(--mode LTX)。还支持 **(--仅分析)无提示词 - h3_video2prompt_frames.py — 另一种模式,通过用 ffmpeg 帧提取方法替代 Pass1(视频分析)输入,生成相同输出(主单元未变,细节稍后说明)- md/ — 提示指南(H3 基础/Ref2VA,LTX-2.5 基础/IC-LoRA 系列)。除 --analysis-only 外,所有模式必备且包含 : h3_video2prompt.py 是**,因为它将整个视频作为video_url发送到LLM。此时请使用h3_video2prompt_frames.py(一种利用ffmpeg将视频拆分为静态图像并以image_url数组发送的方法)。: - ✅ Qwen3.6 / Qwen3.8系列(Qwen-VL系列)- ✅ Gemma4系列- ❌ DeepSeek — DeepSeek-V4-Flash-Vision-Exp支持图像Vision,但请提前确认您使用的模型和端点(包括上述)是否支持视频视力(video_url)。如果不支持,请使用h3_video2prompt_frames.py。 分析输入的mp4视频(例如,http://192.168.11.100:8888/v1 / qwen38-27b-dflash2。.env可以修改;细节稍后会解释),并将其转换为H3预期的提示结构(如integrated_multimodal_description / overall_soundscape / non_diegetic_music)或自然语言提示(--模式LTX)用于LTX-2.5。

概述(AI 翻译)

一个用于从视频生成提示的工具,适用于MiniMax H3(视频+音频生成模型)/LTX-2.5(Lightricks视频+音频同步生成模型),并附有一系列提示指南。

  • h3_video2prompt.py — 分析视频和音频,生成 H3 T2VA / I2VA / FL2VA / L2VA 提示(英文)或 **LTX-2.5 自然语言提示([--mode LTX)。还支持 无提示词的视频内容显示(--analysis-only)
  • h3_video2prompt_frames.py — 另一种模式,通过用ffmpeg帧提取替代Pass1(视频分析)输入来生成相同输出(主单元保持不变,细节后文说明)
  • md/ — 提示指南(H3基础 / Ref2VA,LTX-2.5基础 / IC-LoRA系列)。除--analysis-only]外所有模式必修,包含

** ⚠️ 使用哪种(重要)**:h3_video2prompt.py 将整个视频发送给大型语言模型,格式为 video_url。 支持视频视觉(视频输入)(由vLLM托管的视频大型语言模型等)的终端。 llama.cpp / 它不适用于只支持静态图像(image_url)的后端,如LM Studio。 在这种情况下,请使用 h3_video2prompt_frames.py(一种将视频拆分为 ffmpeg 静态图像并以 image_url 数组发送的方法)。

视频视觉兼容大语言模型示例(截至2026年9月,请确认以获取最新更新):

  • ✅ Qwen3.6 / Qwen3.8 系列(Qwen-VL 系列)
  • ✅ Gemma4系列
  • ❌ DeepSeek — DeepSeek-V4-Flash-Vision-Exp 支持图像视野,但不支持视频

请提前确认您使用的模型或端点(包括上述型号)是否支持视频视力(video_url。如果不支持,请使用h3_video2prompt_frames.py。


1.概述

输入mp4视频是OpenAI API兼容的愿景LLM(例如,http://192.168.11.100:8888/v1 / qwen38-27b-dflash2。`.

本页由 AI 翻译,技术细节请以原文为准。

推荐工具

换一个关键词,或者移除筛选条件。

安装

npx skillfish add knishika62/video-analyzer
新手?先看 mcpskill.org 教程 →