** Английский ** * 中

Превратите запись лекции или конференции в структурированные, слайд-иллюстрированные заметки. и в ** синхронизированный просмотрщик HTML**, где видео, отметка времени транскрипт, и кураторское резюме сидят на одной странице: видео выделяет совпадающую ноту Когда он играет, и нажимая на любую временную метку заметки, ищет видео.

Все дорогие этапы проходят ** местно**: Whisper ASR на GPU, кадр экстракция, OCR и локальная модель видения семантики слайдов. Используется LLM Только в конце написать прозу из доказательств уже собранного трубопровода.

Цель дизайна — не «подытожить видео». Отслеживаемость: все претензии в готовом примечании должно быть прикреплено к моменту в транскрипте и к Слайд, который был на экране в тот момент. Большая часть машин существует здесь. Чтобы сделать эту связь надежной, а не правдоподобной.

Почему это существует

Реабилитационно-медицинские курсы, как известно, трудно принимать к сведению. Ручной терапия, ультразвуковое сканирование — знания находятся в движении, поэтому на каждом Конечно, вы видите лес штативов: все записывают все, планируя Посмотреть за ужином. На самом деле никто не пересматривает часы видео.

lecture-to-notes

English · 繁體中文

Turn a lecture or conference recording into structured, slide-illustrated notes — and into a synced HTML viewer where the video, the timestamped transcript, and the curated summary sit on one page: the video highlights the matching note as it plays, and clicking any note timestamp seeks the video.

Every expensive stage runs locally: Whisper ASR on your GPU, frame extraction, OCR, and a local vision model for slide semantics. An LLM is used only at the end, to write prose from evidence the pipeline already assembled.

The design goal is not “summarize a video”. It is traceability: every claim in the finished note should be attachable to a moment in the transcript and to the slide that was on screen at that moment. Most of the machinery here exists to make that link trustworthy rather than plausible.

Why this exists

Rehabilitation-medicine courses are notoriously hard to take notes on. Manual therapy, ultrasound scanning — the knowledge is in the motion, so at every course you see a forest of tripods: everyone records everything, planning to rewatch over dinner. Nobody actually rewatches hours of video.

With AI the first instinct was to teach it precise screenshotting, to squeeze the video back into a traditional text-plus-figures note. The turn was realizing a note doesn’t have to be that shape at all: build a webpage that ties the video to the transcript, and you can jump straight to the moment you care about. What you actually want to know is how the maneuver is performed — and that only lives in motion. So the summary is for studying, the transcript is for verifying, and the video is one click away from both.

Bring whatever you captured

Real courses never produce one tidy recording. Some talks you filmed, some you only audio-recorded, for some you photographed the slides with your phone, and sometimes the organizer hands out a PDF deck afterwards. This pipeline takes the folder as-is: route_inputs.py figures out what role each file plays, and the alignment stage stitches every source onto one shared timeline — so the finished note cites the right slide at the right moment even when that slide never appeared inside the video.

---

What it does

flowchart TD
    IN["material folder(video / audio / PDF deck / slide images)"]
    IN --> R["route_inputs.pyclassifies the folder, prints the plan"]
    R --> T["transcribe_video.pyfaster-whisper, local GPU"]
    R --> S{"slide source"}

    S -->|video only| A["extract_slides.pyframes + perceptual dedup"]