비디오 분석을 위한 LLM 도구
🚀 프로젝트 소개
이 프로젝트는 Claude와 같은 LLM이 비디오를 실제로 분석할 수 있도록 돕는 도구입니다. URL이나 로컬 파일에서 장면 인식, 중복 제거된 프레임, 그리고 전사(transcript)를 생성하여 AI가 비디오 내용을 이해할 수 있게 합니다.
✨ 주요 기능
- 비디오의 중요한 장면을 자동으로 추출하여 중복된 프레임을 제거
- 비디오의 오디오를 전사하여 텍스트 파일로 제공
- CLI 및 웹 인터페이스를 통해 간편하게 사용 가능
🛠️ 기술 스택
이 프로젝트는 Python을 기반으로 하며, FFmpeg를 사용하여 비디오 처리 및 장면 감지를 수행합니다. Whisper를 통해 오디오 전사 기능을 제공합니다.
💡 활용 방법
개발자는 이 도구를 사용하여 비디오 콘텐츠를 분석하고, AI 모델이 비디오의 내용을 이해하도록 돕는 다양한 애플리케이션을 개발할 수 있습니다.
📄 Original (English)
Let Claude (or any LLM) actually watch a video — scene-aware, deduplicated frames + transcript, from a URL or local file. Runs locally, MIT.
claude-real-video
Let Claude — or any LLM — actually watch a video.
pip install "claude-real-video[whisper]"
npx skills add HUANGCHIHHUNGLeo/claude-real-video # one command, installs the skill into Claude Code, Cursor, Codex, Copilot, Gemini CLI & 50+ agent hosts
Then paste a video link into your agent and ask about it. (CLI-only use? crv "<url>" works with just the pip install.)
Naming: crv is the short name for claude-real-video (the PyPI package). The paid add-on, crv Pro, is sold on Capafy under the listing name "llm-real-video Pro".
Same 58-second clip: fixed 1 fps sampling = 58 frames. crv keeps the 26 that actually differ — and
--gridpacks them into 3 contact sheets. Fewer tokens, nothing missed.
This free version lets your AI see the video. crv Pro lets it understand it — how it was shot (cut rhythm, camera moves) plus a timestamped timeline of what frames can't show: gestures, expressions, voice pitch shifts, emotion, sound events. One-time founder price $19 through July 31 ($29 from August 1) — get it on Capafy or buy with card via Lemon Squeezy.
Most AI tools don't really see a video. Paste a YouTube link into ChatGPT and it reads the transcript, not the picture. Claude won't take a video file at all. Even Gemini, which can read video natively, has to send it up to Google and samples frames at a fixed interval (1 fps by default), so fast cuts slip past.
claude-real-video does it differently, and the processing runs locally: point it at a URL or a
MIT License