VectCutAPI CapCut MCP Server: Lokales Video-Editing per KI-Agent steuern

Kurz gesagt: Wir haben einen MCP-Server gebaut, der CapCut Desktop (Windows) über Python fernsteuert. 11 Tools: Draft erstellen, Video/Audio/Bild/Text/Untertitel/Effekte/Sticker/Keyframes hinzufügen, Dauer abfragen, Draft speichern. Alles läuft lokal – kein Cloud-Rendering, keine API-Kosten. Der Draft wird per SMB auf den Windows-PC geschoben, dort in CapCut geöffnet und gerendert.

Ausgangslage: Warum CapCut MCP?

Unsere FFmpeg-Pipeline hat Grenzen bei komplexen Effekten, Keyframe-Animationen, CapCut-Stickern und dynamischen Untertiteln. Die Idee: CapCut als Rendering-Engine nutzen, aber per MCP (Model Context Protocol) steuerbar für KI-Agenten.

Architektur: MCP Server + CapCut Desktop + SMB Bridge

Komponente	Technologie	Rolle
MCP Server	Python (FastMCP / stdio)	Stellt 11 Tools für KI-Agenten bereit
Draft Engine	pyJianYingDraft (Reverse Engineering)	Erzeugt CapCut-kompatible JSON-Drafts
CapCut Desktop	Windows App (WORKSTATION03, RX 6800)	Öffnet Draft, rendert final (h264_amf)
Datei-Transfer	SMB (smbprotocol) Chunked Writes	Draft-Ordner vom Linux-Server zum Windows-PC
KI-Agent	Hermes / Claude / Custom	Ruft MCP-Tools auf, orchestriert Schnitt

Die 11 MCP Tools

• create_draft(width, height) – Neues Projekt (Default 1080×1920)
• add_video_track – Video-Clips mit Transition, Mask, Blur, Speed
• add_audio_track – Audio mit Speed/Volume
• add_image_track – Bilder mit Intro/Outro-Animation
• add_text_track – Rich Text, Multi-Style, Shadow
• add_subtitle_track – SRT-Import mit Styling
• add_effect_track – CapCut-Effekte (Glitch, Zoom, Shake)
• add_sticker_track – CapCut-Sticker via Resource ID
• add_keyframe – Position, Scale, Rotation, Opacity über Zeit
• get_video_duration – Dauer via ffprobe
• save_draft – Schreibt Draft-Ordner lokal (CapCut-Format)

Herausforderung: SMB Large File Transfer

CapCut-Drafts sind Ordner mit vielen JSON-Dateien + Media-Cache. SMB Buffer-Limit bei Dateien >2 MB.

CHUNK_SIZE = 512 * 1024  # 512 KB
for i in range(0, len(data), CHUNK_SIZE):
    chunk = data[i:i+CHUNK_SIZE]
    file.write(chunk, offset=i)

Anmeldedaten für WORKSTATION03 (192.168.188.93) pro Session anfordern, nicht speichern.

Workflow: Vom Prompt zum fertigen Short

1. Agent entscheidet: Short mit Hook Story CTA, visuell: satisfying factory loop
2. MCP Calls: create_draft -> add_video_track -> add_audio_track (TTS+Musik) -> add_subtitle_track -> add_keyframe -> save_draft
3. SMB Transfer: Draft-Ordner per Chunked-Write auf WORKSTATION03
4. CapCut Desktop: Draft öffnen -> Exportieren (h264_amf, RX 6800)
5. Upload: MP4 -> YouTube Data API -> Shorts Feed

Vergleich: FFmpeg vs. CapCut MCP

Feature	FFmpeg Pipeline	CapCut MCP
Rendering Speed (32-Core EPYC)	Serial ultrafast CRF 22	GPU (RX 6800, h264_amf)
Komplexe Transitionen	filter_complex Hölle	1-Liner Tool-Call
Keyframe-Animationen	Kaum wartbar	Native CapCut Keyframes
Untertitel-Styling/Animation	drawtext + ASS	CapCut Presets + SRT
Sticker/Overlays (CapCut Assets)	Nicht möglich	Native Resource IDs
Cloud-unabhängig	Vollständig	Benötigt Windows PC + CapCut
KI-Agent steuerbar	Python API	MCP Tools (nativ für LLMs)
Kosten	0 Euro	0 Euro (lokal)

Lessons Learned

pyJianYingDraft ist Reverse Engineering – CapCut Updates können Breaking Changes bringen. Version pinning nötig.

SMB über LAN ist Flaschenhals – 1 Gbit/s ≈ 40-60 MB/s praktisch. Große Drafts dauern.

CapCut Desktop muss laufen – Kein Headless-Modus. Workaround: AutoHotkey für Export-Klick.

Kein Cloud-Rendering – Feature, nicht Bug. Skalierung nur über mehr Windows-PCs.

Draft-Format Versionierung – CapCut 4.x vs 5.x Draft-Struktur unterscheidet sich.

Fazit: Hybrid-Pipeline als Sweet Spot

VectCutAPI/CapCut MCP PoC ist funktionsfähig. Er ersetzt FFmpeg nicht, sondern ergänzt:

FFmpeg bleibt Primär: Bulk-Rendering, Simple Cuts, Transcoding – schnell, stabil, skalierbar auf 32 Cores.

CapCut MCP für Specials: Komplexe Transitionen, Keyframes, CapCut-Sticker, dynamische Untertitel.

Entscheidung: Brauche ich CapCut-spezifische Assets/Effekte? Ja: MCP. Nein: FFmpeg.

Weiterführende Artikel

Projekte-Übersicht

Tool- & Script-Hub: FFmpeg, yt-dlp, Python

YouTube Shorts Pipeline: Reddit-Stories statt Templates

Homelab-Automatisierung mit Hermes Agent

🎯 Empfehlung: Wie du Premium-WordPress-Websites ohne Page-Builder über die REST-API mit CSS-Injection aufbaust – die Technik hinter der SHK-Demo-Website.

🎯 Empfehlung: OpenClaw: Selbst-gehosteter KI-Assistent im Homelab – selbst gehostete KI-Assistenten wie OpenClaw bündeln mehrere Modelle im Homelab.