Welcome to AI_sync Discussions!

[sarpba]

Welcome to AI_Dubbing Discussions!

Welcome to AI_Dubbing, a community dedicated to building and refining an end-to-end workflow for AI-assisted dubbing. We experiment with translation through OpenRouter, neural voice synthesis with F5-TTS, alignment tools, and audio/video mixers to deliver polished multilingual clips. The project is actively evolving, so expect frequent updates, new utilities, and plenty of room for experimentation. Contributions of any size—from bug reports to documentation tweaks—help push the tooling forward.

Here we exchange best practices, surface lessons from real productions, and help each other assemble reliable dubbing pipelines. Whether you are testing the scripts for the first time or integrating AI_Dubbing into a studio workflow, we hope this space gives you useful guidance and a friendly place to collaborate.

Code of Conduct

Be Respectful: Treat everyone with courtesy. Personal attacks, harassment, or discriminatory language have no place here.
Stay on Topic: Keep conversations focused on AI-driven dubbing, synchronization, and related tools.
Be Constructive: Offer actionable, considerate feedback. If you disagree, explain why and propose alternatives.
No Spam: Avoid irrelevant promotions or repetitive posts.
Support Each Other: Share what you learn, document your setups, and welcome newcomers who are exploring AI_Dubbing.

Üdvözlünk az AI_Dubbing Fórumában!

Üdvözlünk az AI_Dubbing közösségében, ahol egy teljes AI-alapú szinkronfolyamat felépítésén és finomhangolásán dolgozunk. Fordítunk OpenRouter segítségével, neuralis hangot generálunk F5-TTS-sel, időzítést igazítunk, majd audiót és videót keverünk össze, hogy többnyelvű, gondosan kidolgozott anyagokat hozzunk létre. A projekt folyamatos fejlesztés alatt áll, ezért számíts új funkciókra, kísérleti megoldásokra és sok nyitott feladatra. Minden hozzájárulás—hibajelentés, dokumentáció, kód—nagyban segít a fejlődésben.

Ebben a térben jó gyakorlatokat osztunk meg, valós munkafolyamatok tanulságait tárgyaljuk, és segítünk egymásnak megbízható szinkroncsatornák felépítésében. Legyél akár kezdő felhasználó, akár stúdiós munkafolyamatba illeszted az AI_Dubbing megoldásait, reméljük, hogy itt hasznos útmutatót és segítőkész közösséget találsz.

Magatartási Szabályok

Legyél Tiszteletreméltó: Bánj tisztelettel mindenkivel. A személyeskedés, zaklatás vagy diszkriminatív nyelvezet itt sem elfogadható.
Maradj a Témánál: Tartsd a beszélgetéseket az MI-alapú szinkronizálás és a kapcsolódó eszközök körében.
Légy Építő: Adj megvalósítható, tapintatos visszajelzést. Ha másképp látod a dolgokat, fejtsd ki és javasolj alternatívát.
Nincs Spam: Kerüld a nem releváns promóciókat vagy ismétlődő bejegyzéseket.
Támogassuk Egymást: Oszd meg a tapasztalataidat, dokumentáld a beállításaidat, és segítsd az új tagokat az AI_Dubbing felfedezésében.

[Robert777888]

Szia!

Először is szeretném megköszönni a munkádat — nagyon király, amit építettél, és hatalmas potenciált látok benne. Nagyon tetszik a rendszered megközelítése, és szeretném minél jobban használni.

Runpodon próbáltam futtatni a projektet, és egy Claude által generált telepítő script segítségével sikerült is majdnem mindent beállítanom, viszont a TTS résznél elakadtam — nem sikerült hangot generálnom, valószínűleg a környezeti csomagok / Torch / codec verziók keverednek.

Ha esetleg lenne időd/kedved egy előre összeállított Docker konténer készítésére, amit Runpodon (vagy hasonló GPU környezetben) csak el kell indítani, az rettentően nagy segítség lenne — nem csak nekem, szerintem sok más felhasználónak is, akik nem akarnak/mernek saját deep-ML környezetet összerakni, de lelkesek és szeretnék használni a dubbing pipeline-t.

Ha egyszer készül ilyen image, nagyon szívesen tesztelem és adok visszajelzést.

Még egyszer köszi a munkád, nagyon inspiráló, amit csinálsz! 🔥🙏

Üdv,
Robi

[sarpba]

Egyébként valamennyire rugalmas a rendszer, szóval igyekszik kihasználni a max vram-ot dinamikusan. 2x3090-es tendszeren fejleszem, ott teszteltem. Véha a vibevoice OOM-re fut 24 gigával is, de a beépített automatikus javító rendszerek többnyire átlendítik ezen is.

[Robert777888]

Szia!

Nagyon köszönöm a részletes választ és a tippeket!

A 3090-es kártyával kapcsolatban teljesen igazad volt — nálam is gyorsabb lett a feldolgozás. A korábbi ~7,5 it/s felment kb. 12,5 it/s-re, szóval tényleg gördülékenyebb minden.
Runpodon futtatom, mert csak egy M2-es Macbookom van, azon pedig ugye nincs NVIDIA GPU.

Én főleg háttérhang nélküli videókat szeretnék szinkronizálni (oktatóanyagok, egyetlen beszélő).
Ilyenkor a beszéd–háttér szeparálás inkább ront, mert a “háttér” sávba olyan maradványzajok kerülnek, amik a merge után nagyon zavaróak.

Lenne lehetőség arra, hogy a merge során teljesen ki lehessen kapcsolni a háttér hangsávot?
Tehát hogy a beszéd alá tiszta csend kerüljön, és ne a háttér szeparált sávja?
A VibeVoice 1.2-es automata workflow-t használom most.

A DeepL problémát tesztelem majd, ha ismét elakad, küldöm a logot hibajeggyel.

Még egyszer köszi minden segítséget és a brutál jó rendszert, nagyon sokat tanulok belőle!

Üdv,
Robi

[sarpba]

A csak beszéd szétválasztás egy ismert és kezelt probláma a progiban. Ilyenkor az eredeti beszéfből foszlányok átszivárognak a háttérzaj fileba. Kapcsold be a "non_speech_silence" kapcsolót a separate_speak_and_background_audio scriptben. Ez a kapcsoló kicseréli egy néma filera a háttérzajokat tartalmazó filet.

[sarpba]

beépítettem egy egyszerű tömörítési réteget a runpod proxy miatt a backend és a frontend közé, esetleg nézd meg kérlek, hogy a weboldal válaszidő valóban javult-e. Köszi.

Üdv:
sa

[Robert777888]

Szia!

Nagyon köszönöm a gyors válaszokat és a fejlesztést – megnéztem a webes felületet a Runpod proxy miatt, és tényleg érezhetően gyorsabban reagál a webes felület. Bár eddig sem volt vele gondom, most tényleg sokkal “gördülékenyebb” a működés. Ma alaposan megdolgoztattam a rendszert, de stabil maradt, szóval szerintem teljesen jó lett a módosítás.

A non_speech_silence opciót is kipróbáltam, és több esetben szépen megoldotta a háttérfoszlány problémát, viszont bizonyos videóknál (jellemzően 4K oktatóanyagoknál) még így is visszamarad valamennyi zaj a háttérsávban. Ilyenkor én kézzel cserélem ki a háttér WAV-ot egy teljesen néma fájlra – így mindig biztos a végeredmény.

A workflow-t nagyon szeretem, és mostanra már sokszor félúton meg is állok, ha valami nem tetszik, és csak a generált részt futtatom újra. Így teljesen kontrollálható a folyamat.

Az új SONOX API is nagyon tetszik, és az utóbbi fejlesztések tényleg sokat dobtak a teljes élményen. Köszönöm, hogy ilyen aktívan fejleszted – minden frissítés valós segítség a gyakorlati munkában.

Üdv,
Robi