Jak tłumaczyć wideo (dźwięk & napisy) za pomocą Claude Code lub Codex

Głównie wykorzystuję AI do moich projektów tłumaczeniowych. W YouTube, TikTok czy Facebooku można znaleźć wiele chińskich filmów, które nie oferują automatycznych napisów ani automatycznego tłumaczenia.

Ponieważ chcę je rozumieć, stworzyłem projekt, który potrafi zautomatyzować dużą część tego procesu: transkrypcja wideo, tłumaczenie napisów, a w razie potrzeby nawet automatyczny dubbing po francusku.

Na tej samej podstawie można również automatycznie tworzyć clippingi, czyli krótkie fragmenty wideo.

W tym artykule jako przykład podaję tłumaczenie chiński → francuski. Ale tę zasadę można dostosować do niemal każdego języka. Gorąco zachęcam do korzystania z Claude Code lub Codex CLI – w wierszu poleceń.

Dlaczego używać transkrypcji zamiast OCR?

Chińskie filmy często mają chińskie napisy bezpośrednio wtopione w obraz. Można by więc użyć OCR (rozpoznawania tekstu na obrazie), aby wydobyć te napisy.

Po kilku próbach zdałem sobie jednak sprawę, że ta metoda była dość długa i skomplikowana. Ostatecznie prościej jest wyjść bezpośrednio od mowy obecnej w wideo i przekształcić ją w tekst za pomocą systemu automatycznej transkrypcji, zwanego ASR (Automatic Speech Recognition).

Zasada jest więc dość prosta:

Wideo → transkrypcja chińska → korekta → tłumaczenie francuskie → napisy francuskie → ewentualnie dubbing

Przygotowanie skilla

Aby zautomatyzować ten proces, polecam wcześniej przygotować kilka plików referencyjnych w skillu. Zawierają one zasady, których muszą przestrzegać agenci. Dzięki temu można łatwo zmieniać zachowanie systemu bez konieczności przepisywania całego workflow.

references/
├── translation_rules.md   # zasady tłumaczenia
├── glossary_zh_fr.md      # nazwy własne i powtarzające się terminy
├── formatting_rules.md    # zasady wyświetlania napisów
└── quality_check.md       # kontrole jakości

Te pliki można przygotować z pomocą AI. Radzę po prostu poprosić ją o zaproponowanie kilku wariantów lub kilku przykładów tłumaczenia, a następnie wybrać ton i zasady, które ci odpowiadają.

Aby uniknąć przeciążenia sesji głównej tekstem całego wideo, workflow może następnie korzystać z autonomicznych agentów. Każdy agent otrzymuje tylko informacje i pliki referencyjne, których potrzebuje. Na przykład jeden agent może zajmować się transkrypcją, inny tłumaczeniem, a jeszcze inny kontrolą jakości. Sesja główna służy przede wszystkim do orchestrowania poszczególnych etapów.

Pełny proces

1. Przekształcenie chińskiej mowy w napisy

Zaczynamy od pobrania oryginalnego wideo. W przypadku YouTube, Facebooka lub TikToka można użyć yt-dlp.

Następnie używamy systemu rozpoznawania mowy (ASR), aby przekształcić chińską mowę w tekst. Wynikiem jest plik napisów .srt zawierający chiński tekst oraz czasy rozpoczęcia i zakończenia każdego segmentu.

Można w szczególności użyć:

• faster-whisper (medium)
• Qwen3-ASR ForcedAligner

W przypadku chińskiego wolę Qwen3-ASR. Pozwala on między innymi podać kontekst przed transkrypcją, co może pomóc modelowi wybrać właściwy znak, gdy kilka słów wymawia się tak samo.

Jeśli planujesz później zrobić dubbing lub klipy, włącz równieżznaczniki czasu na poziomie słów. Dzięki temu uzyskasz znacznie dokładniejsze dopasowanie tekstu do głosu.

2. Odzyskanie fragmentów, które nie zostały transkrybowane

Automatyczna transkrypcja nie zawsze jest doskonała. Obecność muzyki może na przykład zakłócać działanie ASR. System może czasem uznać fragment za muzykę lub śpiew i nie transkrybować poprawnie mowy.

Aby wykryć takie problemy, można przeszukać plik SRT pod kątem nienaturalnie długich przerw między dwoma napisami.

Dla każdego brakującego fragmentu:

1. pobieramy odpowiedni fragment za pomocą ffmpeg ;
2. odsłuchujemy go ponownie;
3. uruchamiamy transkrypcję ponownie tylko dla tego fragmentu.

Pozwala to uzupełnić transkrypcję bez konieczności przetwarzania całego wideo od nowa.

3. Korekta transkrypcji chińskiej

ASR może popełniać błędy, zwłaszcza w przypadku homofonów : model prawidłowo rozpoznaje dźwięk, ale wybiera zły znak lub złe chińskie słowo.

Czytamy więc podejrzane fragmenty ponownie i poprawiamy transkrypcję przed rozpoczęciem tłumaczenia.

Zła transkrypcja zazwyczaj prowadzi do złego tłumaczenia. Ten etap wymaga więc szczególnej uwagi.

4. Tłumaczenie chińskiego na francuski

Gdy transkrypcja chińska zostanie poprawiona, dzieli się ją na segmenty. Segmenty są następnie przetwarzane przez autonomicznego agenta specjalizującego się w tłumaczeniu.

Agent konsultuje w szczególności pliki referencyjne skilla, aby przestrzegać wcześniej ustalonych zasad:

• poziom języka i rejestr;
• naturalny francuski zamiast tłumaczenia słowo w słowo;
• tłumaczenie nazw własnych;
• powtarzające się terminy z glosariusza;
• zasady dotyczące dialogów.

Tłumaczenia są następnie składane z zachowaniem znaczników czasu z pliku chińskiego. W przypadku długich filmów lepiej pracować nad jednym segmentem na raz. Agenci autonomiczni mogą dzięki temu przetwarzać tekst bez przeciążania kontekstu sesji głównej.

5. Sprawdzenie i oczyszczenie tłumaczenia

Po zakończeniu tłumaczenia przeprowadza się kilka automatycznych kontroli:

• w pliku francuskim nie może pozostać żaden znak chiński;
• format SRT musi być poprawny;
• znaczniki czasu muszą być spójne;
• rejestr musi pozostać jednolity;
• tłumaczenie musi być spójne od początku do końca.

Inny agent może następnie przeprowadzić krytyczną korektę chiński ↔ francuski. Jego zadaniem jest wyszukiwanie błędów w znaczeniu, pominięć i tłumaczeń, które zmieniają oryginalny sens. Ta weryfikacja jest szczególnie przydatna, gdy tłumaczenie było wykonywane segment po segmencie: pozwala upewnić się, że całość pozostaje spójna.

Na koniec przygotowuje się napisy do wyświetlania na ekranie:

1. tekst dzieli się w naturalnych miejscach;
2. tekst rozkłada się na jedną lub dwie linie;
3. sprawdza się długość i czytelność;
4. upewnia się, że nie zginęło żadne słowo.

Oryginalny plik chiński jest zachowywany jako punkt odniesienia, aby można było porównać obie wersje.

6. Efekt końcowy

Głównym efektem jest plik:

video.fr.srt

Zawiera on napisy francuskie wraz z ich znacznikami czasu.

Na podstawie tego pliku można następnie:

• wgrać napisy francuskie do wideo za pomocą ffmpeg;
• wygenerować wersję z dubbingiem po francusku (text-to-speech, z darmowymi głosami Edge lub Mac) ;
• automatycznie tworzyć klipy czyli wycinki wideo na podstawie napisów i ich znaczników czasu.

Podsumowując

Cały workflow można podsumować następująco:

Chińskie wideo → transkrypcja → korekta → tłumaczenie → kontrola jakości → napisy francuskie → dubbing / klipy

Zaletą takiej organizacji jest jasne rozdzielenie poszczególnych zadań i pozwolenie agentom autonomicznym na przetwarzanie najbardziej obszernych części. Sesja główna pozostaje dzięki temu lekka i skupia się na orkiestracji workflow.