Wie funktioniert KI-Manga-Übersetzung? OCR, Inpainting und Typesetting erklärt

Wer zum ersten Mal einen Manga durch ein Übersetzungstool schickt, erlebt meistens eine von zwei Sachen: Entweder liegt der übersetzte Text als unleserlicher Klumpen über der Zeichnung, oder die Hälfte der Sprechblasen bleibt schlicht unübersetzt.

Der Grund dafür ist, dass Manga-Übersetzung technisch etwas völlig anderes ist als Textübersetzung. Ein Übersetzer wie DeepL bekommt Text und gibt Text zurück. Bei einem Manga bekommt das System ein Bild — und muss daraus eine neue Seite bauen, die aussieht, als wäre sie nie in einer anderen Sprache erschienen.

Dieser Artikel erklärt, was dabei technisch passiert: fünf Schritte, die alle funktionieren müssen, damit am Ende eine lesbare Seite herauskommt — und die ein spezialisierter KI-Manga-Übersetzer im Hintergrund automatisch abarbeitet.

Der Ablauf im Überblick

Eine vollständige Manga-Übersetzung besteht aus fünf aufeinander aufbauenden Schritten:

1. Texterkennung — wo auf der Seite steht überhaupt Text?

2. OCR — was steht dort genau?

3. Leserichtung — in welcher Reihenfolge gehört das gelesen?

4. Übersetzung — was bedeutet es im Kontext?

5. Inpainting und Typesetting — Originaltext entfernen, Hintergrund rekonstruieren, neuen Text einsetzen

Fällt einer dieser Schritte aus, ist das Ergebnis unbrauchbar. Genau hier scheitern allgemeine Übersetzungstools: Sie decken Schritt 2 und 4 ab und lassen die anderen drei weg.

Schritt 1: Textbereiche finden

Bevor irgendetwas gelesen werden kann, muss das System wissen, wo Text steht. Das klingt trivial, ist es aber nicht — Manga-Text sitzt an sehr unterschiedlichen Orten:

• in klassischen Sprechblasen

• in eckigen Erzählkästen

• als Gedankentext ohne Umrandung

• als handgeschriebene Einwürfe am Panelrand

• als Lautmalerei (Onomatopoesie), direkt in die Zeichnung integriert

Ein Modell zur Sprechblasenerkennung wird speziell auf Comic-Layouts trainiert. Es unterscheidet zwischen Blase und Zeichnung — auch dann, wenn die Blase keinen geschlossenen Rand hat oder teilweise vom Panel überlappt wird.

Allgemeine Bildübersetzer sind auf Dokumente und Straßenschilder ausgelegt. Auf einer Manga-Seite übersehen sie regelmäßig einen erheblichen Teil der Textbereiche — vor allem stilisierte Schriften und Text, der über der Zeichnung liegt.

Schritt 2: OCR für japanische Schrift

Japanische Texterkennung im Manga ist deutlich schwieriger als bei gedruckten Dokumenten. Drei Gründe:

Vertikale Schreibrichtung. Japanischer Manga-Text läuft in der Regel von oben nach unten (tategaki), und die Spalten von rechts nach links. Ein OCR-Modell, das horizontale Zeilen erwartet, liest hier Unsinn.

Drei Schriftsysteme gleichzeitig. Kanji, Hiragana und Katakana kommen in einem einzigen Satz vor. Dazu Furigana — kleine Lesehilfen neben den Kanji, die korrekt als Zusatzinformation erkannt und nicht als eigener Text mitgelesen werden dürfen.

Stilisierte Schriften. Manga verwendet handgezeichnete und stark verzerrte Schrift, um Emotionen auszudrücken. Ein Schrei sieht anders aus als ein Flüstern. Für Standard-OCR ist das ein Problem, für manga-spezifische Modelle ist es Trainingsmaterial.

Deshalb existieren eigene OCR-Modelle für Manga, die auf genau dieses Material trainiert wurden — statt auf Geschäftsbriefe.

Schritt 3: Die Leserichtung rekonstruieren

Das ist der Schritt, den fast alle allgemeinen Tools auslassen — und der über die Verständlichkeit entscheidet.

Ein Manga wird von rechts nach links gelesen. Innerhalb einer Seite gilt das für die Panels, innerhalb eines Panels für die Sprechblasen. Erschwerend kommt hinzu, dass Panels nicht rechteckig auf einem Raster liegen: Sie sind schräg, überlappen sich, laufen über den Seitenrand hinaus.

Das System muss daraus eine Reihenfolge ableiten — welche Blase gehört zu welchem Panel, und in welcher Reihenfolge werden sie gelesen. Ohne diesen Schritt landen die Dialogzeilen zwar korrekt übersetzt, aber in falscher Reihenfolge auf der Seite. Antworten stehen dann vor Fragen.

Für Webtoons gilt eine andere Logik: Dort gibt es keine Panels von rechts nach links, sondern einen durchgehenden vertikalen Scroll, der in sinnvolle Abschnitte zerlegt werden muss.

Schritt 4: Übersetzung mit Kontext

Hier liegt der Unterschied zwischen einer wörtlichen und einer lesbaren Übersetzung.

Japanisch lässt Subjekte weg, wenn sie aus dem Kontext hervorgehen. Ein Satz wie 「行くよ」 kann je nach Situation "Ich gehe", "Wir gehen" oder "Los geht's" bedeuten. Wer nur diese eine Sprechblase übersetzt, kann es nicht wissen.

Dazu kommen:

• Anredesuffixe (-san, -kun, -chan, -sensei), die soziale Beziehungen transportieren, für die es im Deutschen keine direkte Entsprechung gibt

• Sprachregister — Manga-Figuren sprechen unterschiedlich: förmlich, derb, altertümlich, dialektal. Das muss über die ganze Serie konsistent bleiben

• Kulturelle Referenzen, die entweder erklärt, ersetzt oder stehen gelassen werden müssen

Ein kontextbewusstes Sprachmodell bekommt deshalb die gesamte Seite mit allen Sprechblasen in korrekter Reihenfolge — nicht einzelne Textschnipsel. Erst dadurch bleiben Figurenstimmen konsistent und Pronomen richtig.

Schritt 5: Inpainting und Typesetting

Der letzte Schritt ist der, an dem sich sichtbar entscheidet, ob das Ergebnis wie ein Manga aussieht oder wie ein Screenshot mit Untertiteln.

Inpainting bedeutet: Der japanische Originaltext wird aus dem Bild entfernt, und der Hintergrund darunter wird rekonstruiert. Bei einer weißen Sprechblase ist das einfach. Bei Text, der über einer gezeichneten Szene liegt — Schraffuren, Rastermuster, Farbverläufe bei Webtoons — muss das Modell die verdeckte Zeichnung plausibel ergänzen.

Typesetting ist das anschließende Einsetzen des übersetzten Textes. Das ist kein einfaches Draufschreiben, denn:

• Der deutsche Text ist meist länger als das japanische Original

• Die Sprechblase hat eine feste, oft unregelmäßige Form

• Der Zeilenumbruch muss an sinnvollen Stellen erfolgen

• Schriftgröße und Zeilenabstand müssen dynamisch angepasst werden, ohne unleserlich zu werden

Ein System, das diesen Schritt auslässt, legt die Übersetzung einfach als Overlay über das Bild. Das ist der Grund, warum Ergebnisse aus allgemeinen Bildübersetzern unbrauchbar aussehen: Die Zeichnung wird verdeckt, statt erhalten zu bleiben.

Warum allgemeine Tools daran scheitern

Zusammengefasst decken allgemeine Übersetzungstools zwei von fünf Schritten ab:

Es geht also nicht darum, dass ein Tool "besser übersetzt". Es geht darum, dass Manga-Übersetzung überhaupt kein reines Übersetzungsproblem ist, sondern eine Kette aus Bildverarbeitung, Texterkennung, Sprachverständnis und Satz.

Wo die Grenzen liegen

Auch spezialisierte Systeme haben klare Schwächen — das gehört zur ehrlichen Antwort dazu:

Lautmalerei. Onomatopoesie ist oft direkt in die Zeichnung integriert und Teil der Bildkomposition. Sie zu ersetzen würde bedeuten, die Zeichnung zu verändern. Viele Systeme lassen sie deshalb bewusst stehen.

Handschriftliche Einwürfe. Kleine Kommentare am Panelrand, oft in sehr freier Handschrift, werden häufig nicht sauber erkannt.

Wortspiele. Ein Kanji-Wortspiel lässt sich nicht ins Deutsche übertragen. Menschliche Übersetzer lösen das mit einer kreativen Neuschöpfung — automatische Systeme nicht.

Schlechte Scanqualität. Unter etwa 600 Pixel Breite fällt die OCR-Genauigkeit deutlich ab. Bei alten oder stark komprimierten Scans hilft kein Modell.

Für den normalen Lesegebrauch reicht das Ergebnis in der Regel gut aus. Für eine Veröffentlichung ersetzt es keine professionelle Übersetzung mit Lettering.

Selbst ausprobieren

Die Theorie ist das eine — wie gut das Ergebnis bei deiner Serie tatsächlich aussieht, hängt stark vom Zeichenstil ab. Klar gesetzte Sprechblasen liefern deutlich bessere Ergebnisse als dicht bedruckte Seiten mit viel Handschrift.

Am schnellsten findest du das heraus, indem du eine einzelne Seite durch den Manga-Übersetzer schickst und dir das Resultat ansiehst. Wer direkt beim Lesen übersetzen möchte, nutzt die Browser-Erweiterung, die ohne Upload auf der Leseseite selbst arbeitet.

Die ersten Seiten sind kostenlos und ohne Anmeldung — genug, um die Qualität an deinem eigenen Material zu beurteilen. Die Konditionen darüber hinaus stehen auf der Preisübersicht.

Warum viele Serien überhaupt nie auf Deutsch erscheinen, steht in einem eigenen Artikel: Deine Manga-Serie wurde abgebrochen – so liest du trotzdem weiter.