AIはマンガのコマ内のテキストをどう読み取るのでしょうか？このガイドでは、自動マンガ翻訳を可能にするマンガ OCR技術を解説します。
マンガ OCRが通常のOCRと違う理由
Tesseractなどの標準OCRは文書向けです。マンガには縦書き、吹き出し、装飾フォント、ルビ、擬音語など独自の課題があります。Tesseractでマンガをテストした結果、精度は30%未満でした。
2段階パイプライン：検出 + 認識
ステージ1：テキスト検出（comic-text-detector）
YOLOv5バックボーン + DBNet + UNetのマルチヘッドアーキテクチャで、マンガ内のテキストをほぼ100%検出します。
ステージ2：文字認識（manga-ocr）
マンガテキスト専用にファインチューニングされたVision Transformerで99%以上の精度を達成。
試してみる
AI Manga TranslatorはCTD + manga-ocrを内部で使用。マンガページをアップロードするだけでOK。1日5ページ無料。