OCR auf dem iPhone: Wie gut erkennt Apples Vision-Framework Buchseiten?
Jede App, die Text von einer fotografierten Buchseite herausliest, tut das auf dem iPhone über dieselbe Basis: Apples Vision-Framework. Wie gut das für Zitate aus gedruckten Büchern funktioniert, hängt aber stark davon ab, wie man es einsetzt — nicht nur davon, dass man es einsetzt.
Was ist das Vision-Framework?
Vision ist Apples systemeigenes Framework für Bildanalyse, unter anderem für Texterkennung (Optical Character Recognition, OCR). Es läuft direkt auf dem Gerät, ohne dass ein Foto zur Auswertung irgendwohin hochgeladen werden muss — die komplette Erkennung passiert lokal auf dem iPhone.
Wie erkennt Vision Text auf einer Buchseite?
Für gedruckten Fließtext bietet Vision einen genaueren, aber etwas langsameren Erkennungsmodus an (in Apples eigener Terminologie ".accurate") gegenüber einem schnelleren, aber ungenaueren Schnellmodus. Zusätzlich lässt sich eine sprachbasierte Korrektur zuschalten, die Erkennungsfehler anhand von Wörterbuch-Wahrscheinlichkeiten glättet. Für eine fotografierte Buchseite mit normalem Zeilensatz liefert diese Kombination in aller Regel zuverlässige Ergebnisse.
Wortebene statt Zeilenebene — warum das für Zitate zählt
Die naheliegende Art, Vision zu nutzen, ist es, eine ganze Textzeile oder einen ganzen Absatz als einen Block erkennen zu lassen. Für ein Zitat ist das meistens zu grob: Ein Zitat beginnt und endet selten exakt an einem Zeilenumbruch. Vision erlaubt es aber auch, die erkannte Position einzelner Wörter innerhalb einer Zeile abzufragen — damit lässt sich ein Auswahlbereich bauen, der genau bei dem Wort beginnt und endet, das man tatsächlich zitieren will, statt immer die komplette Zeile zu übernehmen.
Wo liegen die Grenzen?
Vision ist auf gedruckten Text optimiert — bei sehr kleiner Schrift, ausgefallenen oder kunstvollen Schriftarten, schlechtem Licht oder stark reflektierenden Hochglanzseiten steigt die Fehlerquote spürbar. Handschrift oder stark stilisierte Titelseiten sind kein typischer Anwendungsfall der Texterkennung für Fließtext. In der Praxis bedeutet das: bei den allermeisten regulären Taschenbüchern und Sachbüchern funktioniert die Erkennung gut, bei Sonderfällen lohnt sich ein zweiter Blick auf das Ergebnis vor dem Speichern.
Bleiben meine Fotos privat?
Da die gesamte Erkennung auf dem Gerät läuft, muss das Foto der Buchseite dafür nirgendwo hochgeladen werden. Es wird lokal verarbeitet, um den Text herauszulesen, und verlässt das iPhone für diesen Schritt nicht.