Alte Fotos, neue Technik – das Projekt Photo Detective

Historische Stadtansichten Harburgs aus dem frühen 20. Jahrhundert – mit erkannten Objekten und Gütebewertung.

Künstliche Intelligenz hilft bei der Erschließung historischer Fotos

Wie lassen sich große Mengen historischer Fotos digital erschließen, ohne jedes Bild einzeln manuell sichten und beschreiben zu müssen? Vor dieser Frage stand auch das Archäologische Museum Hamburg (AMH) – und startete im Mai 2023 gemeinsam mit dem städtischen IT-Dienstleister Dataport das Projekt „Photo Detective“.

Gefördert durch den InnoTecHH-Fonds und unterstützt durch die Behörde für Kultur und Medien Hamburg wurde in nur sechs Monaten ein funktionierender Prototyp entwickelt, der historische Bildinhalte mithilfe Künstlicher Intelligenz automatisch erkennt und verschlagwortet. Ziel war es, die Digitalisierung großer Fotobestände effizienter zu gestalten – ohne dabei auf menschliche Expertise zu verzichten. Das Projekt „Photo Detective“ ist nun zu einem vorläufigen Abschluss gekommen – und aus diesem Anlass möchten wir es an dieser Stelle einmal kurz vorstellen.

Historische Stadtansichten Harburgs aus dem frühen 20. Jahrhundert – mit erkannten Objekten und Gütebewertung.

Warum klassische KI-Objekterkennung die beste Lösung ist

Im Projekt wurden verschiedene KI-Verfahren erprobt, darunter moderne generative Modelle (sogenannte Transformermodelle, zu denen auch die bekannten LLMs wie GPT gehören), und „klassische“ KI-Objekterkennungsarchitekturen (wie z.B. Yolo). Die Ergebnisse zeigen jedoch klar: Nur die klassische Objekterkennung liefert die strukturierten und verlässlichen Daten, die für eine langfristige Nutzung in einer Fotofachdatenbank geeignet sind.
Die Vorteile der klassischen Objekterkennung liegen auf der Hand:

– Kosteneffizienz und Schnelligkeit: Große Mengen historischer Fotos lassen sich schnell und günstig verarbeiten.
– Verlässliche Ergebnisse: Die Schlagworte sind eindeutig und lassen sich gut in bestehende Datenbanken integrieren.
– Anpassbarkeit: Die Modelle können gezielt auf die Sammlung des AMH trainiert und angepasst werden.
– Nachvollziehbarkeit: Die Modelle liefern eine Güteinformation, die hilft, die Erkennungsqualität sofort einzuschätzen.

Im Gegensatz dazu benötigen Transformermodelle deutlich mehr Ressourcen in der Anwendung – insbesondere leistungsstärkere und damit teurere Hardware –, erfordern einen hohen manuellen Aufwand zur Überprüfung der Ergebnisse, liefern keine verlässlichen Güteinformationen, sind wesentlich aufwendiger an historisches Fotomaterial anzupassen und bergen ein erhöhtes Risiko ungewollter Interpretationen der Resultate. Für die spezifischen Anforderungen des AMH bzw. der systematischen Bilderfassung in einer Fachdatenbank, bei denen klare und eindeutige Schlagworte im Vordergrund stehen, stellen sie daher derzeit keine praktikable Lösung dar.

Eine Plattform für Museen

Das entwickelte Tool wird von Dataport gehostet und vertrieben. Zu diesem Zweck wurde eine eigene modulare Plattform geschaffen, die nicht nur das Objekterkennungsmodul betreiben kann, sondern auch die zukünftige Aufnahme weiterer Plug-Ins erlaubt. Beispielsweise:
– Texterkennung auf Bildern (OCR),
– oder ein KI-Modul zur automatischen Erkennung von Münzen, die nicht nur in archäologischen Sammlungen häufig vorkommen.

Wie geht es mit dem Projekt weiter?

Der Prototyp von „Photo Detective“ ist ein gelungener erster Schritt. In einer möglichen nächsten Projektphase soll die Technologie weiter ausgebaut werden. Geplant sind:

– eine Verbesserung der Erkennungsgenauigkeit,
– die Erweiterung auf weitere Objekttypen,
– der Ausbau der technischen Infrastruktur, damit auch andere Museen von der Lösung profitieren können,
– Kollaboration mit z. B. den Elbe-Werkstätten zur Annotation von Trainingsdaten,
– Schnittstellen zu den verschiedenen Erfassungsdatendatenbanken in den verschiedenen Einrichtungen,
– sowie gezielte Schulungsmaßnahmen für die Mitarbeitenden, um das Tool sicher und effektiv einzusetzen.

Zudem sollen Kooperationen mit weiteren Museen und wissenschaftlichen Einrichtungen aufgebaut werden. Geplant ist, dass das bestehende Modell künftig durch die beteiligten Museen mit weiteren Objekten ergänzt und kontinuierlich weiterentwickelt wird. Ziel ist es, das gemeinsam erarbeitete Objekterkennungsmodell und ggf. weitere entwickelte Module anschießend allen Kultureinrichtungen frei zur Verfügung zu stellen – vergleichbar mit dem Projekt www.museumsvokabular.de, bei dem Museen ihre Thesauri und Vokabulare kostenfrei bereitstellen.

Schluss

Mit dem Projekt „Photo Detective“ ist es gelungen, Künstliche Intelligenz sinnvoll für die historische Bilderschließung nutzbar zu machen – ohne dabei die Bedeutung menschlicher Expertise zu schmälern. Der Prototyp liefert zuverlässig klare Ergebnisse, die sich direkt in bestehende Datenbanken einpflegen lassen, und bietet damit einen echten Mehrwert für die tägliche Museumsarbeit. Der Einsatz klassischer Objekterkennung hat sich dabei als praktikabelste und nachhaltigste Lösung erwiesen – nicht zuletzt, weil sie skalierbar, transparent und wirtschaftlich tragbar ist.

Als nächste Schritte möchten wir weitere Museen und Archive ins Boot holen, um gemeinsam neue Modelle zu entwickeln – abgestimmt auf spezifische Sammlungen und Fragestellungen. Geplant sind zudem Workshops, in denen wir die inhaltliche Weiterentwicklung des Projekts gemeinsam mit Kolleg:innen aus den hiesigen Museen gestalten.