Künstliche Intelligenz im Museum

…oder: Wenn ein Kulturwissenschaftler auf Informatiker*innen losgelassen wird

Am Anfang stand eine Idee sowie unglaublich viele digitale Fotos, und dann wurde daraus ein echtes Forschungsprojekt. Das Archäologische Museum Hamburg und Stadtmuseum Harburg (AMH) und Dataport, der zentrale Dienstleister für die Freie und Hansestadt Hamburg, haben vor sechs Monaten ein Forschungsprojekt zum Einsatz von künstlicher Intelligenz im Museum begonnen. In diesem Projekt wird es darum gehen, Tools zur automatischen Verschlagwortung von digitalisiertem historischen Bildmaterial zu entwickeln.

Was bisher geschah

Das klingt ziemlich abstrakt, lässt sich aber ganz einfach erklären: Im Bildbestand des AMH befindet sich ein wesentlicher Teil der fotografischen Überlieferung Harburgs, mit dessen Hilfe sich der Wandel des Stadtbildes von der Mitte des 19. Jahrhunderts bis heute nachvollziehen lässt. Ein von Frau Dr. Melanie Leonhard initiiertes und bereits seit Oktober 2017 laufendes Projekt zur Digitalisierung der historischen Bildbestände des AMH führte dazu, dass nun über 75% des Gesamtbestandes – das sind ca. 350.000 Negative und Dias – als Scan auf unseren Festplatten vorliegen. Diese große Zahl zu erreichen, war nur möglich, da wir uns für die Digitalisierung unserer Bestände mit den Elbe-Werkstätten einen sehr kompetenten und sympathischen Partner mit ins Boot geholt haben.

Digitalisierte Bilder aus dem Foto-Archiv des AMH.

Eine tiefere, inhaltliche Erschließung einer solch großen Anzahl von Scans, sogenannte Digitalisate, ist in einem überschaubaren Zeitraum aber nur noch automatisiert mithilfe einer Bilderkennung möglich. Eine automatisierte Erkennung von Bildinhalten bietet in erster Linie eine tiefere Erschließung dieser Digitalisate, was das Spektrum themenbezogener Suchanfragen deutlich erweitert. Sie bietet darüber hinaus aber auch völlig neue Möglichkeiten der wissenschaftlichen Auswertung von bisher nur schlecht erschlossenen Bildbeständen, da eine solche Software darauf “trainiert” werden kann, sich auf sehr spezielle, vordefinierte Merkmale wie etwa Petticoats oder Zylinder zu konzentrieren und daraufhin große Bildbestände zu vergleichen.

Leider gibt es solche Tools bisher noch nicht, darum strebte das AMH schon bald ein Forschungsprojekt an, um mithilfe von Softwarelösungen bzw. künstlicher Intelligenz eine Erweiterung der Metadatenerfassung historischer Fotos zu ermöglichen. Hierfür haben wir einen Partner gefunden, an den wir zunächst nicht gedacht hatten, auch wenn er bei uns quasi vor der Tür bzw. auf dem Schreibtisch stand: Dataport.

Dataport ist zunächst einmal der zentrale Dienstleister für die IT in den öffentlichen Einrichtungen wie zum Beispiel die Behörden und eben uns Museen. Dataport betreut unsere IT-Infrastruktur, stellt Server sowie Speicherlaufwerke zur Verfügung und sorgt dafür, dass wir einen Rechner auf genanntem Schreibtisch haben. Dass Dataport sich aber auch in dem Bereich “Forschung” tummelt und sich auch nicht scheut, ein solch komplexes Thema wie “künstliche Intelligenz” anzugehen, war für uns eine positive Überraschung.

…es wird geforscht!

Die ersten Meetings mit den üblichen Vorstellungsrunden, fanden noch „real“ unter Einhaltung der aktuellen AHA-Regeln statt. Wir stellten unser Digitalisierungsprojekt vor und formulierten unseren Bedarf. Die Kolleg*innen von Dataport strukturierten unsere noch diffusen Wünsche und Vorstellungen und entwickelten daraus einen Projektplan, an den wir uns die letzten Monate gehalten haben. Dabei lernten wir neue Begriffe wie „Sprint Review“ oder „Labeling“ kennen und die Kolleg*innen von Dataport tauchten tief in die 50er- und 60er-Jahre des letzten Jahrhunderts ein. Diese Bestände aus unserer Sammlung sollten nämlich als Grundlage für unser Projekt herangezogen werden und ein erstes Fazit war schnell formuliert: „Früher war mehr Lametta“.

Im Detail hat dabei die Dataport-Gruppe für Künstliche Intelligenz und Data Science den besten Weg gesucht, eine KI auf für das AMH relevante Objekte zu trainieren und auf historische Fotos anzuwenden. Als Testbeispiel wurde das Objekt “Weihnachtsbaum” gewählt. Dazu mussten sie unter vielen Objekterkennungs-Algorithmen den derzeit bestgeeigneten auswählen und herausfinden, auf welche Weise der Algorithmus am wirkungsvollsten lernt. Lernen heißt für einen Algorithmus übrigens, dass er sich hunderte oder tausende Bilder ansieht, auf denen alle Objekte gekennzeichnet (“gelabelt”) sind, die er erkennen können soll.

Die Auswahl der besten Bilder für solche Trainings ist zwar alles andere als einfach, dennoch haben wir es schnell geschafft, dem Algorithmus beizubringen, Weihnachtsbäume zu erkennen – ob mit oder ohne Lametta.

Erste Ergebnisse!

Natürlich gab und gibt es auch Ergebnisse zu vermelden. Eine besonders erfreuliche Erkenntnis ist, dies sei hier vorweg genommen, dass die Kooperation an sich sehr produktiv und aus Sicht des AMH sehr erfrischend geworden ist. Inhaltlich konnte im Lauf des Projekts außerdem konkret gezeigt werden, dass unser Wunsch der automatischen Bilderkennung durchaus möglich ist. Wir wissen mittlerweile, wie wir der KI immer neue Objekt-Kategorien beibringen können, z. B. Weihnachtsbäume, Fachwerkhäuser oder Schützenvögel. Im nächsten Schritt überlegen wir, mit dem KI-Team zusammen dieses Forschungsprojekt in ein fertiges Software-Tool zu verwandeln.

Die Praxistauglichkeit und Nachnutzbarkeit eines solchen Tools hängt natürlich von den gewünschten Abfragemodalitäten ab, also davon, wie wir später das Tool konkret anwenden wollen. Im Rahmen des Projektes wird also ein Lexikon mit einer Auswahl erster relevanter visueller Themen erstellt, welche aus einem räumlich und zeitlich fest umrissenen Bildbestand entwickelt werden, z. B. VW-Käfer. Dieses Lexikon ist zukünftig beliebig erweiterbar.

Um die gewünschten Objekte zu trainieren, werden im Laufe des Projekts Trainings-, Validierungs- und Testmengen von Bildern erzeugt, die jeweils für alle zu erkennenden Objekte Positiv- und Negativbeispiele enthalten. Um aber die gesamte Bandbreite der visuellen Erscheinungsform eines Themas abzudecken, müssen entsprechend gewöhnliche und ungewöhnliche Bildbeispiele für das Training ausgewählt werden: Ein VW-Käfer ist z. B. auch dann noch ein VW-Käfer, wenn er nach einem Unfall auf der Seite liegt. Dieses Verfahren soll von den Mitarbeiter*innen der Elbe-Werkstätten durchgeführt und überwacht werden, d. h., dass falsche oder unzureichend erkannte Ergebnisse in der Trefferliste einer Suchanfrage gekennzeichnet und verbessert werden, um auf diese Weise eine Optimierung der Ergebnisse zu ermöglichen.

Fazit

Für das AMH war die forschende Zusammenarbeit mit dem Team von Dataport überraschend angenehm und erfolgreich. In dem doch überschaubaren Zeitraum von sechs Monaten wurde ein Algorithmus gewählt und getestet, Workflows für das Training einer künstlichen Intelligenz erarbeitet und sogar erste vielversprechende Ergebnisse erzielt. Die nächsten Schritte sind klar: Aus den prototypischen Ansätzen dieses Forschungsprojektes muss nun eine nutzbare Softwarelösung entwickelt werden, die im AMH eingesetzt werden kann. Hierfür muss das Projekt größer gedacht und, das ist leider nun mal so, auch über Geld gesprochen werden.