Hackathon x Vol. 2 – 2021

Hackathon x Vol. 2

Vom 25.–27.6.2021 fand der "Hackathon x Vol. 2" als Kooperation zwischen dem Badischen Landesmuseum, Allard Pierson Amsterdam und Hack & Söhne statt. An dem Online-Entwickler*innen-Event nahmen über 140 Personen aus der ganzen Welt teil, die sich unter dem Motto "The Digital Museum" mit Herausforderungen zu den Themen "Games, Plattformen und Künstliche Intelligenz" beschäftigten und in 48 Stunden kreative Lösungen entwickelten. Inspirierende Tech Talks und Mentoring, Online Yoga und Social Gaming auf der digitalen Plattform Gather.Town begleitete das Wochenende. Eingereicht wurden von 100 Personen über 20 Projekte, von denen 6 Gewinnerprojekte in 2 Sektionen eine interdisziplinäre Jury überzeugen konnten. 

Kreative Lösungen für Künstliche Intelligenz im Museum 
In der Sektion zur Künstlichen Intelligenz im Museum wurden Datensets aus dem Badischen Landesmuseum und Allard Pierson zur Verfügung gestellt. Die Herausforderung war,  Konzepte und Anwendungen zu entwickeln, die mit Hilfe von Künstlicher Intelligenz digitale Inhalte des Museums personalisiert für Nutzer*innen zur Verfügung stellen. 

Die Gewinnerprojekte der AI Challenge sind:
1. Preis: Etienne Bührle: William: Chat with William III
2. Preis: Andrii Strynzha, Raghavendra Vijayanagaram, Fabian Ulmer, Maxim Popov, Nikita Nesterov: Your Guide - Personalize your visit to museum using generated tour based on your interests
3. Preis: Nandakishor M: Image chat conversational AI app for museum arts

Alle Projekte können hier eingesehen werden: 
https://hackathon-x.devpost.com/project-gallery

Ausblick
Die Gewinner*innen und andere Projekte sind eingeladen, ihre Ideen in einer AI-Development Phase weiter auszuarbeiten! 

Die Jury der AI Challenge: 

  • Susanne Schulenburg, Badisches Landesmuseum Karlsruhe 
  • Wim Hupperetz, Allard Pierson Amsterdam 
  • Matthias Wölfel, Hochschule Karlsruhe
  • Jaap Kamps, Universität von Amsterdam 
  • Ariana Dongus, Staatliche Hochschule für Gestaltung Karlsruhe

Partner:
Hack & Söhne
Allard Pierson

Gefördert durch: 
BKM Staatsministerin für Kultur und Medien

Medienpartner: 
DeHub Karlsruhe


AI Development Plan – Gewinnerprojekte

Im Anschluss an Hackathon x – vol 2- waren einige Teams eingeladen, am Development Plan weiter an ihren Ideen und Konzepten zu arbeiten. Zwei Teams stellten sich dieser Herausforderung:

  • Nandakishor M – mit „Image Chat“
  • Richárd Ádám Vécsey & Axel Ország-Krisz – mit „Pong“

In vier Wochen, in denen die Konzepte entwickelt und Feedback durch User und Heritage-Expert*innen eingeholt wurde konnten die Ideen weiter ausgearbeitet werden. Die Ergebnisse werden als Teil der Entwicklung von „Creative User Empowerment“ verstanden und für das Gesamtprojekt nutzbar gemacht. Die Gewinnerprojekte & Teilergebnisse werden deshalb hier vorgestellt:

Auf dem Weg zu Augmented Reality & AI
Als virtueller Guide im Museum arbeitet das Vorhaben mit einem AR-Audio-Bot (Blenderbot 2.0) mit Internet-Suchfunktion und AWS, um Informationen zu Künstler*innen oder dem Museum zu erhalten. Der Chatbot hat ein Langzeitgedächtnis und die Fähigkeit, auf das Internet zuzugreifen. Er übertrifft bestehende Modelle in Bezug auf längere Unterhaltungen über mehrere Sitzungen hinweg und verfügt laut Gutachtern über mehr Wissen und sachliche Konsistenz als bisher. Das Modell speichert das während des Gesprächs gesammelte Wissen in einem Langzeitspeicher und nutzt diese Erfahrung, um langfristige Gespräche zu führen. Während des Gesprächs durchsucht das Modell das Internet, indem es eigene Suchanfragen stellt, die Ergebnisse liest und sie bei der Formulierung einer Antwort berücksichtigt.

Über den Entwickler:
Nandakishor ist ein Udemy-Lehrer für Künstliche Intelligenz und Geschäftsführer von deepflow technologies Pvt Ltd, einem Deep-Tech-Startup aus Indien. Er ist ein Experte für Computer Vision, NLP, Robotik und IoT. www.deepflow.in 

Laudatio:
„Die auf konversationeller KI basierende Bild-Chat-App ist eine ehrgeizige und zeitgemäße Idee, für die es bereits einen funktionierenden Prototyp gibt. Ein Bild als Gesprächsanlass zu nutzen, ist eine großartige Idee, und die Kombination von Text und Bild ist sehr vielversprechend, um zusätzliche Informationen zu liefern oder andere Museumsobjekte zu empfehlen, die für den Nutzer relevant sind.“  (Jaap Kamps, Universität von Amsterdam, Mitglied der Jury)

„Im Development-Plan wurde das Projekt stetig und kreativ weiterentwickelt, neue Features eingebaut und die Möglichkeiten der Bilderkennung, der Sprachausgabe und der Verbindung von Augmented Reality und AI aufgezeigt. Die höchst kreative und zukunftsfähige Entwicklung verdient den Preis!“  (Sonja Thiel, Projektleitung)

https://github.com/kishorkuttan/Image-chat-conversational-AI-app-for-museum-arts-
Diese Arbeit basiert auf den folgenden Papieren:
Internet-Augmented Dialogue Generation. Mojtaba Komeili, Kurt Shuster, Jason Weston: https://parl.ai/projects/sea
Jenseits des Goldfisch-Gedächtnisses: Langfristige Open-Domain-Konversation. Jing Xu, Arthur Szlam, Jason Weston: https://parl.ai/projects/msc

PONG
Pong ist ein KI- und ML-basiertes Kunstwerk-Empfehlungssystem und macht Vorhersagen für Kunstwerke auf der Grundlage verschiedener Ansätze. Empfehlungen sind Teil unseres täglichen Lebens. Von der Auswahl von Musik oder Filmen über das ideale Programm und die Waschzeit von Waschmaschinen bis hin zum Autokorrekturdienst verschiedener Messaging-Apps können wir ständig auf KI-, ML- oder einfache Algorithmus-basierte Empfehlungssysteme treffen. Die Demoversion empfiehlt 27.898 Kunstwerke auf der Grundlage von 2074 Schlüsselwörtern, 7 verschiedenen Farbkategorien oder Ausgaben von KI- oder ML-Modellen. Pong will ein System entwickeln, das leicht zu warten ist und dessen Betriebskosten niedrig sind, da keine Cloud-Infrastruktur oder -Dienste genutzt werden müssen.

Über die Entwickler:
Dr. Ország-Krisz Axel
Axel arbeitet als freiberuflicher Deep-Learning-Entwickler, Datenwissenschaftler und Karrierespringer aus der Rechtswissenschaft. Er ist der Meinung, dass künstliche Intelligenz für jeden zugänglich sein sollte, damit sich die Menschen auf wichtige Dinge wie die Gesellschaft und allgemeine Werte konzentrieren können, anstatt sich mit den Problemen des täglichen Lebens zu beschäftigen.

Dr. Vécsey Richárd Ádám
Richard arbeitet als freiberuflicher Deep-Learning-Entwickler und Datenwissenschaftler, der von der Rechtswissenschaft in die IT wechselte. Er spielt gerne mit KI, um komplizierte Lösungen für einfache Probleme zu finden.

Laudatio:
“Pong hat im Development Plan die Idee der Empfehlung von Kunstwerken weiter entwickelt und sich dafür intensiv mit den Daten und Metadaten des Museums auseinander gesetzt. Ihr Empfehlungssystem wurde im Bezug auf Ratingsysteme differenziert und Möglichkeiten für reaktionsbasiertes Rating und persönlichkeitsbasiertes Rating eingesetzt. Nach einer Warm-Up Phase werden Nutzer*innen Kunstwerke vorgeschlagen, die entweder auf Farbe, Inhalten (Schlagworten)  oder auf einer Kombination aufbauen. Die kritische Auseinandersetzung mit Empfehlungsalgorithmen ist ein wichtiger Beitrag zur Zukunft von Museen.“ (Sonja Thiel, Projektleitung)

https://github.com/hyperrixel/pong 

Ihre Ansprechpartnerin
Sonja Thiel

Projektleitung KI & Museum – Creative User Empowerment

T +49 (0)721 926 8492
M +49 (0)176 62092924

E-Mail schreiben

Cookie-Einstellungen

Unsere Website verwendet Cookies, um Ihnen die bestmögliche Nutzung und Funktionalität anzubieten, die Sicherheit unserer Website zu gewährleisten, Inhalte auf optimierte Weise anzuzeigen sowie zum Zwecke der Analyse und Statistik. Wir verarbeiten Ihre Daten nur nach Ihrer Einwilligung. Das Einverständnis in die Verwendung der Cookies können Sie jederzeit widerrufen. Informationen und Anpassungsmöglichkeiten finden Sie unter „Auswahl speichern“ und in unserer Datenschutzerklärung. Datenschutzerklärung / Impressum.

Details anzeigen

Zwecke der Datenverarbeitung:

  • Funktionsfähigkeit und Optimierung der Website sowie Gewährleistung der Sicherheit unserer informationstechnischen Systeme bei rein informatorischer Nutzung unserer Website
  • Status Ihrer Cookie-Einstellungen

Notwendige Cookies machen eine Website nutzbar, indem sie Grundfunktionen wie Seitennavigation und Zugriff auf sichere Bereiche der Website ermöglichen. Sie können nicht deaktiviert werden, da die Website ohne sie nicht richtig funktionieren kann. Die Verwendung erfolgt auf der Rechtsgrundlage gemäß Art. 6 Abs. 1 S. 1 lit. c) (Vertragserfüllung) und f) DSGVO (Berechtigtes Interesse).

Erfasste Daten:

  • Nutzungsdaten
  • Verbindungsdaten

Name Cookie Dauer Zweck
Consent Cookie eye-cookie 10 Jahre

Dieses Cookie speichert Informationen zum Verwalten Ihrer Cookie-Einstellungen für diese Website

Login (Pressebereich) fe_typo_user Beenden des Browsers

Dieses Cookie speichert Daten zur Identifikation des aktuellen Benutzers nach einem Login im Pressebereich

Details anzeigen

Diese Cookies werden von Drittanbietern gesetzt und verwendet, um Ihnen interessenbasierte Inhalte und Angebote bereitzustellen. Die Drittanbieter erhalten demzufolge Informationen zu Ihrer Nutzung unserer Website und führen diese Informationen möglicherweise mit weiteren Daten zusammen, die sie ggf. auch an anderer Stelle von Ihnen erhalten haben.

Ihre auf diese Weise erhobenen Daten werden von uns nicht genutzt.

Die Verwendung erfolgt auf der Rechtsgrundlage gemäß Art. 6 Abs. 1 S. 1 lit. a) DSGVO (Einwilligung). Einige Ihrer Daten werden durch Google Ireland Limited (‚Google‘) in den USA verarbeitet, was mit Risiken verbunden ist. Mit Ihrer Einwilligung erklären Sie sich auch mit der Verarbeitung Ihrer Daten in den USA einverstanden.

https://policies.google.com/privacy?hl=de-DE

Name Cookie Dauer Zweck
Google Maps

Dies ist ein Web-Mapping-Dienst. Für die Einbindung interaktiver Karten und Karten-Funktionen verwenden wir Google Maps von Google Ireland Limited (‚Google‘), deren Hauptsitz in den USA ist. Hierbei werden Cookies gesetzt.

Zweck: Standortbestimmung, Marketing

Erfasst Daten:

  • Nutzungsdaten
  • Verbindungsdaten
  • Standortdaten

Datenempfänger:
Google Ireland Ltd., Gordon House, Barrow Street Dublin 4 Irland

Datenschutzbestimmungen:
http://www.google.de/intl/de/policies/privacy

Google YouTube

Wir haben auf unserer Website Videos eingebettet. Zum Abspielen von Videos verwenden wir YouTube von Google Ireland Limited (‚Google‘), deren Hauptsitz in den USA ist. Hierbei werden Cookies gesetzt, mit denen YouTube ein Profil der Nutzer erstellt (Marketingzwecke).

Details anzeigen

Durch den Einsatz dieser Cookies können Interaktionen auf unseren Websites analysiert und statistisch ausgewertet werden. Die Erfassung der Daten erfolgt anonym. Die Erkenntnisse dienen dazu, unser Angebot stetig weiterzuentwickeln und Ihnen somit die bestmögliche Relevanz an Informationen bieten zu können.  Diese Cookies werden auch dazu genutzt, um Funktionen der Website zuzulassen, die Ihnen eine möglichst komfortable Nutzung ermöglichen.

In diesem Fall nutzen wir Dienste von Drittanbietern (Google Analytics), die Informationen zu Ihrer Nutzung unserer Website erhalten und diese möglicherweise auch zu eigenen Zwecken mit weiteren Daten zusammenführen, die sie von Ihnen ggf. auch an anderer Stelle erhalten haben. Einige Ihrer Daten werden durch Google Analytics in den USA verarbeitet, was mit Risiken verbunden ist.

Die Verwendung erfolgt auf der Rechtsgrundlage gemäß Art. 6 Abs. 1 lit. a) DSGVO (Einwilligung). Mit Ihrer Einwilligung erklären Sie sich auch mit der Verarbeitung Ihrer Daten in den USA einverstanden. Sie können eine erteilte Einwilligung jederzeit mit Wirkung für die Zukunft widerrufen.

Name Cookie Dauer Zweck
Google Analytics Google Analytics

Google Analytics ist ein Webanalysedienst. Wir verwenden Google Analytics mit Einbindung der IP-Anonymisierung von Google Ireland Limited (‚Google‘), deren Hauptsitz in den USA ist.

Datenempfänger:
Google Ireland Ltd., Gordon House, Barrow Street Dublin 4 Irland
Datenschutzbestimmungen: http://www.google.de/intl/de/policies/privacy

Zweck der Verarbeitung:
Statistische Auswertung, Optimierung und bedarfsgerechte Gestaltung der Website auf Basis des Klick- und Nutzungsverhaltens.
 

Erfasste Daten:   

  • Nutzungsdaten
  • Verbindungsdaten