4D — Kunst als Daten: Machine Learning und TouchDesigner für interaktive KI
Visualisierungen, 12. SW Wintersemester 24/25

Wenn wir an Daten denken, stellen wir uns oft Statistiken, Zahlen und Fakten vor. Allerdings können Daten auch als eine Darstellung eines Konzepts, eines flüchtigen Moments oder als ein grundlegendes Element dessen, was unsere Identität ausmacht, verstanden werden. In diesem Sinne können Daten gesammelt und trainiert werden, um maschinelle Lernmodelle zu erstellen, die nicht nur etwas aus dem Trainingssatz rekonstruieren, sondern auch einen latenten Raum erzeugen – eine abstrakte Repräsentation, die neue Wege eröffnet, um zu verstehen, wie Daten miteinander verknüpft sind. Obwohl dieser Ansatz kreative Möglichkeiten bietet, bringt er auch gesellschaftliche Herausforderungen mit sich, wie z. B. die Verstärkung menschlicher Vorurteile, die Entwicklung von Klassifikationen, die bestimmte Gruppen ausschließen, oder die Verletzung von Urheberrechten, unter anderem. Auch wenn die Lösung dieser Probleme Jahre dauern kann, sollen wir Wege finden, Machine-Learning-Modelle zu nutzen, um uns bei interaktiven Prozessen zu unterstützen, anstatt uns entgegenzuwirken.

In diesem Workshop erforschen wir die Möglichkeit, Machine-Learning-Modelle mit Ihren eigenen Daten zu trainieren und Werkzeuge zu entwickeln, die schnellere Iterationen durch einen iterativen Prozess ermöglichen. Wir werden verschiedene Methoden der spielerischen Interaktion mit Bildern, Videos, 3D-Scans, Punktwolken und Body-Tracking untersuchen. Dafür werden wir erkunden, wie man KI-basierte Werkzeuge wie Flux, InstantMesh und LumaAI, LORA (Low Rank Adaptation) trainiert und mit TouchDesigner integrieret. Außerdem werden wir untersuchen, wie TouchDesigner animierte Interaktionen mit Daten durch Gesten, Gesichtsmerkmale und Körpertracking ermöglichen kann. Wir wenden Methoden der Datenvisualisierung, Mensch-Computer-Interaktion (HCI) und Interface-Design an, um die Darstellung des latenten Raums neu zu denken und über traditionelle 2D-Darstellungen hinauszugehen. Durch praktisches Experimentieren erforschen wir kreativ die Schnittstelle von Daten, Machine Learning und interaktiver Kunst. TouchDesigner Vorkenntnisse sind eine Voraussetzung. In den Beispielen wird gezeigt, wie Daten gesammelt, trainiert und in den künstlerischen Workflow integriert werden können. Im Laufe der Woche werden in TouchDesigner Beispiele demonstriert, die in Techniken und Komplexität variieren.

Lernergebnisse:

• Einführung in die Grundlagen der Datenvisualisierung
• Einführung in Machine-Learning-Datensätze und Modelltraining
• Überblick über kostenlose und open-source KI Tools
• Erkundung visueller Darstellungen auf der Grundlage eigener Kunstwerke
• Experimente mit verschiedenen Datenvisualisierungskonzepten in TouchDesigner

Mitnehmen:
• Laptop mit eingebauter Kamera
• Computermaus
• Handy
• 10 bis 20 Bilder/Objekte/Modeartikel usw., die als Trainingsdaten verwendet werden können