Das Projekt „Jukebox Fusion“ wurde im Rahmen einer Exkursion zur 59. Biennale konzipiert und entwickelt von Alexander Galperin und Marcel Joschko. Im Projekt wird das KI-Tool Jukebox verwendet, um musikalische Audioaufnahmen aus Venedig und der Biennale reproduzieren und zu ergänzen. Zudem wird eine Webseite erstellt, auf der die künstlich hergestellte Klanglandschaft zu hören ist. Des weiteren ist es möglich auf der Webseite mit Userinteraktionen weitere Audioeindrücke aus Venedig zu hören.
Jukebox: Jukebox ist ein neuronales Netz das Musik generiert. Dabei benötigt es eine Audiodatei und ein Genre als Input. Zudem ist es möglich einen Künstler auszuwählen, den die KI versucht zu imitieren. Zuletzt muss die Länge des Outputs eingestellt werden.
Die Webseite hat das Ziel durch viel minimalistische Dynamik die atmosphärische Musik, die durch die AI generiert wurde zu ergänzen.
Die Webseite wurde größtenteils mit JavaScript in eine React-Projektstruktur entwickelt. Das zentrale Element der Webseite sind die Partikel die permanent neu in einem Canvas-Element gerendert werden. Mithilfe der Web Audio API, können wir Audiodateien beliebig abspielen. Für die Web Audio API haben wir Tuna.js benutzt. Das ist eine JS-Library die auf die Web Audio API aufbaut und nahezu identisch funktioniert. Neben der Interaktivität mit Mauscursor und Partikeln, wollten wir auch eine Interaktivität zwischen Mauscursor und Audio herstellen. Bei Bewegung der Maus über die Webseite ändern sich die Parameter der einzelnen Audioeffekte.