./ 2022

Systems’ Discourse

Frattali, miceli e i linguaggi non verbali dei sistemi

Details

Tools
  • Reaper
  • VCVRack
  • Arduino
  • Processing
Team
Adél Szegedi

Creative Coder

Katiya Ma

Creative Technologist

Leonardo Mussatto

Sound Designer & Creative Technologist

./ introduzione

Systems’ Discourse è un’installazione sperimentale che esplora come pattern e strutture di comunicazione diano forma a sistemi complessi — dai miceli fungini alle reti umane. Attraverso dati in tempo reale, grafica generative e sintesi modulare, l’opera rende i visitatori una componente integrante dell’installazione, mettendo in evidenza come anche sistemi apparentemente non correlati si influenzino reciprocamente quando condividono uno spazio. La comunicazione è un elemento centrale di tutti i sistemi, naturali, artificiali e digitali, ed è spesso di natura non verbale.

Il progetto è stato sviluppato all’interno del modulo Convergent Media presso la University of Westminster e ha rappresentato un banco di prova pratico per affrontare temi quali la leggibilità, le strategie di mappatura e la progettazione di pipeline audio-visive in tempo reale.

Nell’istallazione, quattro sistemi si intrecciano e si influenzano reciprocamente, dando forma a un ambiente contemplativo:

  • un fungo vivo, circondato da sensori, collocato su un piedistallo al centro della stanza

  • un pattern generativo in lenta evoluzione, proiettato sulle pareti

  • un paesaggio sonoro ricco e in costante trasformazione

  • visitatori e visitatrici, liberi di esplorare l’ambiente e di sedersi sulle panche disposte lungo le pareti

./ sviluppo

Il Sistema Vivente

Esplorazione Dei Sensori

L’obiettivo era integrare nell’installazione un “sistema vivente” — oltre ai visitatori — e concentrarsi su come questo potesse comunicare ed essere influenzato dagli altri sistemi in gioco. Le prime sperimentazioni hanno coinvolto delle piante, facilmente reperibili in sede, ma ci siamo presto orientati verso i funghi, che spesso svolgono un ruolo centrale nel coordinare la crescita delle foreste grazie alle loro capacità comunicative.

La lettura di dati significativi da organismi viventi si è però rivelata complessa. Piante e funghi scambiano spesso informazioni vitali attraverso, ma questo accade tramite il rilascio di sostanze chimiche e sottili variazioni delle cariche elettriche che i sensori comunemente reperibili non sono in grado di rilevare. Abbiamo quindi deciso di monitorare fattori ambientali che possono influenzare in modo significativo lo stato e la crescita dell’organismo e sono spesso il risultato dell’interazione di sistemi complessi.

Dopo aver sperimentato con i sensori disponibili nel laboratorio di *emergent media* dell’università, abbiamo selezionato quelli più coerenti con i vincoli concettuali e pratici del progetto. Le principali opzioni valutate sono state:

  • Sensori di luce (Grove TSL2561 / TMG39931)

    scartati: l’installazione era pensata per uno spazio oscurato, necessario a preservare il contrasto delle proiezioni

  • Qualità dell’aria (Grove Multichannel Gas Sensor)

    scartato: i test hanno mostrato che i campioni di fungo selezionati producevano variazioni trascurabili, non rilevabili dal sensore

  • Temperatura e umidità dell’aria (DHT11)

    adottato: parametri soggetti a variazioni noteveli dovute a visitatori e proiettori

  • Sensore di umidità del suolo (Grove Soil Moisture Sensor)

    adottato: il sensore forniva letture significative e utilizzabili

  • Sensori di impedenza

    scartati: l’impedenza è influenzata dalla struttura e dall’integrità dei tessuti biologici, e può rivelare carenze nutritive, infezioni patogene o stress termici. Tuttavia, collegare una scheda Arduino all’organismo non è sufficiente per ottenere dati significativi: questo approccio richiede una vera e propria spettroscopia di impedenza, con strumentazione e analisi specialistiche

  • Sensori di distanza a ultrasuoni

    adottati: per tracciare l’interazione dei visitatori con l’organismo e con l’installazione abbiamo scelto sensori a ultrasuoni, facilmente integrabili nella pipeline e sufficienti a determinare la distanza dei visitatori dal fungo

Primo piano del fungo e della scheda microprocessorePrimo piano del fungo e dei sensori collegati

./ sviluppo

Il Sistema Sonoro

Esplorazione Delle Patch

Se il sistema vivente era orientato a rilevare gli effetti spesso inosservati che i sistemi esercitano l’uno sull’altro quando condividono uno spazio, il sistema sonoro ruotava invece attorno a pattern auto-similari, una caratteristica tipica dei sistemi viventi basati sulla comunicazione. Oltre a essere generativo e di natura frattale, questo sistema doveva quindi essere in grado di dialogare con gli altri sistemi.

Abbiamo deciso di sperimentare con un sintetizzatore modulare virtuale costruito attorno a moduli ispirati a frattali, funzioni caotiche e modellazione fisica. Per ottenere modulazioni organiche e ricchezza timbrica, la patch risultante si articola in tre voci principali:

  • Pad a bassa frequenza in lenta evoluzione
    • Sorgente: Hora’s Detour (Vector Phase-shaping synth) inviato in parallelo a Prism’s Rainbow (risonatore spettrale multibanda), Vult’s Tangents (filtro in stile Steiner–Parker) e Bogaudio LFO+VELO (VCA controllato da LFO)
    • Modulazione: Axioma Tesseract agisce come sorgente centrale di modulazione, controllando i punti di inflessione di Detour, la risonanza e il livello dei filtri di Rainbow e la frequenza dell’LFO. I parametri di rotazione di Tesseract sono a loro volta modulati da Hetrick Chaotic Attractors, dalla temperatura dell’aria e dall’umidità relativa, mentre l’umidità del suolo controlla il drive di Tangents. Chaotic Attractors controlla inoltre la rotazione delle note di Rainbow
    • Risultato: una texture sostenuta e ricca, modulata da movimenti non periodici legati a temperatura e umidità: l’occupazione dello spazio definisce la velocità delle modulazioni, mentre l’umidità del suolo influisce sulla presenza delle basse frequenze
  • Campane ricorrenti
    • Sorgente: l’oscillatore Axioma’s Rhodonea instradato su tre percorsi paralleli, ciascuno controllato da ZZC SC-VCA (VCA con soft clipping), quindi inviato a Audible Instruments Resonator (risonatore modale), AS Delay Plus Stereo, e FLAG Electric Ensemble. Le tre voci vengono poi sommate e processate con Valley Plateau (riverbero a piastra), Hetrick Contrast e nuovamente AS Delay Plus Stereo
    • Modulazione: tre diramazioni di unless games tancor (macchina di gate a struttura ad albero binario, ispirata all’insieme di Cantor) controllano l’apertura dei gate e l’avanzamento di tre sequenze di identiche ma indipendenti, impostate con Computerscare I Love Cookies. Le sequenze vengono quantizzate e trasposte su tre ottave prima di essere inviate all’ingresso di pitch dei Resonator. Due delle divisioni di tancor pilotano inoltre dei SynthKit PrimeClock Dividers indipendenti, che modulano il damping dei Resonator
    • Risultato: un elemento melodico caratterizzato da ricorsività e timbri naturali, la cui complessità emerge pienamente solo quando i visitatori si avvicinano al fungo da almeno tre lati contemporaneamente
  • Glitch

Per aumentare il senso di presenza e immersione abbiamo sperimentato con la spazializzazione sonora. Le cinque voci indipendenti vengono inviate a Reaper, dove sono codificate in ambisonica di terzo ordine e posizionate nello spazio virtuale 3D tramite [IEM StereoEncoders](https://plugins.iem.at/#tab-StereoEncoder). Successivamente vengono sommate e decodificate per una configurazione personalizzata a sei diffusori attraverso [IEM AllRADecoder](https://plugins.iem.at/#tab-AllRADecoder). Grazie alla simulazione binaurale ottenuta con [IEM BinauralDecoder](https://plugins.iem.at/docs/plugindescriptions/#binauraldecoder), è stato possibile lavorare sul paesaggio sonoro prima di avere accesso allo spazio e all’attrezzatura finale, oltre a registrare diverse versioni a fini documentativi.

VCV Rack patchIEM Plug-Ins in Reaper

./ sviluppo

Il Sistema Visivo

Esplorazione Degli Sketch

Anche in questo caso l’obiettivo era creare un sistema generativo in grado di influenzare, reagire e condividere informazioni — ovvero comunicare — con gli altri sistemi dell’installazione. Una volta scelto il fungo come elemento centrale, l’esplorazione visiva ha assunto una direzione chiara: sistemi di particelle sensibili all’ambiente, che richiamano la crescita delle ife e la responsività ecologica.

Abbiamo deciso di lavorare con Processing utilizzando p5.js, per la sua semplicità e per l’ampia disponibilità di materiali di riferimento, in particolare grazie a OpenProcessing. Lo sketch risultante implementa un campo di particelle advectato da rumore Perlin 3D, generato a partire da una sorgente alla base del canvas. A ogni frame viene generato un nuovo punto, e ciascun punto viene traslato secondo un vettore direzionale calcolato a partire dal valore del rumore, lasciando una scia.

Le particelle emergono quindi da una singola sorgente e tracciano percorsi ramificati e fluidi seguendo i gradienti del rumore, in modo analogo alla ramificazione miceliare e alla formazione di reti, dove le condizioni locali favoriscono la proliferazione. Punti occasionalmente più grandi — influenzati dagli input dei sensori — interrompono il campo e attivano il sistema sonoro, simulando lo scambio di informazioni in risposta a fattori esterni. L’opera si trasforma così lentamente ma in modo percepibile, man mano che le persone interagiscono con lo spazio e le condizioni micro-ambientali cambiano.

Poiché volevamo che i visitatori entrassero fisicamente nell’installazione e ne diventassero parte, abbiamo deciso di proiettare le visuali tutt’intorno alla stanza. Avvolgerli con l’elemento visivo si è rivelato un modo efficace per ridurre la distanza tra opera e pubblico. Per favorire sia un’interazione ludica sia una fruizione più riflessiva, il piedistallo con il fungo è stato collocato al centro della stanza, mentre semplici panche sono state disposte lungo le pareti.

Questa configurazione ci ha permesso di posizionare i proiettori in basso, in modo visibile — sulle panche — rivelando deliberatamente la tecnologia alla base del sistema visivo e creando un’ulteriore possibilità per i visitatori di influenzare l’installazione, favorendo l’intreccio dei diversi sistemi. Allo stesso modo, sensori e cablaggi sono stati lasciati a vista, e sul piedistallo sono stati proiettati il sintetizzatore modulare virtuale, lo sketch Processing e i log seriali, offrendo uno sguardo diretto sul funzionamento interno dei sistemi e sulla loro complessità sottostante.

Motivo simile a micelio generato con ProcessingDettaglio del motivo proiettato

./ sviluppo

Pipeline

  1. Sensori → Arduino Uno → seriale su USB

    la scheda Arduino inviava stringhe ASCII terminate da newline, contenenti valori numerici accompagnati da caratteri identificativi

  2. Processing → LoopMIDI → VCV Rack

    Processing riceveva i dati dei sensori, applicava mappature personalizzate degli intervalli e trasmetteva le informazioni sotto forma di messaggi MIDI

  3. VCVRack → Reaper → Diffusori

    I canali audio di VCV Rack venivano instradati in Reaper tramite ReaRoute per la codifica e il panning ambisonico. Reaper decodificava poi il master ambisonico verso l’array di diffusori personalizzato e inviava l’audio a una Focusrite Scarlett 18i20 (v1)

  1. Processing Sketch → OBS → MadMapper

    Utilizzando p5.js, non era possibile trasmettere direttamente il canvas a MadMapper tramite Spout. In compenso, lo sketch era facilmente accessibile da un altro dispositivo sulla rete, consentendo di delegare il projection mapping a una seconda macchina tramite una sorgente browser di OBS e il plugin obs-spout2 per lo streaming della texture verso MadMapper

  2. Processing Editor / VCVRack → OBS → MadMapper

    Per mappare in tempo reale il sintetizzatore, l’editor Processing e la console sul piedistallo, OBS è stato utilizzato per catturare le finestre e condividerle tramite NDI grazie a obs-ndi — oggi DistroAV — verso MadMapper sulla seconda macchina

Image Gallery

./ risultato

Feedback

Durante la settimana di valutazione, l’installazione è stata visitata da circa 30 persone (tra studenti e docenti), e da un numero più contenuto nei giorni successivi (circa 20). I visitatori hanno inizialmente interagito con cautela, muovendosi nello spazio ed esplorandolo camminando attorno al fungo; una volta compreso che le proprie azioni potevano influenzare il comportamento dell’installazione, hanno iniziato a esplorare attivamente il sistema attraverso avvicinamenti e allontanamenti ripetuti, fino a coinvolgere altre persone e invitarle a occupare diverse posizioni attorno al piedistallo.

Altri visitatori hanno invece scelto di rimanere semplicemente nella stanza, sedendosi sulle panche lungo le pareti. Questo comportamento suggerisce che l’opera fosse in grado di sostenere sia momenti di fruizione individuale e riflessiva, sia modalità di interpretazione condivisa e sociale.