./ 2022
Systems’ Discourse
Frattali, miceli e i linguaggi non verbali dei sistemi

Details
- Team
- Adél Szegedi
Creative Coder
- Katiya Ma
Creative Technologist
Leonardo Mussatto
Sound Designer & Creative Technologist
./ sviluppo
Il Sistema Vivente
Esplorazione Dei Sensori
L’obiettivo era integrare nell’installazione un “sistema vivente” — oltre ai visitatori — e concentrarsi su come questo potesse comunicare ed essere influenzato dagli altri sistemi in gioco. Le prime sperimentazioni hanno coinvolto delle piante, facilmente reperibili in sede, ma ci siamo presto orientati verso i funghi, che spesso svolgono un ruolo centrale nel coordinare la crescita delle foreste grazie alle loro capacità comunicative.
La lettura di dati significativi da organismi viventi si è però rivelata complessa. Piante e funghi scambiano spesso informazioni vitali attraverso, ma questo accade tramite il rilascio di sostanze chimiche e sottili variazioni delle cariche elettriche che i sensori comunemente reperibili non sono in grado di rilevare. Abbiamo quindi deciso di monitorare fattori ambientali che possono influenzare in modo significativo lo stato e la crescita dell’organismo e sono spesso il risultato dell’interazione di sistemi complessi.
Dopo aver sperimentato con i sensori disponibili nel laboratorio di *emergent media* dell’università, abbiamo selezionato quelli più coerenti con i vincoli concettuali e pratici del progetto. Le principali opzioni valutate sono state:
Sensori di luce (Grove TSL2561 / TMG39931)
scartati: l’installazione era pensata per uno spazio oscurato, necessario a preservare il contrasto delle proiezioni
Qualità dell’aria (Grove Multichannel Gas Sensor)
scartato: i test hanno mostrato che i campioni di fungo selezionati producevano variazioni trascurabili, non rilevabili dal sensore
Temperatura e umidità dell’aria (DHT11)
adottato: parametri soggetti a variazioni noteveli dovute a visitatori e proiettori
Sensore di umidità del suolo (Grove Soil Moisture Sensor)
adottato: il sensore forniva letture significative e utilizzabili
Sensori di impedenza
scartati: l’impedenza è influenzata dalla struttura e dall’integrità dei tessuti biologici, e può rivelare carenze nutritive, infezioni patogene o stress termici. Tuttavia, collegare una scheda Arduino all’organismo non è sufficiente per ottenere dati significativi: questo approccio richiede una vera e propria spettroscopia di impedenza, con strumentazione e analisi specialistiche
Sensori di distanza a ultrasuoni
adottati: per tracciare l’interazione dei visitatori con l’organismo e con l’installazione abbiamo scelto sensori a ultrasuoni, facilmente integrabili nella pipeline e sufficienti a determinare la distanza dei visitatori dal fungo


./ sviluppo
Il Sistema Sonoro
Esplorazione Delle Patch
Se il sistema vivente era orientato a rilevare gli effetti spesso inosservati che i sistemi esercitano l’uno sull’altro quando condividono uno spazio, il sistema sonoro ruotava invece attorno a pattern auto-similari, una caratteristica tipica dei sistemi viventi basati sulla comunicazione. Oltre a essere generativo e di natura frattale, questo sistema doveva quindi essere in grado di dialogare con gli altri sistemi.
Abbiamo deciso di sperimentare con un sintetizzatore modulare virtuale costruito attorno a moduli ispirati a frattali, funzioni caotiche e modellazione fisica. Per ottenere modulazioni organiche e ricchezza timbrica, la patch risultante si articola in tre voci principali:
Pad a bassa frequenza in lenta evoluzione
- Sorgente: Hora’s Detour (Vector Phase-shaping synth) inviato in parallelo a Prism’s Rainbow (risonatore spettrale multibanda), Vult’s Tangents (filtro in stile Steiner–Parker) e Bogaudio LFO+VELO (VCA controllato da LFO)
- Modulazione: Axioma Tesseract agisce come sorgente centrale di modulazione, controllando i punti di inflessione di Detour, la risonanza e il livello dei filtri di Rainbow e la frequenza dell’LFO. I parametri di rotazione di Tesseract sono a loro volta modulati da Hetrick Chaotic Attractors, dalla temperatura dell’aria e dall’umidità relativa, mentre l’umidità del suolo controlla il drive di Tangents. Chaotic Attractors controlla inoltre la rotazione delle note di Rainbow
- Risultato: una texture sostenuta e ricca, modulata da movimenti non periodici legati a temperatura e umidità: l’occupazione dello spazio definisce la velocità delle modulazioni, mentre l’umidità del suolo influisce sulla presenza delle basse frequenze
Campane ricorrenti
- Sorgente: l’oscillatore Axioma’s Rhodonea instradato su tre percorsi paralleli, ciascuno controllato da ZZC SC-VCA (VCA con soft clipping), quindi inviato a Audible Instruments Resonator (risonatore modale), AS Delay Plus Stereo, e FLAG Electric Ensemble. Le tre voci vengono poi sommate e processate con Valley Plateau (riverbero a piastra), Hetrick Contrast e nuovamente AS Delay Plus Stereo
- Modulazione: tre diramazioni di unless games tancor (macchina di gate a struttura ad albero binario, ispirata all’insieme di Cantor) controllano l’apertura dei gate e l’avanzamento di tre sequenze di identiche ma indipendenti, impostate con Computerscare I Love Cookies. Le sequenze vengono quantizzate e trasposte su tre ottave prima di essere inviate all’ingresso di pitch dei Resonator. Due delle divisioni di tancor pilotano inoltre dei SynthKit PrimeClock Dividers indipendenti, che modulano il damping dei Resonator
- Risultato: un elemento melodico caratterizzato da ricorsività e timbri naturali, la cui complessità emerge pienamente solo quando i visitatori si avvicinano al fungo da almeno tre lati contemporaneamente
Glitch
- Sorgente: Hora Soft Bell inviato tramite Count Modula Switch a diversi effetti: Valley Plateau, NYSTHI Dissonantverb, NYSTHI Wormholizer, AS Delay Plus, AS Super Drive, Chowdsp ChowChorus, Chowdsp Warp, Alright Devices T-Wrex o Hetrick Bitshift. I percorsi paralleli vengono successivamente mixati
- Modulazione: la comparsa dei punti nello sketch Processing attiva Sha#bang Modules Collider, che a sua volta innesca Hora Soft Bell, mentre la dimensione dei punti modula la frequenza delle particelle di Collider e il livello di Soft Bell. Un SynthKit Fibonacci Clock Divider pilota Count Modula Switch, definendo il tempo di permanenza del segnale in ciascun percorso.
- Risultato: glitch generati dalla combinazione di frattali, modellazione fisica e manipolazione digitale
Per aumentare il senso di presenza e immersione abbiamo sperimentato con la spazializzazione sonora. Le cinque voci indipendenti vengono inviate a Reaper, dove sono codificate in ambisonica di terzo ordine e posizionate nello spazio virtuale 3D tramite [IEM StereoEncoders](https://plugins.iem.at/#tab-StereoEncoder). Successivamente vengono sommate e decodificate per una configurazione personalizzata a sei diffusori attraverso [IEM AllRADecoder](https://plugins.iem.at/#tab-AllRADecoder). Grazie alla simulazione binaurale ottenuta con [IEM BinauralDecoder](https://plugins.iem.at/docs/plugindescriptions/#binauraldecoder), è stato possibile lavorare sul paesaggio sonoro prima di avere accesso allo spazio e all’attrezzatura finale, oltre a registrare diverse versioni a fini documentativi.




Processing Sketch → OBS → MadMapper
Utilizzando p5.js, non era possibile trasmettere direttamente il canvas a MadMapper tramite Spout. In compenso, lo sketch era facilmente accessibile da un altro dispositivo sulla rete, consentendo di delegare il projection mapping a una seconda macchina tramite una sorgente browser di OBS e il plugin obs-spout2 per lo streaming della texture verso MadMapper
Processing Editor / VCVRack → OBS → MadMapper
Per mappare in tempo reale il sintetizzatore, l’editor Processing e la console sul piedistallo, OBS è stato utilizzato per catturare le finestre e condividerle tramite NDI grazie a obs-ndi — oggi DistroAV — verso MadMapper sulla seconda macchina
./ risultato
Feedback
Durante la settimana di valutazione, l’installazione è stata visitata da circa 30 persone (tra studenti e docenti), e da un numero più contenuto nei giorni successivi (circa 20). I visitatori hanno inizialmente interagito con cautela, muovendosi nello spazio ed esplorandolo camminando attorno al fungo; una volta compreso che le proprie azioni potevano influenzare il comportamento dell’installazione, hanno iniziato a esplorare attivamente il sistema attraverso avvicinamenti e allontanamenti ripetuti, fino a coinvolgere altre persone e invitarle a occupare diverse posizioni attorno al piedistallo.
Altri visitatori hanno invece scelto di rimanere semplicemente nella stanza, sedendosi sulle panche lungo le pareti. Questo comportamento suggerisce che l’opera fosse in grado di sostenere sia momenti di fruizione individuale e riflessiva, sia modalità di interpretazione condivisa e sociale.