AMYGDALA

Generative Data Installation
2016

AMYGDALA

Generative Data Installation
2016

Lo stato emotivo di ognuno di noi è condizionato da impulsi e stimoli provenienti dal mondo in cui viviamo, dalle persone con le quali ci relazioniamo e dalle esperienze che facciamo, modificando costantemente la percezione di noi stessi e di ciò che ci circonda. Sempre più spesso queste interazioni avvengono attraverso canali e reti sociali digitali trasformandosi in dati che possono essere ascoltati, interpretati ed utilizzati.
È sufficiente accedere ad un social network, usare uno smartphone, o semplicemente navigare sul web per rendere di dominio pubblico informazioni intime e private che vanno ad alimentare i “Big Data”, enormi insiemi di dati contenenti tutto ciò che viene immesso nella rete. Le notizie e i pensieri degli utenti si propagano nei social network in tempo reale. Accade così che un evento di portata mondiale coinvolga immediatamente milioni di persone che condividono le proprie opinioni e le proprie emozioni: felicità, rabbia, tristezza, disgusto, stupore, paura. Immaginando dunque internet come un organismo vivente, possiamo pensare che il suo stato emotivo possa essere dato dall’insieme delle emozioni condivise dagli utenti in ogni momento.
AMYGDALA, ascolta i pensieri condivisi, ne interpreta lo stato d’animo e traduce i dati raccolti in una installazione audiovisiva capace di rappresentare lo stato emotivo collettivo della rete e la sua modificazione in base agli eventi che accadono nel mondo. L’obiettivo è quello di rendere visibile il flusso di dati e di informazioni che costantemente vengono creati dagli utenti e che possono essere ascoltati e interpretati da chiunque, cercando di stimolare una riflessione sulle opportunità e i rischi della rivoluzione digitale che stiamo vivendo.
I Big Data infatti possono esser utilizzati per monitorare in tempo realel’espandersi di un’epidemia o per prevenire un crimine e migliorare la sicurezza di una città, ma allo stesso modo possono essere sfruttati da aziende ed istituzioni per immagazzinare, spesso a nostra insaputa, quantità infinite di informazioni sulle nostre vite private. Crediamo che prendere coscienza di questi meccanismi possa aiutare nella tutela del libero sentire individuale e collettivo.
HOW IT WORKS
Nell’uomo, l’amigdala è ritenuta il centro di integrazione di processi neurologici superiori come lo sviluppo delle emozioni ed è coinvolta anche nei sistemi della memoria emozionale. È attiva nel sistema di comparazione degli stimoli ricevuti con le esperienze passate e nell’elaborazione degli stimoli olfattivi. Per riprodurre artificialmente questi meccanismi AMYGDALA sfrutta una disciplina molto recente: la “Sentiment Analysis” (oppure Opinion Mining), un incrocio tra l’information retrieval e la linguistica computazionale che permette di ricavare lo stato emotivo dei messaggi condivisi in rete dagli utenti. Questa tecnica infatti prevede che durante l’analisi di un documento ci si concentri non sull’argomento di cui parla, ma sull’opinione che il documento stesso esprime.La nascita del web 2.0 e la conseguente crescita dei volumi di “user-generated content” ha reso la Sentiment Analysis sempre più utilizzata in particolare per ricerche sociali (di opinione o di mercato), per la gestione della reputazione online, per la previsione degli andamenti dei titoli di borsa o per campagne pubblicitarie mirate.

Avere la possibilità di comprendere il “sentiment” della rete può aiutare a meglio comprendere il presente e a fare previsioni sul futuro rispetto ad una molteplicità di fenomeni sociali che spaziano dall’andamento dei mercati finanziari, alla diffusione di malattie, alle rivolte fino ai risultati dei talent show. Scrivendo i nostri pensieri in rete quindi, mettiamo a disposizione informazioni anche molto personali che possono essere sfruttate e immagazzinate, spesso a nostra insaputa per diversi scopi. AMYGDALA fa esattamente questo: ascolta e interpreta i contenuti condivisi in rete dagli utenti per generare un’opera audiovisiva. Il cuore del progetto è infatti un algoritmo di Sentiment Analysis basato sulla libreria open source sviluppata da Krcadinac U., Pasquier P., Jovanovic J. & Devedzic V. Synesketch (An Open Source Library for Sentence-Based Emotion Recognition, IEEE Transactions on Affective Computing 4(3): 312-325, 2013).
IMG 1 contenuto
L’algoritmo suddivide le emozioni in sei tipologie: felicità, tristezza, paura, rabbia, disgusto e sorpresa ed effettua un’analisi testuale per ogni singolo tweet con un ritmo di circa 30 tweet al secondo. L’analisi testuale elabora parola per parola utilizzando un dizionario composto da oltre 5000 vocaboli, ognuno dei quali ha un punteggio per ogni emozione in base al proprio significato.
Durante l’analisi di un tweet inoltre sono presenti regole euristiche; per esempio si controllano eventuali negazioni nel testo e si raddoppia il punteggio se una parola è scritta in maiuscolo per aumentarne l’importanza.
Un tweet, una volta analizzato, è quindi rappresentato da sei valori, uno per ogni emozione, da cui si ricava la “Strongest emotion” relativa al tweet stesso. Lo stato emotivo globale è rappresentato dalle percentuali di ogni emozione, determinate dal numero di tweet associato all’emozione stessa.
Dal momento dell’attivazione di AMYGDALA, durante i 3 mesi della mostra FLUX US, milioni di tweet verranno ascoltati e interpretati costruendo un archivio emozionale della rete.
Luca wrk bw
Il progetto si sviluppa in 2 aree di CUBO: i 125.952 LED delle 41 Colonne del Media Garden dove viene rappresentato il processo di analisi e riconoscimento delle emozioni e sui 12 videowall della Mediateca in cui viene visualizzata l’evoluzione dello stato emotivo globale nel tempo.
Per tenere traccia dell’evoluzione dello stato emotivo della rete, ogni 10 minuti i dati raccolti e analizzati nel Media Garden vengono inviati in Mediateca per essere “archiviati” nei Videowall sotto forma di grafici generativi emozionali che andranno a costruire la memoria emozionale dei 3 mesi di funzionamento di AMYGDALA.

SUONO
La componente sonora è una parte molto importante dell’installazione AMYGDALA perchè rappresenta metaforicamente il processo di analisi e riconoscimento delle emozioni.
IMG 3 contenuto
Il sistema che controlla la parte audio è stato realizzato in MAx MSP: 6 texture sonore rappresentano le 6 emozioni e vengono mixate ricevendo tramite protocollo di comunicazione OSC (Open Sound Control) i dati ricavati dall’analisi dei tweet. Nella prima fase di raccolta dei dati, vengono applicate distorsioni, delay con ritardi di riproduzione minimi (variabili da 0,1 a 100 msec.) e decadimenti molto alti ottenendo sonorità ruvide e poco riconoscibili, mentre man mano che le emozioni vengono riconosciute il suono si pulisce rivelando una melodia che rappresenta le percentuali rilevate.

La patch di MAx MSP che abbiamo sviluppato permette inoltre, grazie ad un sistema di quadrifonia, di far ruotare le 6 tracce attorno allo spettatore creando un effetto disorientante fino al momento in cui le emozioni vengono riconosciute, segnando la fine del ciclo di AMYGDALA che si ripete ogni volta in maniera diversa.
cubo sketch new bigCUBO – MEDIA GARDEN
La collaborazione tra fuse* e UNIPOL inizia nel 2012 quando viene commissionata la progettazione e la realizzazione di CUBO, (Centro Unipol Bologna) a FUSE*ARCHITECTURE, uno spin off dello studio nato dalla collaborazione tra fuse* e l’architetto Fabrizio Gruppini con lo scopo di creare spazi narrativi intrecciando profondamente progettazione architettonica e multimediale.

AMYGDALA prende vita proprio in uno degli spazi che è stato creato all’interno di CUBO: il MEDIA GARDEN, una installazione luminosa composta di 41 barre a LED che si sviluppa nei due giardini dell’edificio ed è l’installazione tecnologicamente più complessa del progetto CUBO. Ogni colonna è composta di una matrice di 3.071 LED RGB ad alta luminosità per un totale di 125.952 LED controllati singolarmente dalla sala server attraverso 2,75 KM di fibra ottica. Le colonne sono state progettate per essere funzionanti 24 ore su 24, 365 giorni l’anno.
Un sistema di raffreddamento interno permette di mantenere la temperatura costante e sul vetro camera frontale è convogliato un flusso d’aria per evitarne l’appannamento.
IMG 5 contenuto
Nella parte di giardino che si trova tra le due ali di CUBO dove l’installazione diventa circolare, è stato installato un sistema audio che diffonde il suono a 360° avvolgendo gli spettatori al centro dell’installazione. L’installazione è stata progettata per visualizzare diverse tipologie di contenuti: show multimediali programmati e contenuti generati via software in tempo reale, come AMYGDALA.

“A project that was brought to life due to our curiosity of finding a way of depicting the listening and interpretation of our continuous flow of thoughts shared on the net via social network” - Intervista su Creative Applications
It looks and sounds beautiful, like a futuristic reinterpretation of ancient stone circles, which carried, if not emotions, at least their own sets of associations.” - The Creators Projects
“A new art project wants to help you grasp the joy or fury expressed by all of the users around the world at once.” – Engadget
“I’m drawn to work that speaks to both the visceral and the intellectual, and AMYGDALA appears to do just that. There is a sense of ritualism, repetition, and exploration that drifts out from the imagery and forms.” - Cycling ’74
“It’s a heady project, one that fuse’s designers tell me they hope will not just help us understand Twitter better, but maybe even illuminate patterns that will allow them to predict surges of feeling on Twitter before they happen.” - Fast.Co Design

Anno: 2016
Commissionato da: UNIPOL
Premiere atFLUX-US @ CUBO / 26 Gennaio – 16 Aprile 2016
Awards: 20th Japan Media Arts Festival, Jury Selections – Art Division
Video Shooting: Gianluca Bertoncelli