VALUE, un progetto per sviluppare una nuova dimensione della cultura con la realtà mista

Il primo prototipo è in via di sviluppo e a breve sarà pronto per rivoluzionare l’esperienza delle visite all’interno degli spazi museali.

A realizzarlo, nell’ambito del progetto VALUE - Visual Analysis For Location And Understanding Of Enviroments, un team di ricercatori dell’Università di Catania (guidati dai docenti Giovanni Signorello e Giovanni Maria Farinella, responsabili scientifici del progetto) Xenia, Imc Service, ICAR-CNR e Capitale Cultura.

Avviato nel gennaio scorso il progetto – sviluppato grazie ai fondi del programma PO FESR 2014/2020 Azione 1.1.5. “Sostegno all’avanzamento tecnologico delle imprese attraverso il finanziamento di linee pilota e azioni di validazione precoce dei prodotti e di dimostrazioni su larga scala” - rappresenta una sfida di frontiera che unisce centri di eccellenza sulla ricerca per le tecnologie innovative e aziende con forti competenze nello sviluppo digitale e valorizzazione dei beni culturali.

Una sfida pionieristica che nasce dalla volontà di andare oltre la realtà aumentata e la realtà virtuale, tecnologie oggi solide e mature, unendole in un’esperienza in cui oggetti virtuali sono sovrapposti alla realtà circostante in modo che l’utente possa interagirvi, creando un’esperienza più dinamica che mai. Grazie alla realtà mista è possibile interagire con oggetti tridimensionali mostrati su speciali visori di ultima generazione, permettendo però all’utente di non perdere mai il contatto con l’ambiente reale che lo circonda.

Una preziosa opportunità per far “parlare a viva voce” luoghi e beni culturali che non sono sempre pienamente comprensibili da tutti, ovvero permettere loro di raccontare la propria storia. Un avatar digitale, con cui sarà possibile comunicare in linguaggio naturale, con frasi semplici e comprensibili, che accompagnerà il visitatore in un racconto coinvolgente e multisensoriale, alla scoperta del museo o del sito culturale.

Il progetto, infatti, si propone di realizzare un sistema innovativo, in grado di processare in tempo reale le informazioni ottenute attraverso la videocamera dei visori indossabili, analizzando con una precisione finora mai ottenuta i particolari di oggetti e architetture, aggiungendo contenuti in 3D, ma anche tracciando e registrando in maniera estremamente precisa il comportamento dei visitatori di musei e siti storici.

Sul fronte delle tecnologie hardware, VALUE si avvale dei dispositivi più innovativi come i Microsoft Hololens 2, di diverse tipologie di occhiali per la realtà aumentata e con smartphone e tablet. Un mix di soluzioni differenti e complementari per dare vita e mettere a confronto diverse esperienze immersive di visita all’interno dei siti culturali siciliani.

Una delle sperimentazioni di maggior rilievo del progetto è in via di realizzazione nella sala V della Galleria Regionale di Palazzo Bellomo di Siracusa, nata nel 1940, quando le raccolte d’arte medievale e moderna vennero disgiunte dalle collezioni del Museo Archeologico Nazionale.

Attraverso l’uso di visori di Mixed Reality e l’applicazione di soluzioni di intelligenza artificiale, sarà possibile conoscere e approfondire la storia delle opere custodite in questa stanza, rappresentative della cultura figurativa rinascimentale in Sicilia, fra cui, la celeberrima “Annunciazione” di Antonello da Messina. Sarà possibile anche interagire e “dialogare” in linguaggio naturale con uno speciale “avatar” ispirato al pittore siciliano.

Il sistema VALUE utilizza uno specifico algoritmo, per tracciare i comportamenti di visita degli utenti, aiutandoli così nel loro percorso, indicando loro le diverse tappe da seguire e, quindi, permettendo loro di esplorare il sito nella migliore delle condizioni e sulla base delle loro preferenze. Le informazioni raccolte, inoltre, aiuteranno l’ente a migliorare di volta in volta l’esperienza di visita, proprio grazie all’analisi delle reazioni e dei comportamenti degli utenti.

L’algoritmo non solo memorizza quali punti hanno suscitato più interesse di altri, ma è anche in grado di profilare i visitatori segnalando le loro preferenze, con la possibilità di offrire, ad esempio, proposte di acquisto di souvenir relativi agli oggetti “visitati” durante la visita e di fornire una collezione di immagini degli oggetti maggiormente apprezzati.

Il progetto ha l’obiettivo di creare valore per i turisti e per gli enti culturali e vede l’impegno e la sinergia tra diverse realtà che, unendo gli specifici know-how, hanno affrontato questa scommessa.

Il video di presentazione del progetto VALUE

«Siamo entusiasti di continuare a investire in ricerca e di proseguire con lo sviluppo di soluzioni innovative nell’ambito della fruizione dei Beni Culturali – spiega il responsabile tecnico del Gruppo Xenia, Emanuele Ragusa - questa esperienza, avviata alcuni anni fa, ci ha arricchito moltissimo in termini di acquisizione di nuove conoscenze su tecnologie abilitanti che risultano qualificanti per lo sviluppo aziendale».

Il prof. Giovanni Signorello dell’Università di Catania spiega che «la direzione scientifica del progetto è ricoperta dal centro universitario con il compito di indirizzare i partner industriali verso le tecnologie di Computer Vision e Machine Learning che devono essere sviluppate al fine di creare funzioni avanzate per la comprensione dei comportamenti dei visitatori nei siti culturali naturali e museali».

«In particolare si svilupperanno funzioni utili a localizzare visitatori nei diversi ambienti culturali, come anche a comprendere quali oggetti sono osservati dai visitatori e per quanto tempo – aggiunge il docente dell’ateneo catanese -. La comprensione del comportamento dei visitatori può essere utile per restituire agli enti informazioni sui punti di interesse, fornendo ai manager del sito misure oggettive utili alla gestione del sito stesso, come ad esempio quali sono i punti di interesse osservati dai visitatori e quali spazi vengono esplorati».

«Lo scopo principale del progetto - aggiunge il prof. Giovanni Maria Farinella, docente di Machine Learning del Dipartimento di Matematica e Informatica dell’Università di Catania - è quello di creare un assistente artificiale indossabile capace di osservare la scena dal punto di vista del visitatore attraverso uno smartglass. L’assistente artificiale dovrà essere in grado di comprendere automaticamente oggetti e ambienti osservati dal visitatore, a partire dalle immagini acquisite. Stiamo progettando algoritmi innovativi di Visione Artificiale in grado di stabilire la posizione del visitatore rispetto alla mappa dell’ambiente e gli oggetti che sta osservando. I nuovi algoritmi potranno essere poi industrializzati, permettendo quindi il trasferimento tecnologico della ricerca, anche al fine di far crescere il tessuto industriale locale».

Il responsabile scientifico dell’ICAR-CNR per le attività del progetto VALUE, Ignazio Infantino aggiunge che «le interazioni tra uomo e sistemi informatici intelligenti sono diventate sempre più ricche e simili a quelle tra persone e l’Intelligenza artificiale, le capacità verbali ed espressive e i modelli cognitivi sono gli ingredienti per assicurare esperienze di fruizione di beni culturali di forte impatto emotivo e adattate alle preferenze dei visitatori».

Giovanni Distefano, coordinatore del progetto VALUE per IMC Service, precisa che «la continua ricerca di soluzioni innovative nel supporto della interazione dell’uomo con la realtà circostante trova in questo progetto un modello applicabile sia in campo culturale che in ambiti produttivi» «Il sistema VALUE rappresenta una piattaforma innovativa per la realizzazione di sistemi di supporto che, tramite la capacità di determinare l’effettivo oggetto guardato dall’utente, consente un nuovo livello di interazione dell’utente con l’ambiente».

«Le nuove frontiere della fruizione culturale, oggi più che mai, richiedono paradigmi rinnovati, basati su una sinergia coerente e rigorosa tra i linguaggi della comunicazione digitale e l’innovazione tecnologica – dice Antonio Scuderi, fondatore e CEO di Capitale Cultura Group – La crisi del Covid ci mette di fronte a grandi sfide, per rispondere a nuove domande e profili di turismo culturale. Il turista cosiddetto di prossimità ci chiederà nuove forme di racconto e divulgazione. La Realtà Mista, evoluzione e sintesi della Realtà Aumentata e della Realtà Virtuale, ci appare oggi come una delle sfide più promettenti, per aumentare il livello di soddisfazione e l’afflusso dei nuovi pubblici della cultura».