Virtual reality meets theatre: een toegankelijke belevenis voor doven en hardhorige personen

Op 13 november 2024 was IULM University (in Milaan, Italië) de gastheer van een nooit eerder gezien evenement over toegankelijke en inclusieve theatervoorstellingen. Tijdens het initiatief werden twee optredens van Family Game VR opgevoerd, ontworpen voor een publiek van zowel horende mensen als mensen met gehoorproblemen. De voorstelling uit 2020 is een multimediashow die werd ontworpen en geregisseerd door Mimosa Campironi en werd gespeeld door Alessandro Averone. 

Over de voorstelling: De rol van virtual reality in innovatieve podiumkunsten

Family Game VR is een van de eerste voorbeelden ter wereld van 'mixed reality' (MR) theater. De hybride kunstvorm combineert technologie met elementen van traditioneel theater. Het unieke en innovatieve karakter van dit concept ligt in de combinatie van een 50 minuten durende video, waarbij het publiek gebruikmaakt van een VR-headset met 360-gradenzicht, en een live gedeelte, waarbij het publiek de headset afzet en in interactie treedt met de acteur. De combinatie van het virtuele en het fysieke deel van de show zorgt voor een nieuwe theatrale dimensie waarbij de magie van een traditioneel theaterstuk samensmelt met een vernieuwende manier om theater te beleven en ervan te genieten. Op die manier, doordat de kijker zich ook fysiek in de zaal bevindt, is deze kunstvorm volkomen menselijk én technologisch.

Wat is het doel van de virtual reality (VR) in Family Game VR? En wat heeft VR te maken met het onderwerp van de voorstelling? Campironi gebruikt virtual reality niet enkel als manier om de vierde wand te breken en een immersieve belevenis te creëren, ze gebruikt het ook als metafoor voor iemands gefragmenteerde identiteit en de vele realiteiten waarin iemand kan leven. Deze thema's vormen dan ook de rode draad van de voorstelling en zijn geïnspireerd op Luigi Pirandello's werken. Het plot draait rond een persoonsverwisseling, de dubbelzinnigheid tussen personages en maskers, en de verwarring tussen wat echt is en wat niet. Dat zorgt ervoor dat het publiek zich afvraagt of wat ze zien een echte gebeurtenis is of slechts een verzinsel van de verbeelding van het personage. Deze verwarring en desoriëntatie wordt nog eens versterkt omdat de personages door één acteur gespeeld worden.

Ondertiteling van MR-theaterproducties voor mensen met gehoorbeperkingen:  een uniek experiment

De innovatieve en artistieke waarde van Family Game VR wekte de interesse van professor Francesco Laurenti:  "Ik was erg onder de indruk van de uitdaging die de regisseur aanging. Al vanaf de vroege stadia van het creatieve proces, is het toneelstuk gebaseerd op een gewaagde combinatie van artistiek onderzoek en de analyse van de mogelijkheden van VR. En ik kon het niet laten om een nieuwe uitdaging toe te voegen: het ontwikkelen van een nieuw model voor theaterondertiteling. Een ondertiteling ontwerpen die toegankelijkheid garandeert voor doven en slechthorenden is iets wat, voor zover ik weet, nog niet eerder was gedaan. Voor zover ik weet, is ons project een van de eerste in zijn soort ter wereld."

Voordat we ingaan op de details van het project, is het de moeite waard enkele opmerkingen te maken over toegankelijke ondertiteling.  Toegankelijke ondertitels zijn niet louter een transcriptie van de dialoog van een toneelstuk, maar een gesynchroniseerde aanpassing van zowel verbale als non-verbale akoestische informatie. Ze zijn bedoeld voor dove en slechthorende toeschouwers en omvatten ‘alle informatie die afhankelijk is van het auditieve kanaal’ (Franco en Santiago Araújo 2003, p. 250) en niet uit de actie kan worden afgeleid. Het gaat om dialogen, geluidseffecten op en buiten het scherm, achtergrondgeluiden, muziek, pauzes, paralinguïstische signalen (vocale kenmerken zoals timbre, intonatie, toon, volume), enz. Toegankelijke ondertitels moeten duidelijk geformuleerd zijn, eenvoudige taal en syntaxis gebruiken om begrip en leesbaarheid te vergemakkelijken, idiomatische uitdrukkingen aanpassen, dubbelzinnigheden vermijden die het begrip kunnen belemmeren, accuraat zijn, de integriteit van de boodschap en de oorspronkelijke bedoeling behouden (Creative Words 2024) en kleuren gebruiken om de spreker te identificeren. Vaak worden ze weergegeven binnen vierkante haken en geven ze alle relevante audio- en contextinformatie weer, waardoor de toegankelijkheid en het begrip voor mensen met gehoorverlies, aandachts- of cognitieve stoornissen, leerproblemen, enz. verbetert.

Met deze uitgangspunten kunnen we nu ingaan op de creatie van ondertitels voor Family Game VR.  Alle akoestische informatie in de video van de voorstelling werd getranscribeerd in het script en geplaatst binnen vierkante haken (bijv. [voce rotta], [urla], [accento abruzzese]). De tekst werd vervolgens opgedeeld in segmenten op basis van de pauzes in de voordracht en aangepast aan de toegankelijkheidsrichtlijnen en principes van linguïstische simplificatie zoals beschreven door Mariangela Laurenti (2023, p. 43). Die omvatten het schrijven van korte zinnen, het gebruik van de woordvolgorde onderwerp-werkwoord-lijdend voorwerp (SVO), de voorkeur voor actieve in plaats van passieve werkwoordsvormen, het expliciet maken van impliciete onderwerpen, en het vermijden van buitenlandse, idiomatische en metaforische uitdrukkingen waar mogelijk. Nadat het linguïstische aanpassingsproces was voltooid, werden de ondertitels voor de 360° VR-video omgezet in een .srt-bestand en in de video ingebrand met Adobe Premiere. De ondertitels voor de live-uitvoering werden getranscribeerd in een PowerPoint-presentatie, waarbij elke dia functioneerde als een ondertitel tijdens de liveprojectie.

In de vroege stadia van het project werd ook overwogen om een gebarentolk in de VR-headsets op te nemen.  Na grondige overweging bleek deze optie echter niet haalbaar, omdat slechthorende toeschouwers moeite zouden kunnen hebben om zowel de acteur als de tolk te volgen en gedwongen zouden worden een keuze te maken tussen de twee. Dat zou slechts resulteren in een gedeeltelijke beleving van de voorstelling en moeilijkheden bij het begrijpen ervan. Desondanks werden video's in de Italiaanse Gebarentaal (LIS) opgenomen in de theaterprogramma's die aan het publiek werden gegeven zodra ze de zaal betraden waar het evenement plaatsvond.

Toegankelijke ondertiteling: een gezamenlijke inspanning

Het is een uitdagende opdracht om een toneelstuk te ondertitelen om het toegankelijk te maken voor mensen met gehoorbeperkingen, vooral wanneer het zowel gefilmde als live onderdelen combineert, zoals bij Family Game VR het geval is. De sleutel tot een succesvolle aanpak ligt in de samenwerking binnen multidisciplinaire teams om verschillende aspecten aan te pakken, zoals ondertitelingsregels, toegankelijkheid en technologische vraagstukken.

Om hoogwaardige toegankelijke ondertitels te realiseren, bracht IULM technische, theatrale en taalkundige expertise samen in samenwerking met verschillende partners. Het project werd uitgevoerd door het International Center for Research on Collaborative Translation IULM, in samenwerking met IULM University, Centro EURESIS IULM, KIT Italia, Fondazione Gualandi a favore dei sordi en Istituto dei Sordi di Torino. Bij het project waren de volgende mensen betrokken: Francesco Laurenti, Allegra Mancini, Claudia Pavignano, Lisa Vecchia (International Center for Research on Collaborative Translation IULM); Marta Muscariello (Centro EURESIS IULM); Donatella Codonesu (KIT Italia); Lorenzo Mosna (IULM University). Onze dank gaat uit naar Chiara Sanfelici, Mariangela Laurenti en Martina Biasin (Fondazione Gualandi a favore dei sordi) voor hun waardevolle feedback op de ondertitels, en naar Enrico Dolza en Nicola Della Maggiora (Istituto dei Sordi di Torino) voor de creatie van de LIS-video’s.

Om samen te vatten vertegenwoordigt Family Game VR een evolutie op het gebied van experimenteel theater en een belangrijke stap naar meer gelijkheid, culturele toegankelijkheid en de inclusie van mensen met gehoorbeperkingen in recreatieve activiteiten zoals theatervoorstellingen. Het resultaat is een ervaring die fysieke, zintuiglijke en communicatieve barrières doorbreekt en iedereen de kans biedt om kunst en cultuur op een authentieke en boeiende manier te beleven.

Met dank aan Family Game VR

Geschreven en geregisseerd door Mimosa Campironi

Met Alessandro Averone

Lichtontwerp Massimo Galardini

Decor- en kostuumontwerp Paola Castrignanò

Make-up Bruna Calvaresi

Muziek door Bertrand

Productie door Teatro Metastasio di Prato en 369gradi

Uitvoerende productie GoldVR

Geselecteerde tekst Italian and American Playwrights Project 2020/22

Bronnen

Creative Words, ‘Audiovisual Content: Closed Captioning and SDH’, Translation & Localization, Creative Words website, 15 July 2024, accessed 8 December 2024, https://creative-words.com/en/audiovisual-content-closed-captioning-and-sdh/.

Creative Words, ‘Audiovisual Translation for The Deaf and Hard-of-Hearing: How It Works and Why It Is Important’, Translation & Localization, Creative Words website, 28 July 2024, accessed 8 December 2024, https://creative-words.com/en/audiovisual-translation-for-the-deaf-and-hard-of-hearing-how-it-works-and-why-it-is-important/.

Franco, E. P. C., and Santiago Araújo, V. L., ‘Reading Television: Checking Deaf People’s Reactions to Closed Subtitling in Fortaleza, Brazil’, in: Gambier, Y. (ed.), Screen translation, St. Jerome Publishing, Manchester, 2003, pp. 249–267.

IULM, ‘Teatro, realtà virtuale e accessibilità’, IULM University website, 8 November 2024, accessed 24 February 2025, https://www.iulm.it/it/news-ed-eventi/news/teatro-realta-virtuale-accessibilita.

Laurenti, M., ‘Adattamento dei testi’, in: Mazzeo, L. (ed.), ACCESs, Una nuova visione dell’accessibilità museale, Un progetto di FIADDA Emilia-Romagna per l’inclusione delle persone sorde, Ante Quem, Bologna, 2023, pp. 31-44.