A kezdetek kezdetén, Edison és Bell nagy felfedezői korszakában az egydimenziós hang jelentette a belépőt a hang rögzítéséhez, továbbításához és lejátszásához – gondoljunk a fonográf vagy a telefon rendkívülinek számító újításaira. A technikát aztán gyorsan, már a 19. század végén – az emberi anatómiához való teljesebb igazodás jegyében – felváltotta a kétcsatornás, sztereo hangzásvilág, ami a 20. század közepe óta hegemónnak számít mind a zenefelvétel és lejátszás terén. Azóta is számos kísérlet történt a hang 360 fokos kiterjesztésére, a különböző binaurális felvételek és szimulációk formájában, hogy a test és a környezet viszonya minél közelebb kerülhessen a természetes állapothoz. Az úgynevezett "surround" rendszerek már az otthonokba is elvitték a "teljes elmerülés" lehetőségét, amelyben a hangforrás minden irányú, de még helyhez kötött, fizikailag rögzített megoldással. Az utóbbi években bekövetkezett paradigmaváltás, ami az immerzió egyre nagyobb fokú kiteljesedését támogatja mind a tömegszórakoztatásban (iMax, VR) mind az elitistább művészetekben (environment art, helyspecifikus totális installáció) a zenei részvétel újabb tapasztalásait nyitotta meg, áttéve a hangsúlyt az időbeliről a térbeli érzékelésre. Az immerzív fizikai és virtuális környezetek új helyzet elé állítják mind a zenészt mind a „felhasználót”.  Pribék Gábor média designerrel a 4D Sound által budafokon létrehozott Spatial Sound Insititute felkérése kapcsán beszélgettünk.

KIBU: Hogyan kerültél kapcsolatba a 4D Sounddal és milyen projekten kezdtetek el együtt dolgozni?

PRIBÉK GÁBOR: Két éve részt vettem egy rezidencia programon Shanghai-ban a Chronus Art Centre-ben, ahol egy audiovizuális térképen dolgoztam. Ez olyan téradatok alapján mint a GPS generál zenét kifejezetten az utcákra és közterekre, amit a bejárással, tehát a saját mozgásoddal tartasz életben. Ekkortájt derült ki számomra, hogy létezik  egy szintén térbeli hangzással foglalkozó intézmény – a 4D Sound Spatial Sound Institute –, ráadásul itt Budapesten. Röviden ez egy rendhagyó, térbeli hangrendszer, ami lehetővé teszi, hogy akusztikailag sokkal szofisztikáltabban lehessen zeneműveket modellezni. Technikailag   egy négyzethálós rendszer, ami 5x5x5 hangszóróból áll, kb. 20x20méter alaprajzú területen elhelyezve. Bárhol állsz a térben, mindenhol hangszórók vesznek körbe, így a hagyományos sztereo felszerelésekhez képest a hang sokkal inkább hasonlít arra, amit a valóságban is megélsz, amikor kimész az utcára és különböző irányokból hallod a környezeti zajokat és zörejeket. Ez a technológiai környezet egy újfajta kompozíciós alkotási folyamatot hoz létre a zenészek számára, hiszen itt maga a tér is ad egy plusz dimenziót  az idő mellet.

A stúdió horizontális és vertikális tagolása. Alul a mélynyomók, felül az omnidorectional hangrendszer

KIBU: Előtte milyen szoftvert használtak a zenészek a komponálásra? Miért volt szükség, hogy ezt te újragondold?

PRIBÉK GÁBOR: A rendszer úgy épül fel, hogy a grid-be rendezett hangszórók össze vannak kötve egy sokcsatornás hangkártyával, ami csatlakozik egy központi számítógéphez (MacPro). A hangot átküldik a MacPro-nak, ami kiszámítja, hogy a tér koordinátarendszerében ezek a hangok hol jelenjenek meg és merre mozogjanak. A jelenlegi felület egy 2 dimenziós user interface, amin tulajdonképpen knob-ok, sliderek segítségével lehet pozicionálni a hangokat. Ennek hátránya, hogy két dimenziós interakcióval kell három dimenziós mozgásokat real time megvalósítani. Itt jött a képbe az az ötlet, hogy mi lenne, ha ezt az egész alkotási folyamatot – a sound design részét és a komponálást – betennénk a virtuális valóságba, ahol sokkal nagyobb szabadságfokkal tudsz objektumokat elhelyezni és manipulálni. Az x,y,z koordinátarendszerben meg tudod határozni, hol legyenek a hangok, akár útvonalakat rajzolj nekik vagy elkezdj egyenesen a térben játszani bizonyos effektusokkal. Felmerült, hogy be lehetne vonni fizikai szimulációkat is. Minden hangforrásnak van egy alakzata, például egy gömb, ami meghatározza a hang kiterjedését. Ha ezt a gömböt egy fizikai szimuláció révén elkezded pattogtatni a térben vagy részecskeszimulációkat hozol létre, ahol minden egyes részecske egy-egy hangot képvisel, akkor azok úgy  terjednek majd a térben is. Az alapkoncepció szerint meg tudod majd rajzolni a hangforrások útvonalát. A VR kontrollered segítségével, ezekhez az útvonalakhoz tudsz hozzárendelni hangokat, amiknek meghatározhatod a formáját,sebességét, illetve irányát a meghatározott útvonalon.. A Tracer olyan viszonyban van a zenével, mint a TiltBrush a festéssel.

KIBU: Mit lát a zenész a VR számítógéppel generált terében?

PRIBÉK GÁBOR: Többféleképpen közelítettük meg ezt a kérdést (Filip Ruisl designerrel együttműködésben). Először lemodelleztük az egész 4D Sound terét 3D-ben, csináltam pár 3D szkennt az épületbelsőről kísérleti jelleggel. Realisztikusan próbáltuk átadni a tér esszenciáját, később azonban arra a belátásra jutottunk, hogy ebben a fázisban ez nem releváns. Egyrészt a 4D Sound üzemeltetői – és elsősorban alapítója, Paul Oomen – olyan rendszerben gondolkodnak, ami szállítható, tehát nem helyhez kötött, másrészt pedig a zenész számára igyekszünk egy felhasználóbarát eszközt kitalálni, ehhez pedig nem tesz hozzá az, hogy a valós textúrájú teret látja a szimulációban. Pláne azért nem, mert ezt a teret manipulálhatja is: tudja nagyítani, kicsinyíteni, ha azt szeretné, hogy ő a tér felé kerüljön, akkor azt is el tudja érni, vagy éppen teleportálhat is benne. A prototípusba le is fejlesztettük ezt a makettszerű térleképezést, sokkal gyorsabban, nagyobb gesztusokkal tudsz bele rajzolni, mintha 1:1 méretben látnád. Aztán ugyanúgy vissza tudod álítani 1:1 méretbe, ha vissza akarod ellenőrizni, hogy amit felrajzoltál a valós térben milyen mozgást eredményez.

Az egykori Haggenmacher sörgyár fagerendázatú és fapadlózatú raktára új funkióban (3D szkenn)

KIBU: Ha a a zenész látványban el van zárva a közönségétől, hogyan tudnak reagálni egymásra?

PRIBÉK GÁBOR: Egyelőre az eszköz nem performatív oldalára koncentrálunk. Úgy tervezzük, hogy élő módban és composing módban is használható legyen, de az elsőség most a zeneszerzésen van. Az elején még számoltunk a koncertlátogatókkal, hogy tudna számukra is plusz élményt nyújtani a VR ebben a térben, esetleg a hangforrások vizualizálásával. Aztán túl nagy falatnak tűnt egyszerre ez a két megoldandó probléma, így előbb a zenésszel foglalkozunk most. Cél, hogy a zenész jobban megértse a rendszert, hogy amikor odajön, a betanítási folyamatot fel tudjuk gyorsítani, sőt azt is lehetővé tehetjük, hogy távolról hozzon létre sketch-eket vagy mocku-pokat. A VR az alkotási folyamatot segíti elő, de úgy tekintünk rá mint egy plusz eszköz: gyorsan bemegy, rajzol pár útvonalat, létrehoz némi szimulációt, amit kiment és visszaintegrál a saját munkafolyamatába. Nem akarjuk feltalálni a kereket,nem akarunk minden létező sound design program elemet belepakolni ebbe a rendszerbe. Inkább csak egy további eszközként próbáljuk megoldani vele azokat a problémákat, amik limitáltak jelen pillanatban ennek a rendszernek a tervezési folyamatában.

KIBU: A VR és a zene keresztmetszetében megtalált már korábban is egy felkérés, ha jól tudom, akkor egy egész fesztivált terveztek ebbe a médiumba. 

PRIBÉK GÁBOR: Egyre népszerűbbek a social VR platformok, ahol avatárok formájában lehet különböző kollektív terekbe bejelentkezni és az volt a koncepció, hogy szerveznek egy zenei fesztivált az egyik ilyen platformra. Itt speciális environment modellekkel meg élőzenei fellépőkkel lehetett volna szembesülnivirtuális valóságban. Azt hiszem egy űrhajóra tervezték a fesztivált eredetileg. A VR-ban nem csak a realisztikus vagy fizikai valóságot tudod lemásolni, hanem olyan dolgok is lehetségessé válnak, amik a valóságban a fizikai törvények révén lehetetlenek. Mindez ki lett volna egészítve hangreaktív vizualizációkkal, amik a térben jelennek meg, illetve azon is gondolkodtak, hogyan lehetne a tereket úgy lemodellezni, hogy azok összhangban legyenek a hangulattal, a fellépő zenéjével és a felhasználókkal. Az első kezdetleges kísérletek ezen a vimeo csatornán megtekinthetőek.

Interjút készítette Német Szilvi