Austrian Audio AmbiCreator – produkcja dźwięku do filmów VR i 360° przy użyciu mikrofonów OC818

Tłumaczenie artykułu ze strony Austrian Audio

Autor: Christoph Frank

To mój drugi artykuł dla Austrian Audio, lecz tym razem nie jest on o sprzęcie, tylko o oprogramowaniu służącym do produkcji dźwięku do filmów VR i 360° nagranym parą naszych sztandarowych mikrofonów Austrian Audio OC818 Live Set.

W tym roku planowaliśmy podczas konferencji AES zaprezentować nową wtyczkę - AmbiCreator. Można jej używać w dwóch konfiguracjach: wraz z mikrofonem OC818 lub z parą tych mikrofonów w celu uzyskania dźwięku w technice VR lub 360°. Prezentacja wtyczki powinna odbyć się na targach w komplecie z naszymi słuchawkami, jednak w związku z zaistniałą sytuacją pandemiczną prezentujemy Wam tę wtyczkę w niniejszym artykule.

Więc.. zgaśmy światła, rozsiądźmy się wygodnie w fotelach….

Czym jest ambisonia?

Dźwięk przygotowywany do filmów VR i 360° jest zrealizowany w technice ambisonicznej. W internecie można znaleźć bardzo dużo informacji o ambisoni. W archiwach AES można znaleźć wiele artykułów naukowych, które w świetny sposób prezentują rozwój ambisoni na przestrzeni czasu. Jednak po tak długim czasie, nadal w internecie najczęściej spotyka się grafikę przedstawiającą kreację różnych rzędów ambisoni. Jeżeli kiedykolwiek wpisywaliście słowo „ambisonia” do wyszukiwarki Google, to na pewno widzieliście tę grafikę.

Moim zdaniem sama ta grafika nie rozwiązuje problemów związanych z ambisonią ludzi w branży audio, dlatego pozwólcie mi wyjaśnić to zagadnienie w bardziej praktyczny sposób, dla inżynierów dźwięku.

Moi dobrzy przyjaciele Franz Zotter i Mathias Frank z Institute of Electronic Music (Graz, Austria) także napisali książkę o ambisoni, w której bardzo polecam pierwszy rozdział. Dostęp do tego rozdziału jest całkowicie darmowy:

https://link.springer.com/chapter/10.1007/978-3-030-17207-7_1

Jak już prawdopodobnie wiecie każda charakterystyka kierunkowa mikrofonu (ósemkowa, kardioidalna, wszechkierunkowa/dookólna czy jakikolwiek inna) może być osiągnięta przez zastosowanie kombinacji wkładek mikrofonu ósemkowego i wszechkierunkowego (dookólnego).

Możemy także nazwać to jako połączenie wkładek mikrofonu ciśnieniowego (wszechkierunkowego) z mikrofonem ciśnieniowo-gradientowym (ósemkowym).

Bierzemy to pod uwagę wtedy, kiedy projektujemy kapsułę mikrofonu – próbujemy osiągnąć idealną kombinację (zamkniętego na ciśnienie akustyczne z tyłu) mikrofonu wszechkierunkowego i (otwartego na ciśnienie akustyczne z przodu i z tyłu) mikrofonu ósemkowego (tutaj dźwięk może docierać także z tyłu membrany) żeby znaleźć idealną akustyczną impedancję, która zbalansuje obie wkładki.

Kierunkowe charakterystyki, takie jak kardioidalna możemy osiągnąć przez zastosowanie mikrofonów wszechkierunkowego i ósemkowego ustawionych w jednym kierunku. Wtedy powstaje mikrofon wrażliwy na dźwięk docierający tylko z danego kierunku.

David Josephson bardzo zgrabnie wyjaśnia jak jest to zrobione w jego mikrofonach serii C700.

https://www.josephson.com/pdf/srs7ug6_rohs.pdf

[...]

Mikrofon i wtyczka Schoespsa Double-M/S również wykorzystują tę metodę. Jednak konstrukcja ta jest rozbudowana o jeden mikrofon więcej – wykorzystuje się tutaj mikrofon ósemkowy i dwie kardioidy.

Jeżeli do konstrukcji wprowadzimy trzeci mikrofon ósemkowy, możliwe będzie stworzenie kardioidy, która będzie w stanie „patrzeć” wokół pod każdym kątem w płaszczyźnie horyzontalnej i wertykalnej.

I teraz dochodzimy do punktu, w którym warto zerknąć na tą naprawdę popularną grafikę, o której wcześniej mówiłem:

[Grafika pochodzi z Ambisonics, autorstwa Franza Zottera i Matthiasa Franka (Springer Verlag 2019)]

Pierwszy wiersz pokazuje charakterystykę wszechkierunkową, która odnosi się do ambisoni pierwszego rzędu. W drugim wierszu widzimy charakterystki powstałe z trzech mikrofonów ósemkowych ustawionych w różnych osiach. Łącząc te ósemki, z mikrofonem wszechkierunkowym możemy stworzyć wszystkie charakterystyki, takie jak superkardioida czy hiperkardioida – charakterystyki te będą odnosić się do ambisoni pierwszego rzędu.

Kolejne dwa wiersze przedstawiają ambisonię drugiego i trzeciego rzędu, która odpowiada za węższe charakterystyki niż kardioidalna umożliwiające lepsze wrażenie lokalizacji – o tym więcej będzie później. Do takich zastosowań przydatna jest większa ilość mikrofonów – rozwiązania takie produkuje Zylia: https://www.zylia.co/white-paper.html

Czy ambisonia to to samo co technika binauralna lub dźwięk 8D?

Ostatnio dużą popularnością cieszy się technika zwana 8D. Przez to, że bazuje na 8 wymiarach dźwięku, podczas słuchania na słuchawkach powoduje efekt WOW. I tutaj właśnie jest haczyk, to brzmi dobrze TYLKO na słuchawkach. Podobnie jest z muzyką nagraną w technice binauralnej.

Obie te techniki są technikami stereofonicznymi. Dźwięk jest nagrany i spleciony z HRTF

https://en.wikipedia.org/wiki/Head-related_transfer_function

HRTF (Head-Related Transfer Function) to związana z głową funkcja przenoszenia, zwana także czasem anatomiczną funkcją przenoszenia, jest reakcją charakteryzującą sposób, w jaki ucho odbiera dźwięk z punktu w przestrzeni.), aby przenieść słuchacza w miejsce nagrania, usłyszeć realistyczną lokalizację muzyków w przestrzeni i doznać wyjątkowego doświadczenia.

HRTF jest dla każdego człowieka indywidualna. Zatem określenie, jak dobrze działa ta technologia jest uzależnione od tego, jak bardzo Twoje ucho daje się zamodelować przy wykorzystaniu sztucznej głowy przy nagrywaniu, lub przez HRTF użyty do przetworzenia muzyki 8D. Jednak dopasowanie te zazwyczaj jest na tyle dobre, że doznane wrażenia zapamiętujemy na bardzo długo.

Wracając do pytania rozpoczynającego ten rozdział… techniki te nie mają nic wspólnego z ambisonią.

Dźwięk ambisoniczny pierwszego rzędu jest także wykorzystywany w technice 3D dostępnej w serwisie YouTube. Bazuje on na 4 kanałowym pliku audio zawierającym sygnały stworzone przy użyciu trzech ósemkowych mikrofonów i jednego mikrofonu wszechkierunkowego.

Wyobraź sobie używanie czterech mikrofonów do nagrywania jednego dźwięku. Plik z nagraniem ambisonicznym zawierający 4 nieobrobione ścieżki to po prostu B-Format.

Ten plik sam w sobie jest generalnie bezużyteczny. Potrzebujesz konkretnego dekodera żeby uzyskać materiał możliwy do odtworzenia w formacie:

- Stereo: Prosty sygnał stereofoniczny XY otrzymamy przez przeliczenie z B-Formatu,

- Surround: Dźwięk dla 5.1 czy 7.1 czy innych horyzontalnych ustawień głośników musi być także obliczony.

Do stworzenia tych dwóch formatów wystarczyłyby tylko dwa mikrofony ósemkowe w płaszczyźnie horyzontalnej.

Jeżeli chcemy użyć także pionowej ósemki, nowsze formaty dźwięku mogą być zdekodowane przez B-format dekoder, na następujące formaty:

- Surround zawierający głośniki nad głową: ustawienie głośników jak 11.2 (takie ustawienie 7.1 z drugim subwooferem i 4 głośnikami nad głową słuchacza) może być obliczone z pliku ambisodnicznego,

- Format binauralny: binauralny sygnał stereofoniczny do odsłuchiwania przez słuchawki również może być uzyskany z B-formatu, konieczne będzie zastosowanie tutaj zestawu funkcji HRTF.

Ale… stop.. Czy ja nie mówiłem przypadkiem, że binauralny dźwięk nie ma nic wspólnego z ambisonią?

Tak, ponieważ dźwięk binauralny jest jednym z wielu formatów dźwięku, który możemy uzyskać z nagrań ambisonicznych. Dlatego, oblicza się sygnał z wielu kierunkowych mikrofonów (głównie super- lub hiperkardioidalnych) skierowanych pod konkretnymi kątami. Sygnały te są przetwarzane przez konkretny HRTF dla danego kierunku i sumowane do pliku stereo.

Bardziej wyrafinowane kodery dźwięku binauralnego używają kilku trików żeby zwiększyć poczucie lokalizacji - tak jak to robią moi znajomi z IEM, których artykuł polecałem).

https://plugins.iem.at/docs/plugindescriptions/#binauraldecoder

Jednakże, lokalizacja nigdy nie będzie tak dobra, jak w prawdziwym binauralnym nagraniu, dlatego że pierwszy rząd ambisoni jest bardzo szeroki.

Z drugiej strony jeśli słuchasz prawdziwego binauralnego nagrania (tak jak popularny virtual barber shop: https://youtu.be/IUDTlvagjJA) i ruszasz głową nic się nie zmienia, bo jest to nagranie statyczne. Jednak jeśli przekodujesz ambisoniczne nagranie do binauralnego, źródło dźwięku będzie się poruszać razem z rotacją głowy. Dźwięk z źródła może być od razu przeliczany, jeżeli tylko wiadomo w jaki sposób poruszasz głową. Zaletą tego rozwiązania jest fakt, że wystarczy do tego użycie smartfona. W takim telefonie są zamontowane czujniki żyroskopowe i kompas, więc w prosty sposób przesuwając palcem po ekranie możemy wirtualnie rozejrzeć się po pomieszczeniu.

Więc prawdziwy dźwięk binauralny nie może być użyty do potrzeb VR czy filmów 360°, ponieważ nie potrafi się poruszać wraz z ruchem głowy.

A-format kontra B-format

Jeżeli kiedykolwiek poszukiwałeś mikrofonu do nagrań ambisonicznych, na pewno czytałeś więcej o A-formacie, niż B-formacie. Jest tak, ponieważ mikrofon złożony z trzech ósemkowych wkładek i jednej wszechkierunkowej jest trudniejszy w realizacji niż jego alternatywa – mikrofon złożony z 4 kardioidalnych kapsuł. Zamiast tych specjalnych mikrofonów nagrywających w A-formacie (których ceny zaczynają się od około 1000 Euro) potrzebujesz wtyczkę plug-in, która przekonwertuje nagranie w B-format z A-formatu. Masz własne ambisoniczne nagranie akceptowalne przez większość DAW i platform, takich jak YouTube.

Czy to nie powinna być prezentacja wtyczki, a nie monolog naukowy?

Ok. Teraz powiem wam wszystko co wiem o ambisoni - nie zapominajcie przeczytać tej świetnej książki o ambisoni:

https://link.springer.com/book/10.1007%2F978-3-030-17207-7#about

To będzie świetna zabawa – nagrywanie w technice ambisonicznej z naszym mikrofonem OC818.

Jak już wiecie wszystkie nasze mikrofony OC818 są kalibrowane z identyczną czułością, co powoduje że są idealne do nagrań stereo. Z naszą wtyczką PolarDesigner możesz eksperymentować z różnymi charakterystykami kierunkowymi w post produkcji, żeby znaleźć najlepsze ustawienie stereo dla Twojego nagrania.

Z naszą najnowszą wtyczką AmbiCreator idziemy krok dalej – można uzyskać ambisonię w formacie B z dwóch mikrofonów OC818.

Mikrofon OC818 ma podwójne wyjście, które można przeliczyć na ambisonię pierwszego rzędu (teraz wiesz po co był ten naukowy monolog). Jeżeli czytałeś w skupieniu poprzednie akapity, to wiesz, dlaczego potrzebujemy do tego trzech wkładek ósemkowych i jednej wszechkierunkowej.

Wszechkierunkowe i ósemkowe kombinacje wkładek w płaszczyźnie horyzontalnej są proste i już opanowane, nie trzeba tego tłumaczyć prawda? W takim razie… Jaki będzie efekt kiedy ustawimy ósemkę w płaszczyźnie pionowej?

Cóż, my używamy „triku”, który jest popularnie stosowany często w technice formowania wiązki stosowanej w telekomunikacji i motoryzacji.

https://invensense.tdk.com/wp-content/uploads/2015/02/Microphone-Array-Beamforming.pdf

Thomas, nasz programista i ja napisaliśmy eBrief dla konferencji AES, który możesz przeczytać tutaj, jeśli chcesz poznać szczegóły:

https://cdmcd.co/rXmrYX

Ten artykuł przedstawi Ci jak to osiągnąć i pokaże że oś pionowa pracuje tylko w zakresie do 2 kHz – jednakże większość dźwięków, w tym głos ludzki zawiera się w tym zakresie – co się świetnie sprawdza w każdej sytuacji nagraniowej.

Żeby pokazać ten efekt przygotowaliśmy kilka testowych nagrań z świetnymi muzykami z Wiednia i perkusistą (przepraszam Walter za ten żart) w jazzowym klubie Porgy&Bess.

W klubie możliwość rozmieszczenia muzyków na różnej wysokości (np. świetny Ulrich Drechsler był na balkonie daleko za mikrofonem rejestrującym) – co więcej, klub jest także otwarty, od czasu wystąpienia pandemii streamują swoją serię wydarzeń na żywo „The show must go (on)line”.

https://www.porgy.at/en/news/36/

Sprawdźcie to koniecznie i zostawcie im mały napiwek w każdy czwartek i sobotę.

Dwa mikrofony OC818 były umieszczone jeden nad drugim blisko kamery 360° – bez używania dodatkowych mikrofonów instrumenty były utrzymane w odpowiednich proporcjach przez ruch muzyków do przodu i do tyłu (połączenie dawnej techniki z technologią 21. wieku). Poza przetworzeniem dźwięku przez wtyczkę nie został użyty żaden efekt ani nie użyto korekcji dźwięku.

Więc jeżeli masz okulary VR i parę słuchawek to koniecznie sprawdź pierwsze nagranie:

{youtube:z96lPLpg8CQ}

Jak mówiłem wcześniej, jak precyzyjnie słyszymy lokalizację dźwięku, zależy nie tylko od różnicy między naszymi uszami a standardowym HRTF wykorzystywanym w Youtube, ale także od Twoich słuchawek. Jeżeli wszystko się dobrze skomponowało, to powinieneś umieć zlokalizować w przestrzeni wszystkich muzyków, którzy przedstawiają się na video poniżej:

{youtube:_Bb37zLPgc0}

CHCĘ TO – CO MUSZĘ ZROBIĆ?

Jeśli chcesz poeksprymentować z ambisonią lub spotykasz się z tym na życzenie Klienta, ale nie chcesz inwestować w bardzo drogi mikrofon kompatybilny z A-formatem, oto co musisz zrobić:

Odpakuj swój zestaw OC818 – (jeszcze nie masz??? Kup koniecznie!)

Ustaw go tak jak pokazano na grafice wyżej i nagraj dwoma mikrofonami w trybie dual output 4 kanałową ścieżkę:

Kanał 1: Przód – główny XLR dolnego mikrofonu

Kanał 2: Tył – mini XLR dolnego mikrofonu

Kanał 3: Lewa strona – mini-XLR górnego mikrofonu

Kanał 4: Prawa strona - główny XLR górnego mikrofonu

Pobierz wtyczkę AmbiCreator – jak zwykle nasze wtyczki są darmowe z dostępem do kodu źródłowego tutaj.

W oknie wtyczki nie masz zbyt dużo do zrobienia – jeżeli widzisz sygnał z wszystkich czterech wyjść powinieneś móc nagrać już dźwięk w formacie B i zdekodować go w Twoim DAW. Lub we wtyczce IEM.

Poza głównym wyjściowym wzmocnieniem możesz także wzmocnić sygnał wertykalny – „z gain” – najlepiej jednak pozostaw go na poziomie 0 dB. Orientacja horyzontalna pozwala obracać głowę, jeżeli Twój DAW nie daje takiej możliwości.

I… to już koniec pokazu. Wyobrażam sobie brawa i mam nadzieję, że podoba Wam się nasze rozwiązanie. Miejcie pewność, że to nie jest nasza ostatnia podróż w świat ambisoni.

Odpoczywajcie,

Christoph Frank

Ostatnie słowo: części Czytelników może wydawać się, że widzą mikrofon nad fortepianem, lecz nie używaliśmy żadnych dodatkowych mikrofonów. Nagrywaliśmy ten fortepian marki Fazioli w celu przetestowania naszych nadchodzących produktów.

[Źródło: https://austrian.audio/austrian-audio-ambicreator/ Tłumaczenie: Weronika Ficek]

Dystrybucja w Polsce: ESS Audio