How I reverse engineered a commercial spatial audio effect

Back while using a different OS, the author used a program that processed real-time audio to make it sound farther away and lighter. Wanting a simple equivalent for Linux, the author decided to write one. Listen with headphones. The excerpt is from P.I.M.P. by Bacao Rhythm & Steel Band. The processed version sounds farther from the ears and feels less "on the ear," making it feel less "blocked" after prolonged listening.

Since the author was writing for Linux, the base stack was Pipe Wire. With no prior audio experience, an LLM was used as a sounding board while experimenting with standard audio filters and psychoacoustic techniques. The author learned about HRTFs, which describe how sound from a particular direction reaches the ears based on direction and listener geometry. Initial attempts using the MIT KEMAR database sounded awful due to anechoic chamber recording. The SADIE II database, which included room responses, sounded much closer to the remembered effect. However, the approach showed limits as the LLM discussed perceptual envelopment and late-field decorrelation without actionable guidance. The project was left dead for a while.

Later, the author shifted strategy instead of discovering internal parameters. Using a friend's laptop for comparison, the author generated audio on Linux, played it through the program, and recorded the output. Impulse-response measurement was key; a single nonzero sample reveals the filter's decay, shape, and phase delays. The convolution formula (x*h)[n] was applied, assuming the filter is linear time-invariant. A louder impulse produces proportionally louder response, and combined inputs produce separate sums.

عند استخدام نظام تشغيل مختلف، استخدم المؤلف برنامجًا يعالج الصوت في الوقت الحقيقي لجعله يبدو أبعد وأخف. رغبة في العثور على بديل بسيط لينكس، قرر المؤلف كتابة برنامج مشابه. استمع باستخدام سماعات رأس. المقطع مأخوذ من P.I.M.P. لفرقة Bacao Rhythm & Steel Band. النسخة المعالجة تبدو أبعد من الأذن وتشعر بأقل "على الأذن"، مما يجعلها تشعر بأقل "مسدودة" بعد الاستماع لفترة طويلة.

بما أن المؤلف كان يكتب لنظام لينكس، كانت البنية الأساسية Pipe Wire. دون أي خبرة سابقة في الصوت، تم استخدام LLM كمنصة للتفكير أثناء تجربة مرشحات صوتية قياسية وتقنيات سيكوأكوستيكية. تعلم المؤلف عن HRTFs، والتي تصف كيف يصل الصوت من اتجاه معين إلى الأذن بناءً على الاتجاه والهندسة المستمع. محاولات أولية باستخدام قاعدة بيانات MIT KEMAR بدت سيئة بسبب تسجيلها في غرفة أنيكوية. قاعدة بيانات SADIE II، التي شملت استجابات الغرف، بدت أقرب بكثير إلى التأثير المتذكر. ومع ذلك، أظهرت النهج حدودًا حيث ناقش LLM الاستيعاب الإدراكي والارتباك المجالي المتأخر دون توجيه عملي. تم ترك المشروع مهجورًا لفترة.

لاحقًا، غير المؤلف الاستراتيجية بدلاً من اكتشاف المعلمات الداخلية. باستخدام لابتوب صديقه للمقارنة، أنتج المؤلف صوتًا على لينكس، وعزفه من خلال البرنامج، وسجل الناتج. كانت قياس استجابة الصدى حاسمًا؛ عينة غير صفرية واحدة تكشف عن تلاشي المرشح وشكله وتأخيرات الطور. تم تطبيق صيغة ال-convolution (x*h)[n]، بافتراض أن المرشح خطي ولا يتغير مع الزمن. صدى أقوى ينتج استجابة أقوى بشكل متناسب، والمدخلات المدمجة تنتج مجموعات منفصلة.

একটি ভিন্ন ওএস ব্যবহার করার সময়, লেখক এমন একটি প্রোগ্রাম ব্যবহার করতেন যা রিয়াল-টাইম অডিও প্রক্রিয়া করে যাতে এটি আরও দূরে এবং হাল্কা শোনায়। লিনাক্সের জন্য একটি সরল সমতুল্য পেতে, লেখক সিদ্ধান্ত নিয়েছিলেন যে তিনি একটি লিখবেন। হেডফোন দিয়ে শুনুন। অংশটি Bacao Rhythm & Steel Band এর P.I.M.P. থেকে। প্রক্রিয়াকৃত সংস্করণ কানগুলি থেকে আরও দূরে শোনায় এবং কম "অন দ্য ইয়ার" মনে হয়, যা দীর্ঘ সময় শোনার পরে "ব্লক্ড" মনে করিয়ে তোলে।

যেহেতু লেখক লিনাক্সের জন্য লিখছিলেন, তাই ভিত্তি স্ট্যাকটি Pipe Wire ছিল। অডিওর কোনো পূর্ববর্তী অভিজ্ঞতা ছিল না, তাই একটি LLM সামান্য ফিল্টার এবং সাইকোঅ্যাকুস্টিক কৌশল পরীক্ষা করার সময় একটি সাউন্ডিং বোর্ড হিসাবে ব্যবহার করা হয়েছিল। লেখক HRTFs সম্পর্কে শিখেছিলেন, যা বর্ণনা করে যে কীভাবে একটি নির্দিষ্ট দিক থেকে আসা স্বর শ্রোতার গিয়োমেট্রি এবং দিক অনুসারে কানে পৌঁছায়। MIT KEMAR ডাটাবেস ব্যবহার করে প্রাথমিক প্রচেষ্টাগুলি খুব খারাপ লাগলো কারণ এটি অ্যানেকোইক চেম্বার রেকর্ডিং ছিল। SADIE II ডাটাবেস, যা রুম রেস্পন্স অন্তর্ভুক্ত করছিল, মনে করা প্রভাবের খুব বেশি নিকট স্বর দিয়েছিল। তবে, এই পদ্ধতিটি সীমাবদ্ধতা দেখায় যেহেতু LLM সেনসরি এনভেলপমেন্ট এবং লেট-ফিল্ড ডিকরিলেশন সম্পর্কে আলোচনা করেছিল কোনো কার্যকরী মার্গদর্শন ছাড়া। প্রকল্পটি এক সময়ের জন্য বাতিল করে দেওয়া হয়েছিল।

পরে, লেখক আন্তরিক প্যারামিটার আবিষ্কার করার পরিবর্তে কৌশল পরিবর্তন করেছিলেন। তুলনার জন্য একজন বন্ধুর ল্যাপটপ ব্যবহার করে, লেখক লিনাক্সে অডিও তৈরি করেছিলেন, এটি প্রোগ্রামের মাধ্যমে চালিয়ে এবং আউটপুট রেকর্ড করেছিলেন। ইম্পাল্স-রেস্পন্স মাপ গুরুত্বপূর্ণ ছিল; একটি একক অশূন্য নমুনা ফিল্টারের ডিস্ট্রো, আকৃতি এবং ফেজ বিলম্ব প্রকাশ করে। সম্পর্ক সূত্র (x*h)[n] প্রয়োগ করা হয়েছিল, ধরে নেওয়া যাচ্ছে যে ফিল্টার রৈখিক সময়-অপরিবর্তী। একটি আরও গুরুত্বপূর্ণ প্রভাব অনুপাতিকভাবে বেশি শক্তিশালী প্রতিক্রিয়া উত্পন্ন করে, এবং সমন্বয়িত ইনপুট আলাদা আলাদা সমষ্টি উত্পন্ন করে।

Als der Autor ein anderes Betriebssystem verwendete, nutzte er ein Programm, das Echtzeit-Audio verarbeitete, um es weiter entfernt und leichter klingen zu lassen. Um ein einfaches Äquivalent für Linux zu finden, beschloss der Autor, eines selbst zu schreiben. Mit Kopfhörern lauschen. Der Auszug stammt von P.I.M.P. von Bacao Rhythm & Steel Band. Die verarbeitete Version klingt weiter von den Ohren entfernt und fühlt sich weniger "am Ohr" an, was sie nach längerem Zuhören weniger "verstopft" erscheinen lässt.

Da der Autor für Linux schrieb, war der Basis-Stack Pipe Wire. Ohne vorherige Audio-Erfahrung wurde ein LLM als Diskussionspartner verwendet, während standardmäßige Audio-Filter und psychoakustische Techniken experimentell ausprobiert wurden. Der Autor lernte von HRTFs, die beschreiben, wie ein Schall von einer bestimmten Richtung in Abhängigkeit von Richtung und Hörer-Geometrie zu den Ohren gelangt. Erste Versuche mit der MIT KEMAR-Datenbank klangen schrecklich aufgrund der Aufnahme in einer Anechoic-Kammer. Die SADIE II-Datenbank, die Raumantworten enthielt, klang viel näher am erinnerten Effekt. Dennoch zeigte der Ansatz Grenzen, da der LLM von perzeptiver Einschluss und späterem Feld-Dekorrelation sprach, ohne handlungsfähige Anleitung. Das Projekt wurde für eine Weile auf Eis gelegt.

Später wechselte der Autor die Strategie anstelle, interne Parameter zu entdecken. Mit dem Laptop eines Freundes zum Vergleich generierte der Autor Audio auf Linux, spielte es durch das Programm und nahm die Ausgabe auf. Die Impulsantwortmessung war entscheidend; ein einzelnes nicht-null Sample offenbart den Abklingung, die Form und die Phasenverzögerungen des Filters. Die Faltungsformel (x*h)[n] wurde angewendet unter der Annahme, dass der Filter linear und zeitinvariant ist. Ein lauterer Impuls erzeugt ein proportional lauteres Echo, und kombinierte Eingaben erzeugen getrennte Summen.

Cuando usaba un sistema operativo diferente, el autor utilizaba un programa que procesaba audio en tiempo real para hacer que sonara más distante y más ligero. Quería un equivalente simple para Linux, así que decidió escribir uno. Escuche con auriculares. El fragmento es de P.I.M.P. de Bacao Rhythm & Steel Band. La versión procesada suena más alejada de las orejas y se siente menos "en el oído", lo que hace que se sienta menos "obstruido" después de una escucha prolongada.

Dado que el autor escribía para Linux, la pila base fue Pipe Wire. Sin experiencia previa en audio, se utilizó un LLM como interlocutor mientras se experimentaba con filtros de audio estándar y técnicas psicoacústicas. El autor aprendió sobre HRTFs, que describen cómo el sonido desde una dirección particular llega a los oídos según la dirección y la geometría del oyente. Los primeros intentos con la base de datos MIT KEMAR sonaron mal debido a la grabación en cámara anecoica. La base de datos SADIE II, que incluía respuestas de habitación, sonó mucho más cercana al efecto recordado. Sin embargo, el enfoque mostró limitaciones ya que el LLM discutía la envoltura perceptual y la decorrelación de campo tardío sin orientación accionable. El proyecto se dejó abandonado por un tiempo.

Más tarde, el autor cambió de estrategia en lugar de descubrir parámetros internos. Usando el portátil de un amigo para comparación, el autor generó audio en Linux, lo reprodujo a través del programa y grabó la salida. La medición de respuesta de impulsión fue clave; una sola muestra distinta de cero revela la decaimencia, forma y retardos de fase del filtro. Se aplicó la fórmula de convolución (x*h)[n], asumiendo que el filtro es lineal e invariante en el tiempo. Un impulso más fuerte produce una respuesta proporcionalmente más fuerte, y las entradas combinadas producen sumas separadas.

En utilisant un système d'exploitation différent, l'auteur utilisait un programme qui traitait l'audio en temps réel pour le faire paraître plus distant et plus léger. Souhaitant un équivalent simple pour Linux, l'auteur a décidé d'en écrire un. Écoutez avec des écouteurs. L'extrait provient de P.I.M.P. par Bacao Rhythm & Steel Band. La version traitée semble plus éloignée des oreilles et donne moins l'impression d'être "sur l'oreille", ce qui la fait paraître moins "bloquée" après une écoute prolongée.

Puisque l'auteur écrivait pour Linux, la pile de base était Pipe Wire. Sans expérience audio préalable, un LLM a été utilisé comme interlocuteur pendant l'expérimentation avec des filtres audio standards et des techniques psychoacoustiques. L'auteur a appris à propos des HRTFs, qui décrivent comment le son d'une direction particulière atteint les oreilles en fonction de la direction et de la géométrie de l'auditeur. Les premières tentatives avec la base de données MIT KEMAR ont été horribles en raison de l'enregistrement en chambre anéchoïque. La base de données SADIE II, qui comprenait des réponses de pièce, a sonné beaucoup plus près de l'effet mémorisé. Cependant, l'approche a montré ses limites car le LLM parlait d'enveloppement perceptuel et de décoration de champ tardif sans orientation exploitable. Le projet a été laissé en suspens.

Plus tard, l'auteur a changé de stratégie au lieu de découvrir des paramètres internes. En utilisant l'ordinateur portable d'un ami pour comparaison, l'auteur a généré de l'audio sur Linux, l'a lu à travers le programme et a enregistré la sortie. La mesure de réponse impulsionnelle était essentielle; un seul échantillon non nul révèle la décélération, la forme et les retards de phase du filtre. La formule de convolution (x*h)[n] a été appliquée, en supposant que le filtre est linéaire et invariant dans le temps. Un impulsion plus forte produit une réponse proportionnellement plus forte, et les entrées combinées produisent des sommes séparées.

एक अलग ओएस का उपयोग करते समय, लेखक ने एक ऐसे प्रोग्राम का उपयोग किया था जो रियल-टाइम ऑडियो को इस प्रकार प्रोसेस करता था कि वह धीरे और हल्का लगे। लिनक्स के लिए एक सरल समान प्राप्त करना चाहते हुए, लेखक ने एक निर्माण करने का फैसला किया। हेडफ़ोन के साथ सुनें। यह अंश Bacao Rhythm & Steel Band के P.I.M.P. से है। प्रोसेस्ड संस्करण कानों से दूर और कम "ऑन द इयर" लगता है, जिससे लंबे समय तक सुनने के बाद "ब्लॉक्ड" महसूस होता है।

चूंकि लेखक लिनक्स के लिए लिख रहे थे, इसलिए आधार स्टैक Pipe Wire था। ऑडियो के किसी पूर्वज्ञान के बिना, मानक ऑडियो फ़िल्टर और साइकोअक्यूस्टिक तकनीकों के प्रयोग के दौरान एक LLM को साउंडिंग बोर्ड के रूप में उपयोग किया गया। लेखक ने HRTFs के बारे में सीखा, जो यह वर्णन करता है कि एक विशिष्ट दिशा से आवाज़ कैसे पहुँचती है। शुरुआती प्रयास MIT KEMAR डेटाबेस के साथ बहुत खराब लगे क्योंकि यह अनेकोइक चेंबर रिकॉर्डिंग थी। SADIE II डेटाबेस, जिसमें रूम रिस्पॉन्स शामिल थे, ने बहुत अधिक याद किए गए प्रभाव के करीब ध्वनि दी। हालाँकि, दृष्टिकोण में सीमाएँ दिखाई दीं क्योंकि LLM ने सेंसरी एन्वेलपमेंट और लेट-फ़ील्ड डेकॉरलेशन के बारे में चर्चा की बिना किसी कार्रवाई योग्य मार्गदर्शन के। प्रोजेक्ट एक समय के लिए समाप्त हो गई।

बाद में, लेखक ने आंतरिक पैरामीटर की खोज के बजाय रणनीति बदल ली। एक दोस्त के लैपटॉप की तुलना के लिए, लेखक ने लिनक्स पर ऑडियो उत्पन्न किया, इसे प्रोग्राम के माध्यम से बजाया और आउटपुट का अभिलेख उठाया। इम्पल्स-रिस्पॉन्स माप की महत्वपूर्ण भूमिका थी; एक एकल गैर-शून्य नमूना फ़िल्टर के डिस्ट्रो, आकार और फ़ेज़ देरी को प्रकट करता है। सम्पर्क सूत्र (x*h)[n] का उपयोग किया गया, धारणा के साथ कि फ़िल्टर रैखिक समय-अपरिवर्ती है। एक तेज़ झटका अनुपातिक रूप से तेज़ प्रतिक्रिया उत्पन्न करता है, और संयुक्त इनपुट अलग-अलग योग का उत्पादन करता है।

Saat menggunakan sistem operasi yang berbeda, penulis menggunakan program yang memproses audio secara real-time untuk membuatnya terdengar lebih jauh dan lebih ringan. Ingin menemukan pengganti sederhana untuk Linux, penulis memutuskan untuk menulisnya sendiri. Dengarkan dengan headphone. Kutipan ini dari P.I.M.P. oleh Bacao Rhythm & Steel Band. Versi yang diproses terdengar lebih jauh dari telinga dan terasa kurang "di telinga", membuatnya terasa kurang "terblokir" setelah mendengarkan lama.

Karena penulis menulis untuk Linux, stack dasarnya adalah Pipe Wire. Tanpa pengalaman audio sebelumnya, sebuah LLM digunakan sebagai papan diskusi sementara bereksperimen dengan filter audio standar dan teknik psikoakustik. Penulis belajar tentang HRTFs, yang menggambarkan bagaimana suara dari arah tertentu mencapai telinga berdasarkan arah dan geometri pendengar. Upaya awal dengan basis data MIT KEMAR terdengar buruk karena rekaman di kamar anecoic. Basis data SADIE II, yang mencakup respons ruangan, terdengar jauh lebih dekat dengan efek yang diingat. Namun, pendekatan ini menunjukkan batasannya karena LLM membahas envelopmen persepsi dan dekorelasi medan lanjutan tanpa panduan yang dapat ditindaklanjuti. Proyek ini ditinggalkan selama beberapa waktu.

Nanti, penulis beralih strategi, bukan menemukan parameter internal. Dengan menggunakan laptop teman untuk perbandingan, penulis menghasilkan audio di Linux, memainkannya melalui program, dan merekam output. Pengukuran respons impuls menjadi kunci; satu sampel tak nol mengungkapkan decay, bentuk, dan penundaan fase filter. Rumus konvolusi (x*h)[n] diterapkan, dengan asumsi filter bersifat linier dan tidak berubah dengan waktu. Impuls yang lebih keras menghasilkan respons yang secara proporsional lebih keras, dan masukan yang digabungkan menghasilkan jumlah terpisah.

別のOSを使用していた頃、著者はリアルタイムでオーディオを処理し、それをより遠く、より軽く聞こえるようにするプログラムを使用していました。Linux用の簡単な代替プログラムを望んで、著者は自分で1つを書くことを決めました。ヘッドフォンで聴いてください。この抜粋はBacao Rhythm & Steel BandのP.I.M.P.からです。処理されたバージョンは耳から遠く、"耳に当たっている"感じが少なく、長時間聴いた後に"詰まっている"感じが少なくなります。

著者がLinux向けに書いていたため、ベーススタックはPipe Wireでした。オーディオの経験がなかったため、標準的なオーディオフィルターと心理音韻学的技術を試しながらLLMをサウンドボードとして使用しました。著者はHRTFについて学びました。これは、特定の方向からの音が方向と聴取者の幾何学に基づいて耳に到達する方法を記述します。MIT KEMARデータベースを使用した最初の試みは、無反射室録音のためにひどく聞こえました。部屋の応答を含むSADIE IIデータベースは、記憶している効果によく似ていました。しかし、このアプローチは限界を示しました。LLMは、実用的な指導なしに知覚的な包み込みと遅延フィールドの非相関について議論しました。プロジェクトはしばらく放置されました。

後に、著者は内部パラメータを発見する代わりに戦略を変更しました。比較のために友人のノートパソコンを使用して、著者はLinuxでオーディオを生成し、それをプログラムを通じて再生し、出力を録音しました。インパルス応答測定が重要でした。1つの非ゼロサンプルは、フィルタの減衰、形状、および位相遅延を明らかにします。畳込み式(x*h)[n]が適用され、フィルタが線形的で時間不変であると仮定されました。より大きなインパルスは、比例して大きな応答を引き起こし、組み合わされた入力は個別の和を生成します。

Usando um sistema operacional diferente, o autor usava um programa que processava áudio em tempo real para fazê-lo parecer mais distante e mais leve. Querendo um equivalente simples para Linux, o autor decidiu escrever um. Ouça com fones de ouvido. O trecho é de P.I.M.P. por Bacao Rhythm & Steel Band. A versão processada parece mais distante dos ouvidos e menos "no ouvido", fazendo-a parecer menos "obstruída" após uma escuta prolongada.

Como o autor escrevia para Linux, a pilha base era Pipe Wire. Sem experiência prévia em áudio, um LLM foi usado como quadro de discussão enquanto se experimentava filtros de áudio padrão e técnicas psicoacústicas. O autor aprendeu sobre HRTFs, que descrevem como o som de uma direção específica chega aos ouvidos com base na direção e geometria do ouvinte. As primeiras tentativas com o banco de dados MIT KEMAR soaram terríveis devido à gravação em câmara anecoica. O banco de dados SADIE II, que incluía respostas de sala, soou muito mais próximo do efeito lembrado. No entanto, a abordagem mostrou limitações, pois o LLM discutia envolvimento perceptivo e decoração de campo tardio sem orientação acionável. O projeto foi deixado parado por um tempo.

Mais tarde, o autor mudou de estratégia em vez de descobrir parâmetros internos. Usando o laptop de um amigo para comparação, o autor gerou áudio no Linux, reproduziu-o através do programa e gravou a saída. A medição de resposta de impulso foi essencial; uma única amostra não nula revela a decaída, forma e atrasos de fase do filtro. A fórmula de convolução (x*h)[n] foi aplicada, assumindo que o filtro é linear e invariante no tempo. Um impulso mais alto produz uma resposta proporcionalmente mais alta, e entradas combinadas produzem somas separadas.

Когда автор использовал другую ОС, он применял программу, которая обрабатывала аудио в реальном времени, чтобы оно звучало дальше и легче. Желая простого аналога для Linux, автор решил написать собственный. Слушайте с наушниками. Отрывок из P.I.M.P. группы Bacao Rhythm & Steel Band. Обработанная версия звучит дальше от ушей и ощущается менее "на ухо", что делает её менее "забитой" после длительного прослушивания.

Поскольку автор писал для Linux, базовый стек был Pipe Wire. Без опыта в аудио, LLM использовался в качестве площадки для мышления, экспериментируя со стандартными аудиофильтрами и психоакустическими техниками. Автор узнал о HRTF, которые описывают, как звук из определённого направления достигает ушей в зависимости от направления и геометрии слушателя. Первые попытки с базой данных MIT KEMAR звучали ужасно из-за записи в ананкойхамбре. База данных SADIE II, включавшая ответы комнат, звучала гораздо ближе к запоминающемуся эффекту. Однако подход показал ограничения, так как LLM обсуждал восприятие огибающей и заднее поле декорреляции без практических рекомендаций. Проект был заброшен на некоторое время.

Позже автор сменил стратегию, вместо того чтобы искать внутренние параметры. Используя ноутбук друга для сравнения, автор генерировал аудио на Linux, воспроизводил его через программу и записывал вывод. Измерение импульсной характеристики было ключевым; одиночный ненулевой образец раскрывает затухание, форму и фазовые задержки фильтра. Была применена формула свертки (x*h)[n], предполагая, что фильтр линейный и неизменный во времени. Более громкий импульс вызывает ответственно более громкую реакцию, и комбинированные входы производят отдельные суммы.

回到使用不同操作系统的时候，作者曾使用一个程序对实时音频进行处理，使其听起来更远、更轻。为了在 Linux 上找到一个简单的替代方案，作者决定自己编写一个。请戴上耳机聆听。节选自 Bacao Rhythm & Steel Band 的《P.I.M.P.》。经过处理的版本声音听起来更远，感觉不那么“贴耳”，在长时间听听后感觉不那么“堵塞”。

由于作者是在为 Linux 编写程序，基础栈采用了 Pipe Wire。尽管没有任何音频经验，作者在尝试标准音频滤波器和心理声学技术时使用了一个 LLM 作为思考的辅助工具。作者了解到了 HRTF（Head-Related Transfer Function），它描述了来自特定方向的声音如何根据方向和听者的几何形状到达耳朵。最初尝试使用 MIT KEMAR 数据库的效果非常糟糕，原因是无反射室录音。SADIE II 数据库包含了房间响应，效果更接近于记忆中的效果。然而，这种方法也存在局限性，因为 LLM 在讨论感知包容性和后期场相关性时缺乏可操作的指导。这个项目被搁置了一段时间。

后来，作者改变了策略，不再试图发现内部参数。使用朋友的笔记本电脑进行对比，作者在 Linux 上生成音频，通过该程序播放并录制输出。冲激响应测量至关重要；一个非零样本就能揭示滤波器的衰减、形状和相位延迟。应用了卷积公式 (x*h)[n]，假设滤波器是线性时不变的。更响亮的冲激会产生成比例更响的响应，组合输入会产生分别的和。