Autoencoders vs. PCA: I Rigged the Test and PCA Still Won

A theoretical advantage that didn't survive contact with a real benchmark. The theoretical case for autoencoders is clean: train the network only on normal data, and it learns to reconstruct normal patterns well. Unlike PCA, which can only capture linear relationships, an autoencoder can learn nonlinear ones — so it should catch anomalies that violate a nonlinear structure. I built two experiments — one easy case, and one deliberately designed to be the autoencoder's best shot — and measured whether the theoretical advantage actually shows up.

Setup: synthetic data, trained on normal samples only, evaluated on a held-out mix of normal and anomalous samples. Three methods compared: an autoencoder (MLPRegressor with a 3-dimensional bottleneck), PCA reconstruction error (also reduced to 3 components), and Isolation Forest. Experiment 1: normal data from Gaussian clusters, anomalies with shifted mean and higher variance. PCA matched or beat the autoencoder — 0.885 F1 for both, catching every anomaly (recall = 1.0). Isolation Forest came in at 0.870.

Experiment 2: rigging the test in the autoencoder's favor. I built anomalies specifically invisible to a linear method: normal data where two features follow a nonlinear relationship (y = sin(3x) + noise), and anomalies that keep the same individual range but violate the relationship between them. This is close to a best-case scenario for the autoencoder.

ميزة نظرية لم تصمد أمام الاتصال بمعيار حقيقي. الحالة النظرية لأجهزة التشفير الذاتي واضحة: تدريب الشبكة فقط على البيانات العادية، وتتعلم إعادة بناء الأنماط العادية بشكل جيد. على عكس PCA، التي يمكنها فقط التقاط العلاقات الخطية، يمكن لجهاز التشفير الذاتي تعلم العلاقات غير الخطية — لذلك يجب أن يكتشف الحالات الشاذة التي تنتهك بنية غير خطية. بنيت تجربتين — حالة سهلة، وأخرى صممت عمدًا لتكون أفضل فرصة لجهاز التشفير الذاتي — وقيست ما إذا كانت الميزة النظرية تظهر بالفعل.

الإعداد: بيانات اصطناعية، مدربة فقط على العينات العادية، تم تقييمها على مزيج محجوز من العينات العادية والشاذة. تمت مقارنة ثلاث طرق: جهاز تشفير ذاتي (MLPRegressor مع عنق زجاجة 3 الأبعاد)، خطأ إعادة بناء PCA (مخفض أيضًا إلى 3 مكونات)، وغابة العزلة. التجربة 1: بيانات عادية من مجموعات غاوسية، حالات شاذة بمتوسط منزلق وتباين أعلى. PCA تطابقت أو تفوقت على جهاز التشفير الذاتي — 0.885 F1 لكليهما، اكتشاف كل حالة شاذة (استدعاء = 1.0). غابة العزلة جاءت عند 0.870.

التجربة 2: تزوير الاختبار لصالح جهاز التشفير الذاتي. بنيت حالات شاذة غير مرئية تحديدًا لطريقة خطية: بيانات عادية حيث تتبع ميزتان علاقة غير خطية (y = sin(3x) + ضوضاء)، وحالات شاذة تحافظ على نفس النطاق الفردي ولكن تنتهك العلاقة بينهما. هذا قريب من أفضل سيناريو لجهاز التشفير الذاتي.

الكيانات الرئيسية: الشركات: Towards Data Science

FAQ س: لماذا تطابقت PCA مع جهاز التشفير الذاتي حتى في اختبار الكشف عن الحالات الشاذة غير الخطية؟

FAQ ج: لأنه في التجربة 1، الحالة الشاذة لانزلاق المتوسط هي ظاهرة خطية، لذلك لم يكن لدى PCA عيب هيكلي. في التجربة 2، على الرغم من أن جهاز التشفير الذاتي كان مفضلاً نظريًا للعلاقات غير الخطية، كان فصل خطأ إعادة البناء لا يزال كبيرًا بما يكفي بحيث لم تكن دقة الطريقة الخطية مهمة كثيرًا.

একটি তাত্ত্বিক সুবিধা যা বাস্তব বেঞ্চমার্কের সংস্পর্শে টিকেনি। অটোএনকোডারের জন্য তাত্ত্বিক যুক্তি পরিষ্কার: শুধুমাত্র স্বাভাবিক ডেটাতে নেটওয়ার্ককে প্রশিক্ষণ দিন, এবং এটি স্বাভাবিক প্যাটার্নগুলি ভালভাবে পুনর্গঠন করতে শেখে। PCA-এর বিপরীতে, যা শুধুমাত্র রৈখিক সম্পর্ক ধারণ করতে পারে, একটি অটোএনকোডার অরৈখিক সম্পর্ক শিখতে পারে — তাই এটি এমন অসঙ্গতি ধরা উচিত যা একটি অরৈখিক কাঠামো লঙ্ঘন করে। আমি দুটি পরীক্ষা তৈরি করেছি — একটি সহজ কেস, এবং একটি ইচ্ছাকৃতভাবে অটোএনকোডারের সেরা শট হিসাবে ডিজাইন করা — এবং পরিমাপ করেছি যে তাত্ত্বিক সুবিধাটি আসলে দেখা যায় কিনা।

সেটআপ: সিন্থেটিক ডেটা, শুধুমাত্র স্বাভাবিক নমুনায় প্রশিক্ষিত, স্বাভাবিক এবং অস্বাভাবিক নমুনার সংরক্ষিত মিশ্রণে মূল্যায়ন করা হয়েছে। তিনটি পদ্ধতি তুলনা করা হয়েছে: একটি অটোএনকোডার (MLPRegressor যার একটি 3-মাত্রিক বাধা রয়েছে), PCA পুনর্গঠন ত্রুটি (3 উপাদানে হ্রাস করা), এবং আইসোলেশন ফরেস্ট। পরীক্ষা 1: গাউসিয়ান ক্লাস্টার থেকে স্বাভাবিক ডেটা, স্থানান্তরিত গড় এবং উচ্চতর প্রকরণ সহ অসঙ্গতি। PCA অটোএনকোডারকে মিলিয়ে বা পরাজিত করেছে — উভয়ের জন্য 0.885 F1, প্রতিটি অসঙ্গতি ধরা (রিকল = 1.0)। আইসোলেশন ফরেস্ট 0.870 এ এসেছে।

পরীক্ষা 2: অটোএনকোডারের পক্ষে পরীক্ষাটি রিগ করা। আমি বিশেষভাবে একটি রৈখিক পদ্ধতির জন্য অদৃশ্য অসঙ্গতি তৈরি করেছি: স্বাভাবিক ডেটা যেখানে দুটি বৈশিষ্ট্য একটি অরৈখিক সম্পর্ক (y = sin(3x) + শব্দ) অনুসরণ করে, এবং অসঙ্গতি যা একই পৃথক পরিসীমা রাখে কিন্তু তাদের মধ্যে সম্পর্ক লঙ্ঘন করে। এটি অটোএনকোডারের জন্য একটি সর্বোত্তম-পরিস্থিতির কাছাকাছি।

মূল সত্তা: কোম্পানি: Towards Data Science

FAQ Q: কেন PCA অরৈখিক অসঙ্গতি সনাক্তকরণ পরীক্ষায়ও অটোএনকোডারকে মিলিয়েছে?

FAQ A: কারণ পরীক্ষা 1-এ, গড় স্থানান্তর অসঙ্গতি একটি রৈখিক ঘটনা, তাই PCA-র কোনও কাঠামোগত অসুবিধা ছিল না। পরীক্ষা 2-এ, যদিও অটোএনকোডার তাত্ত্বিকভাবে অরৈখিক সম্পর্কের জন্য পছন্দনীয় ছিল, পুনর্গঠন ত্রুটি বিচ্ছেদ এখনও যথেষ্ট বড় ছিল যে রৈখিক পদ্ধতির নির্ভুলতা খুব বেশি গুরুত্বপূর্ণ ছিল না।

Ein theoretischer Vorteil, der den Kontakt mit einem echten Benchmark nicht überlebte. Der theoretische Fall für Autoencoder ist klar: Trainieren Sie das Netzwerk nur mit normalen Daten, und es lernt, normale Muster gut zu rekonstruieren. Im Gegensatz zu PCA, das nur lineare Beziehungen erfassen kann, kann ein Autoencoder nichtlineare lernen — daher sollte es Anomalien erkennen, die eine nichtlineare Struktur verletzen. Ich habe zwei Experimente gebaut — einen einfachen Fall und einen, der absichtlich als beste Chance des Autoencoders konzipiert wurde — und gemessen, ob der theoretische Vorteil tatsächlich auftritt.

Aufbau: synthetische Daten, nur mit normalen Stichproben trainiert, auf einer zurückgehaltenen Mischung aus normalen und anomalen Stichproben bewertet. Drei Methoden verglichen: ein Autoencoder (MLPRegressor mit einem 3-dimensionalen Engpass), PCA-Rekonstruktionsfehler (ebenfalls auf 3 Komponenten reduziert) und Isolation Forest. Experiment 1: normale Daten aus Gauß-Clustern, Anomalien mit verschobenem Mittelwert und höherer Varianz. PCA glich den Autoencoder aus oder schlug ihn — 0.885 F1 für beide, jede Anomalie erfassend (Recall = 1.0). Isolation Forest kam bei 0.870.

Experiment 2: Manipulation des Tests zugunsten des Autoencoders. Ich baute Anomalien, die für eine lineare Methode speziell unsichtbar sind: normale Daten, bei denen zwei Merkmale einer nichtlinearen Beziehung folgen (y = sin(3x) + Rauschen), und Anomalien, die denselben individuellen Bereich beibehalten, aber die Beziehung zwischen ihnen verletzen. Dies kommt einem Best-Case-Szenario für den Autoencoder nahe.

Schlüsselentitäten: Unternehmen: Towards Data Science

FAQ F: Warum glich PCA den Autoencoder sogar im nichtlinearen Anomalieerkennungstest aus?

FAQ A: Weil in Experiment 1 die Mittelwertverschiebungsanomalie ein lineares Phänomen ist, hatte PCA keinen strukturellen Nachteil. In Experiment 2, obwohl der Autoencoder theoretisch für nichtlineare Beziehungen bevorzugt war, war die Trennung des Rekonstruktionsfehlers immer noch groß genug, dass die Präzision der linearen Methode nicht viel ausmachte.

Una ventaja teórica que no sobrevivió al contacto con un benchmark real. El caso teórico para los autoencoders es claro: entrenar la red solo con datos normales, y aprende a reconstruir patrones normales bien. A diferencia de PCA, que solo puede capturar relaciones lineales, un autoencoder puede aprender relaciones no lineales — por lo que debería detectar anomalías que violen una estructura no lineal. Construí dos experimentos — un caso fácil, y otro deliberadamente diseñado para ser el mejor escenario del autoencoder — y medí si la ventaja teórica realmente se manifiesta.

Configuración: datos sintéticos, entrenados solo con muestras normales, evaluados en una mezcla reservada de muestras normales y anómalas. Se compararon tres métodos: un autoencoder (MLPRegressor con un cuello de botella de 3 dimensiones), error de reconstrucción de PCA (también reducido a 3 componentes), y Isolation Forest. Experimento 1: datos normales de grupos gaussianos, anomalías con media desplazada y mayor varianza. PCA igualó o superó al autoencoder — 0.885 F1 para ambos, detectando todas las anomalías (recall = 1.0). Isolation Forest obtuvo 0.870.

Experimento 2: amañando la prueba a favor del autoencoder. Construí anomalías específicamente invisibles para un método lineal: datos normales donde dos características siguen una relación no lineal (y = sin(3x) + ruido), y anomalías que mantienen el mismo rango individual pero violan la relación entre ellas. Esto se acerca al mejor escenario para el autoencoder.

Entidades clave: Empresas: Towards Data Science

FAQ Q: ¿Por qué PCA igualó al autoencoder incluso en la prueba de detección de anomalías no lineales?

FAQ A: Porque en el Experimento 1, la anomalía de desplazamiento de media es un fenómeno lineal, por lo que PCA no tenía desventaja estructural. En el Experimento 2, aunque el autoencoder era teóricamente favorecido para relaciones no lineales, la separación del error de reconstrucción seguía siendo lo suficientemente grande como para que la precisión del método lineal no importara mucho.

Un avantage théorique qui n'a pas survécu au contact d'un benchmark réel. Le cas théorique des autoencodeurs est clair : entraîner le réseau uniquement sur des données normales, et il apprend à bien reconstruire les motifs normaux. Contrairement à l'ACP, qui ne peut capturer que des relations linéaires, un autoencodeur peut apprendre des relations non linéaires — il devrait donc détecter les anomalies qui violent une structure non linéaire. J'ai construit deux expériences — un cas facile, et un autre délibérément conçu pour être la meilleure chance de l'autoencodeur — et mesuré si l'avantage théorique se manifeste réellement.

Configuration : données synthétiques, entraînées uniquement sur des échantillons normaux, évaluées sur un mélange réservé d'échantillons normaux et anormaux. Trois méthodes comparées : un autoencodeur (MLPRegressor avec un goulot d'étranglement 3 dimensions), l'erreur de reconstruction ACP (également réduite à 3 composantes), et Isolation Forest. Expérience 1 : données normales de clusters gaussiens, anomalies avec moyenne décalée et variance plus élevée. L'ACP a égalé ou battu l'autoencodeur — 0.885 F1 pour les deux, détectant chaque anomalie (rappel = 1.0). Isolation Forest est arrivé à 0.870.

Expérience 2 : truquer le test en faveur de l'autoencodeur. J'ai construit des anomalies spécifiquement invisibles pour une méthode linéaire : des données normales où deux caractéristiques suivent une relation non linéaire (y = sin(3x) + bruit), et des anomalies qui conservent la même plage individuelle mais violent la relation entre elles. C'est proche d'un scénario optimal pour l'autoencodeur.

Entités clés : Entreprises : Towards Data Science

FAQ Q : Pourquoi l'ACP a-t-elle égalé l'autoencodeur même dans le test de détection d'anomalies non linéaires ?

FAQ R : Parce que dans l'Expérience 1, l'anomalie de décalage de moyenne est un phénomène linéaire, donc l'ACP n'avait aucun désavantage structurel. Dans l'Expérience 2, même si l'autoencodeur était théoriquement favorisé pour les relations non linéaires, la séparation de l'erreur de reconstruction était encore suffisamment grande pour que la précision de la méthode linéaire n'ait pas beaucoup d'importance.

एक सैद्धांतिक लाभ जो वास्तविक बेंचमार्क के संपर्क में नहीं टिका। ऑटोएन्कोडर के लिए सैद्धांतिक मामला स्पष्ट है: केवल सामान्य डेटा पर नेटवर्क को प्रशिक्षित करें, और यह सामान्य पैटर्न को अच्छी तरह से पुनर्निर्माण करना सीखता है। PCA के विपरीत, जो केवल रैखिक संबंधों को पकड़ सकता है, एक ऑटोएन्कोडर अरैखिक संबंध सीख सकता है — इसलिए इसे उन विसंगतियों को पकड़ना चाहिए जो अरैखिक संरचना का उल्लंघन करती हैं। मैंने दो प्रयोग बनाए — एक आसान मामला, और एक जानबूझकर ऑटोएन्कोडर के सर्वोत्तम शॉट के रूप में डिज़ाइन किया गया — और मापा कि क्या सैद्धांतिक लाभ वास्तव में दिखाई देता है।

सेटअप: सिंथेटिक डेटा, केवल सामान्य नमूनों पर प्रशिक्षित, सामान्य और विसंगत नमूनों के आरक्षित मिश्रण पर मूल्यांकन किया गया। तीन विधियों की तुलना: एक ऑटोएन्कोडर (MLPRegressor जिसमें 3-आयामी अड़चन है), PCA पुनर्निर्माण त्रुटि (3 घटकों तक कम), और आइसोलेशन फ़ॉरेस्ट। प्रयोग 1: गाऊसी क्लस्टर से सामान्य डेटा, स्थानांतरित माध्य और उच्च विचरण वाली विसंगतियाँ। PCA ने ऑटोएन्कोडर को मात दी या बराबरी की — दोनों के लिए 0.885 F1, सभी विसंगतियों को पकड़ते हुए (रिकॉल = 1.0)। आइसोलेशन फ़ॉरेस्ट 0.870 पर आया।

प्रयोग 2: ऑटोएन्कोडर के पक्ष में परीक्षण को रिग करना। मैंने विशेष रूप से रैखिक विधि के लिए अदृश्य विसंगतियाँ बनाईं: सामान्य डेटा जहाँ दो विशेषताएँ अरैखिक संबंध (y = sin(3x) + शोर) का पालन करती हैं, और विसंगतियाँ जो समान व्यक्तिगत सीमा रखती हैं लेकिन उनके बीच संबंध का उल्लंघन करती हैं। यह ऑटोएन्कोडर के लिए सर्वोत्तम-स्थिति के करीब है।

मुख्य संस्थाएँ: कंपनियाँ: Towards Data Science

FAQ Q: PCA ने अरैखिक विसंगति परीक्षण में भी ऑटोएन्कोडर को क्यों मात दी?

FAQ A: क्योंकि प्रयोग 1 में, माध्य स्थानांतरण विसंगति एक रैखिक घटना है, इसलिए PCA की कोई संरचनात्मक हानि नहीं थी। प्रयोग 2 में, हालाँकि ऑटोएन्कोडर सैद्धांतिक रूप से अरैखिक संबंधों के लिए पसंदीदा था, पुनर्निर्माण त्रुटि पृथक्करण अभी भी इतना बड़ा था कि रैखिक विधि की सटीकता ज्यादा मायने नहीं रखती थी।

Keunggulan teoretis yang tidak bertahan dalam kontak dengan tolok ukur nyata. Kasus teoretis untuk autoencoder jelas: latih jaringan hanya pada data normal, dan ia belajar merekonstruksi pola normal dengan baik. Tidak seperti PCA, yang hanya dapat menangkap hubungan linier, autoencoder dapat mempelajari hubungan nonlinier — sehingga seharusnya menangkap anomali yang melanggar struktur nonlinier. Saya membangun dua eksperimen — satu kasus mudah, dan satu lagi yang sengaja dirancang sebagai kesempatan terbaik autoencoder — dan mengukur apakah keunggulan teoretis benar-benar muncul.

Pengaturan: data sintetis, dilatih hanya pada sampel normal, dievaluasi pada campuran sampel normal dan anomali yang ditahan. Tiga metode dibandingkan: autoencoder (MLPRegressor dengan bottleneck 3 dimensi), kesalahan rekonstruksi PCA (juga direduksi menjadi 3 komponen), dan Isolation Forest. Eksperimen 1: data normal dari klaster Gaussian, anomali dengan mean bergeser dan varians lebih tinggi. PCA menyamai atau mengalahkan autoencoder — 0.885 F1 untuk keduanya, menangkap setiap anomali (recall = 1.0). Isolation Forest mencapai 0.870.

Eksperimen 2: mencurangi tes untuk menguntungkan autoencoder. Saya membangun anomali yang secara khusus tidak terlihat oleh metode linier: data normal di mana dua fitur mengikuti hubungan nonlinier (y = sin(3x) + noise), dan anomali yang mempertahankan rentang individu yang sama tetapi melanggar hubungan di antara keduanya. Ini mendekati skenario terbaik untuk autoencoder.

Entitas kunci: Perusahaan: Towards Data Science

FAQ T: Mengapa PCA menyamai autoencoder bahkan dalam uji deteksi anomali nonlinier?

FAQ J: Karena dalam Eksperimen 1, anomali pergeseran mean adalah fenomena linier, sehingga PCA tidak memiliki kerugian struktural. Dalam Eksperimen 2, meskipun autoencoder secara teoretis diunggulkan untuk hubungan nonlinier, pemisahan kesalahan rekonstruksi masih cukup besar sehingga presisi metode linier tidak terlalu penting.

理論上の利点が実際のベンチマークとの接触で生き残れなかった。オートエンコーダの理論的根拠は明確です：正常データのみでネットワークを訓練すると、正常パターンをうまく再構築することを学習します。線形関係のみを捉えられるPCAとは異なり、オートエンコーダは非線形関係を学習できます — したがって、非線形構造に違反する異常を捉えるはずです。私は2つの実験を構築しました — 1つは簡単なケース、もう1つは意図的にオートエンコーダの最良のシナリオとして設計されたもの — そして理論上の利点が実際に現れるかどうかを測定しました。

設定：合成データ、正常サンプルのみで訓練、正常サンプルと異常サンプルの保留混合で評価。3つの手法を比較：オートエンコーダ（3次元ボトルネックのMLPRegressor）、PCA再構成誤差（3成分に削減）、Isolation Forest。実験1：ガウスクラスターからの正常データ、平均がシフトし分散が高い異常。PCAがオートエンコーダに匹敵または打ち勝った — 両方とも0.885 F1、すべての異常を捕捉（再現率=1.0）。Isolation Forestは0.870でした。

実験2：オートエンコーダに有利にテストを不正操作。線形手法に特に見えない異常を構築：2つの特徴が非線形関係（y = sin(3x) + ノイズ）に従う正常データ、および同じ個別範囲を維持するがそれらの間の関係に違反する異常。これはオートエンコーダにとって最良のシナリオに近いです。

主要エンティティ：企業：Towards Data Science

FAQ Q：なぜPCAは非線形異常検出テストでもオートエンコーダに匹敵したのですか？

FAQ A：実験1では、平均シフト異常は線形現象であるため、PCAに構造的な不利はありませんでした。実験2では、オートエンコーダが理論的に非線形関係で有利でしたが、再構成誤差の分離が依然として十分大きかったため、線形手法の精度はあまり重要ではありませんでした。

Uma vantagem teórica que não sobreviveu ao contato com um benchmark real. O caso teórico para autoencoders é claro: treinar a rede apenas com dados normais, e ela aprende a reconstruir padrões normais bem. Ao contrário do PCA, que só pode capturar relações lineares, um autoencoder pode aprender relações não lineares — então deve detectar anomalias que violem uma estrutura não linear. Construí dois experimentos — um caso fácil, e outro deliberadamente projetado para ser a melhor chance do autoencoder — e medi se a vantagem teórica realmente aparece.

Configuração: dados sintéticos, treinados apenas em amostras normais, avaliados em uma mistura reservada de amostras normais e anômalas. Três métodos comparados: um autoencoder (MLPRegressor com um gargalo de 3 dimensões), erro de reconstrução PCA (também reduzido a 3 componentes) e Isolation Forest. Experimento 1: dados normais de clusters gaussianos, anomalias com média deslocada e variância maior. PCA igualou ou superou o autoencoder — 0.885 F1 para ambos, capturando todas as anomalias (recall = 1.0). Isolation Forest veio com 0.870.

Experimento 2: manipulando o teste a favor do autoencoder. Construí anomalias especificamente invisíveis para um método linear: dados normais onde duas características seguem uma relação não linear (y = sin(3x) + ruído), e anomalias que mantêm a mesma faixa individual, mas violam a relação entre elas. Isso está próximo de um cenário ideal para o autoencoder.

Entidades-chave: Empresas: Towards Data Science

FAQ P: Por que o PCA igualou o autoencoder mesmo no teste de detecção de anomalias não lineares?

FAQ R: Porque no Experimento 1, a anomalia de deslocamento de média é um fenômeno linear, então o PCA não tinha desvantagem estrutural. No Experimento 2, embora o autoencoder fosse teoricamente favorecido para relações não lineares, a separação do erro de reconstrução ainda era grande o suficiente para que a precisão do método linear não importasse muito.

Теоретическое преимущество, не выдержавшее контакта с реальным бенчмарком. Теоретический случай для автоэнкодеров ясен: обучите сеть только на нормальных данных, и она научится хорошо восстанавливать нормальные паттерны. В отличие от PCA, который может улавливать только линейные зависимости, автоэнкодер может изучать нелинейные — поэтому он должен обнаруживать аномалии, нарушающие нелинейную структуру. Я построил два эксперимента — один легкий случай, и другой, намеренно разработанный как лучший шанс автоэнкодера — и измерил, проявляется ли теоретическое преимущество на самом деле.

Настройка: синтетические данные, обученные только на нормальных образцах, оцененные на зарезервированной смеси нормальных и аномальных образцов. Сравнивались три метода: автоэнкодер (MLPRegressor с 3-мерным узким местом), ошибка реконструкции PCA (также уменьшенная до 3 компонентов) и Isolation Forest. Эксперимент 1: нормальные данные из гауссовских кластеров, аномалии со смещенным средним и более высокой дисперсией. PCA сравнялся или превзошел автоэнкодер — 0.885 F1 для обоих, обнаруживая каждую аномалию (полнота = 1.0). Isolation Forest показал 0.870.

Эксперимент 2: подстройка теста в пользу автоэнкодера. Я построил аномалии, специально невидимые для линейного метода: нормальные данные, где два признака следуют нелинейной зависимости (y = sin(3x) + шум), и аномалии, которые сохраняют тот же индивидуальный диапазон, но нарушают зависимость между ними. Это близко к наилучшему сценарию для автоэнкодера.

Ключевые сущности: Компании: Towards Data Science

FAQ В: Почему PCA сравнялся с автоэнкодером даже в тесте нелинейного обнаружения аномалий?

FAQ О: Потому что в Эксперименте 1 аномалия смещения среднего является линейным явлением, поэтому PCA не имел структурного недостатка. В Эксперименте 2, хотя автоэнкодер теоретически был предпочтительнее для нелинейных зависимостей, разделение ошибки реконструкции было все еще достаточно большим, чтобы точность линейного метода не имела большого значения.

一个理论优势未能在实际基准测试中存活。自编码器的理论论证很清晰：仅用正常数据训练网络，它能很好地重构正常模式。与只能捕捉线性关系的PCA不同，自编码器可以学习非线性关系——因此它应该能捕捉违反非线性结构的异常。我构建了两个实验——一个简单案例，另一个故意设计成对自编码器最有利的情况——并测量了理论优势是否真正显现。

设置：合成数据，仅用正常样本训练，在保留的正常和异常混合样本上评估。比较三种方法：自编码器（MLPRegressor，具有3维瓶颈）、PCA重构误差（也缩减到3个分量）和孤立森林。实验1：来自高斯簇的正常数据，具有偏移均值和更高方差的异常。PCA匹配或击败了自编码器——两者均为0.885 F1，捕捉到所有异常（召回率=1.0）。孤立森林得分为0.870。

实验2：操纵测试以利于自编码器。我构建了专门对线性方法不可见的异常：两个特征遵循非线性关系（y = sin(3x) + 噪声）的正常数据，以及保持相同个体范围但违反它们之间关系的异常。这接近自编码器的最佳情况。

关键实体：公司：Towards Data Science

FAQ Q：为什么PCA即使在非线性异常检测测试中也匹配了自编码器？

FAQ A：因为在实验1中，均值偏移异常是线性现象，所以PCA没有结构劣势。在实验2中，尽管自编码器在理论上对非线性关系有利，但重构误差分离仍然足够大，使得线性方法的精度影响不大。