Статистика часто опирается на выборки, а не на всю генеральную совокупность. Например, измерить средний балл выпускников 12-го класса по всей Индии было бы непрактично, поэтому аналитики отбирают выборку, которая репрезентативна для совокупности и свободна от систематического смещения. Если выбрать только лучших учеников, среднее значение завысится и исказит истинную величину.
Отсюда возникает распространённый вопрос: почему выборочную дисперсию делят на (n − 1), а не на n? Ответ заключается в том, что сумма отклонений от выборочного среднего всегда равна нулю. Это означает, что лишь (n − 1) отклонений могут изменяться независимо, и это ограничение называется степенями свободы. Поскольку выборочное среднее заменяет истинное среднее генеральной совокупности, деление на n систематически занижало бы дисперсию. Деление на (n − 1) устраняет это смещение и даёт несмещённую оценку дисперсии генеральной совокупности.
Эти основы важны для статистики высших порядков. Асимметрия и эксцесс являются мерами формы распределения, и понимание их формул требует сначала осознания различий между расчётами для генеральной совокупности и для выборки. Статья строит изложение от этих основ к моментам — базовым элементам, используемым для описания формы распределения.
Затем обсуждение переходит к практическому применению и показывает, как асимметрия и эксцесс описывают несимметричность и тяжесть хвостов данных. Эти меры помогают специалистам проверять допущения, выявлять выбросы и подготавливать признаки перед применением моделей машинного обучения, поэтому их ценность выходит далеко за пределы учебной аудитории.
Источник: Towards Data Science · Сводку подготовил HeadlinesBriefing