Курс посвящен статистическому сравнению характеристик групп и категорий. В первой части курса мы рассказываем о параметрических и непараметрических тестах сравнения средних и распределений, какие возможности и ограничения связаны с разными методами сравнения групп, говорим о сравнении связанных и несвязанных выборок. Различаются ли регионы (или аудитории) по доходу или возрасту? Как отличается пользовательская активность в разные времена года? Случайны различия между группами или закономерны? Курс научит искать ответы на такие вопросы. Вторая половина курсов посвящена выделению групп на основе эмпирических данных. Есть ли структура в данных? Можно ли говорить о том, что люди, компании или университеты группируются в отличительные, узнаваемые классы? Как найти и охарактеризовать такие группы? Мы покажем основные алгоритмы кластеризации, которые позволяют решать такие задачи. В практических видео курса мы покажем реализацию основных инструментов сравнения и выделения групп, а также предложим практические задачи и задания для отработки полученных навыков.
1.3. Сравнение двух независимых выборок
Loading...
Del curso dictado por Novosibirsk State University
Сравнение и создание групп
17 calificaciones
De la lección
Одновыборочные и двухвыборочные критерии
В первом модуле курса мы начнем разбираться со статистическими инструментами сравнения параметров и распределений в группах. Сначала поговорим об основных задачах межгрупповых сравнений, затем рассмотрим одновыборочные и двухвыборочные критерии, научимся сравнивать связанные и несвязанные выборки и посмотрим на практике, на реальных данных, как рассчитывать основные статистики в R и SPSS и интерпретировать полученные результаты.
Conoce a los instructores
Ольга Ечевскаядоцент, кандидат социологических наук
Кафедра общей социологии ЭФ НГУ
Виктор ДёминСпециалист по анализу данных, кандидат технических наук
Компания 2GIS
Наталья ГалановаСпециалист по анализу данных
Компания 2GIS
[МУЗЫКА] [МУЗЫКА]
[МУЗЫКА] В
предыдущей лекции вы обсудили одновыборочные критерии.
И вы уже знаете какие инструменты можно использовать,
если нам необходимо сравнить теоретическое, или заданное, или откуда-то
известное нам значение с тем значением, которое мы получаем на нашей выборке.
В этой лекции мы поговорим о двухвыборочных критериях,
которые нужны нам в том случае, когда нужно сравнить две независимые выборки.
Вы уже помните из предыдущих лекций,
в чем разница между зависимыми и независимыми выборками.
В этой лекции мы говорим о сравнении двух независимых выборок.
Здесь, как в любом другом случае сравнения групп,
у нас есть два варианта: либо использовать параметрические критерии,
либо использовать непараметрические критерии.
Параметрические, как мы помним, считаются чуть более мощными,
хотя не все с этим согласны.
Но для того чтобы мы могли их применять, нужно соблюсти два важных требования.
Во-первых, признак у нас должен быть измерен количественной или
интервальной шкалой.
Во-вторых, распределение этого признака должно быть нормальным или приближенным к
нормальному.
Если одно из этих двух условий или оба эти условия не выполняются,
то мы не можем использовать параметрический критерий,
и нам необходимо воспользоваться непараметрическим аналогом.
В случае со сравнением двух независимых выборок у нас какие варианты?
Параметрические критерии — это критерии Стьюдента,
уже известные вам по предыдущей лекции.
Непараметрический аналог двухвыборочного критерия Стьюдента —
это критерий Манна — Уитни.
Давайте подробно разберем каждый из них.
Начнем с критерия Стьюдента.
Идея здесь та же, как и в одновыборочном критерии,
то есть здесь опять-таки в числителе разница средних.
Но если в одновыборочном критерии теоретическое среднее соотносилось с
выборочным, то в двухвыборочном критерии мы видим в числителе разницу двух средних.
То есть у нас берется средняя первая группа, среднее второе, разница.
И разница эта приводится к объему выборки и дисперсии.
По поводу дисперсии есть важный нюанс.
Классическая формула критерия Стьюдента разработана для равных дисперсий,
то есть предполагается, что две группы, которые мы сравниваем,
имеют или характеризуются равными дисперсиями.
Но это далеко не всегда так.
И в том случае, если у нас дисперсии не равны,
мы должны делать на это неравенство поправку.
Сейчас вы на экране видите два варианта формул.
Первый вариант — это формула классического критерия Стьюдента,
которая рассчитана для равных дисперсий.
Когда мы приводим к общей дисперсии, к общему объему выборки, и всё хорошо.
Вторая версия — это если у нас равенство дисперсий не предполагается,
если группы у нас не равны.
В числителе у нас остается то же самое, но знаменатель у нас меняется.
Как раз для того, чтобы снизить помехи,
которые связаны вот с этим вот неравенством групповых дисперсий.
Критерий Стьюдента очень нравится студентам обычно, и не только потому что
он называется Стьюдент, как студент, но и потому что за ним легенда красивая стоит.
Придуман он был Уильямом Госсетом в 1899 году, когда он закончил
университет и пошел работать в пивоварню Гиннесса, где он занимался, кроме прочего,
исследованиями качества пива и изучал урожайность разных сортов ячменя.
Конечно же, результаты хотелось публиковать, поскольку работа-то научная.
Но нюанс: в пивоварне, всё, что касается производственных процессов,
защищается коммерческой тайной.
И если бы он публиковал результаты под собственным именем, то тогда риск того,
что коммерческая тайна, что-то там из процессов будет раскрыта,
будет достаточно высок, и он этого делать не мог.
Поэтому он придумал себе псевдоним Стьюдент,
и публиковал результаты под этим псевдонимом.
В общем по-честному, этот критерий должен был бы называться критерием Госсета,
но у нас есть критерий Стьюдента.
Давайте посмотрим пример реализации вот этого вот критерия для проверки
статистических гипотез на студенческом примере.
Допустим, мы опросили 100 студентов.
50 из них учатся на втором курсе,
то есть находятся где-то там на ранних этапах студенческой жизни,
остальные 50 учатся на четвертом курсе и в скором времени будут заканчивать.
И мы хотим сравнить по-разному ли они проводят свободное время в барах.
То есть мы задавали, для того чтобы это понять, два вопроса.
Один, как часто вы ходите в бары, и другой, как много денег вы на это тратите.
Ну, и наша гипотеза была про то, что на начале студенческого пути и на завершении
студенческого пути, вот это вот барное времяпрепровождение будет отличаться.
И мы решили проверить.
t-критерий Стьюдента проверяет такую нулевую гипотезу.
Нулевая гипотеза у нас о том, что среднее значение признаков в группах совпадает,
альтернативная гипотеза о том, что среднее значение в группах не совпадает.
Соответственно, для того чтобы ответить на наш исследовательский вопрос, нам нужно
понять, различается ли среднее количество раз, которое ходили в бар второкурсники и
четверокурсники, и различаются ли средние суммы в рублях, которые второкурсники и
четверокурсники тратят в этих барах на напитки, еду и так далее.
Что мы получили?
Такая ситуация у нас получилась по посещениям: распределение
получилось близкое к нормальному, но дисперсия, к сожалению, в группах неравна.
Но не то что к сожалению, просто мы должны использовать тот вариант критерия
Стьюдента, который делает поправку на неравенство дисперсий.
То что касается сумм, у нас распределение близким к нормальному получилось,
и дисперсии в группах статистически значимо не различаются.
Поэтому здесь мы можем использовать классическую версию теста Стьюдента,
без поправки на неравенство дисперсий.
Что видим?
Во-первых, по посещениям.
Мы видим что второкурсники у нас ходят в бары чаще, чем четверокурсники,
и разница эта статистически значима.
Мы видим критерий Стьюдента: значение выборочное, мы видим уровень значимости.
И у нас для проверки гипотезы существует два пути.
Мы либо сравниваем вот эти вот выборочные значения статистики критерия с табличным,
либо мы смотрим на уровень значимости, достигнутый на выборке,
и сравниваем его с критическим.
Пойдем по второму пути.
Критический уровень значимости у нас 0,05,
то есть мы позволяем себе ошибаться в 5 % случаев.
Мы видим, что наш достигнутый уровень значимости меньше.
Следовательно, принимает альтернативную гипотезу.
Группы различаются, и различаются статистически значимо.
То есть второкурсники действительно заметно чаще ходят в бары,
чем четверокурсники.
Если мы посмотрим на суммы по той же самой логике, то мы видим,
что опять-таки уровень значимости меньше, чем критический.
Мы попадаем в область принятия альтернативной гипотезы и говорим о том,
что опять-таки у нас группы статистически значимо различаются.
Если мы посмотрим на абсолютные значения в рублях, сколько тратят второкурсники и
четверокурсники, и увидим, что студенты четвертого курса,
хоть и реже ходят в бары, но оставляют там существенно больше денег.
Но и это опять-таки можно было объяснить тем, что у второкурсников, возможно,
или больше свободного времени, или еще что-нибудь, но еще меньше денег,
скорее всего, они их еще не зарабатывают.
Четверокурсники уже, возможно, начинают работать, времени свободного меньше,
но если они начинают работать, они зарабатывают и могут больше тратить.
Если бы нам захотелось добавить на картинку преподавателей и понять,
что будет, если третья группа присоединяется,
как у них с частотой и с затратами, то тест Стьюдента нам уже не помог бы.
Для этого существует k-выборочные тесты, о которых мы поговорим в следующем модуле.
Сейчас хочется немножко поговорить о том, что же делать,
если у нас не соблюдаются требования параметрических тестов.
Если у нас или шкала неметрическая, или распределение ненормальное.
В таком случае мы можем воспользоваться непараметрическим аналогом: критерием
Манна — Уитни, ранговым критерием.
Формулу вы видите на экране сейчас.
Идея здесь в том, что сравниваются не средние абсолютные значения в группах,
а средние ранги.
То есть мы пользуемся не абсолютными значениями: количеством посещений или
количеством рублей, а пользуемся порядковыми местами этих значений.
Строим вариационный ряд,
присваиваем номера и именно эти ранговые позиции в двух группах сравниваем.
Давайте посмотрим на гипотетическом примере,
как работает критерий Манна — Уитни.
Есть у нас две выборки, которые мы сгенерировали.
Одна подчиняется нормальному закону распределения.
В другой распределение подчиняется логнормальному закону.
Мы проверили нормальность распределений доступным критерием согласия.
В данном случае критерием Колмогорова — Смирнова,
который реализован в пакете SPSS.
И всё подтвердилось.
X — распределено нормально, Y — не распределено нормально.
Не соблюдается требование нормальности.
Следовательно, мы не можем использовать критерий Стьюдента,
но можем использовать критерий Манна — Уитни.
Запускаем, получаем такой результат.
Эмпирическое значение критерия нам не так интересно, выборочное — да, но по уровню
значимости, большему чем 0,05, большему чем критический, мы видим что ранги в
группах совпадают, то есть в выборке X и в выборке Y у нас одинаковые средние ранги.
Важно отметить здесь, что то, что у нас получаются одинаковые средние в группах,
совершенно не означает, что у нас группы одинаковые.
Распределения в группах могут отличаться даже при одинаковых средних.
И они могут отличаться очень по-разному: могут быть формы неодинаковые,
могут быть дисперсии неодинаковые.
Вы с этими выборками в дальнейшем еще встретитесь и увидите,
что у них там не всё так просто, как кажется критерию Манна — Уитни.
Сейчас с двухвыборочными тестами мы заканчиваем для сравнения средних и в
следующей лекции поговорим о том,
как сравнивать дисперсию в двух независимых выборках.
Explora nuestro catálogo
Inscríbete de manera gratuita y obtén recomendaciones personalizadas, actualizaciones y ofertas.
Coursera brinda acceso universal a la mejor educación del mundo, al asociarse con las mejores universidades y organizaciones, para ofrecer cursos en línea.
© 2018 Coursera Inc. Todos los derechos reservados.
