Презентация на тему: Статистический анализ данных. Первые шаги

Статистический анализ данных. Первые шаги
Понятие выборки
Характеристики выборки
Характеристики выборки
Характеристики выборки
Характеристики выборки
Характеристики рассеяния, разброса, изменения выборки
Характеристики рассеяния, разброса, изменения выборки
Характеристики рассеяния, разброса, изменения выборки
Характеристики рассеяния, разброса, изменения выборки
Зависимость двух выборок
Числовые характеристики зависимости двух выборок
Числовые характеристики зависимости двух выборок
Числовые характеристики зависимости двух выборок
Числовые характеристики зависимости двух выборок
Выборочный коэффициент корреляции характеризует степень линейной зависимости y(x)
Статистический анализ данных. Первые шаги
Определение параметров функции y = m x+ b по наблюдениям ее значений методом наименьших квадратов
Статистический анализ данных. Первые шаги
Статистический анализ данных. Первые шаги
Встроенные функции Mathcad для вычисления характеристик выборок
1/21
Средняя оценка: 4.5/5 (всего оценок: 27)
Код скопирован в буфер обмена
Скачать (353 Кб)
1

Первый слайд презентации: Статистический анализ данных. Первые шаги

Лекция 10 Это «первые шаги», а не «введение» или «основные понятия», потому что статистический анализ основывается на теории вероятностей и математической статистике, которую вы еще не проходили. В этой лекции положения статистического анализа поясняются не с помощью математической теории, а на основе здравого смысла. Эти «первые шаги» помогут понять смысл формул для оценок параметров линейно й зависимости по методу наименьших квадратов.

Изображение слайда
2

Слайд 2: Понятие выборки

Выборка – это последовательность наблюдений. Это могут быть наблюдения любой природы: некоторой физической величины (температуры, давления, напряжения) или экономические данные (стоимость какого либо объекта или заработная плата), или медицинские и т. д. Наблюдения могут проводиться на одним объектом в последовательные моменты времени или в один момент времени над несколькими объектами. Представим эти наблюдения как массив чисел из n элементов: x 1, x 2, …, x n n называется объемом или длиной выборки. Значение n может быть весьма велико. Как описать свойства выборки? Составить о ней общее представление? По каким параметрам можно сравнить две выборки, описывающие объекты или явления одинаковой природы? Например, имеются оценки двух студенческих групп по какому-либо предмету. Как понять, какая группа лучше учится? А если оценки не двух групп, а двух факультетов?

Изображение слайда
3

Слайд 3: Характеристики выборки

Среднее значение: Это наиболее распространенная характеристика центра выборки. Обычно, когда говорят «средний», подразумевают «типичный», хотя это не всегда правильно. Например, если оценки такие: 3, 5, 3, 5, 3, 5, то среднее равно 4, хотя оценку 4 не получил ни один студент. Еще один пример нетипичности среднего значения – это «средняя по госпиталю температура». Среднее значение является хорошей характеристикой выборки, когда наблюдения более или менее равномерно заполняют интервал от x min (минимального значения среди наблюдений) до x max ( максимального значения среди наблюдений ). Значения x min и x max также являются характеристиками выборки.

Изображение слайда
4

Слайд 4: Характеристики выборки

Медиана  (от  лат.   mediāna  — середина ). Медиана  — это такое число, что половина из элементов выборки больше него, а другая половина меньше. Медиану можно найти, упорядочив элементы выборки по возрастанию или убыванию и взяв средний элемент. Например, выборка {11, 9, 3, 5, 5} после упорядочивания превращается в {3, 5, 5, 9, 11} и её медианой является число 5. Если в выборке чётное число элементов, медиана может быть не определена однозначно: для числовых данных чаще всего используют полусумму двух соседних значений (то есть медиану набора {1, 3, 5, 7} принимают равной 4),  хотя в соответствии с определением можно было взять, например, 4.5. Медиана является важной характеристикой выборки   и, так же как  среднее значение, может быть использована в качестве центра выборки, в случаях сильной «неравномерности» выборки.

Изображение слайда
5

Слайд 5: Характеристики выборки

Предположим, что в одной комнате оказалось 19 бедняков и один миллионер. У каждого бедняка есть 5  рублей, а у миллионера — 1 млн  рублей. В сумме получается 1 000  095рублей. Если мы разделим деньги равными долями на 20 человек, то получим 50 004,75 ₽. Это будет  среднее арифметическое  значение суммы денег, которая была у всех 20 человек в этой комнате. Такой суммы нет ни одного человека в комнате. Медиана в этом случае будет равна 5  рублям (полусумма десятого и одиннадцатого,  срединных  значений упорядоченного ряда). Можно интерпретировать это следующим образом. Разделив всю компанию на две равные группы по 10 человек, мы можем утверждать, что в первой группе у каждого не больше 5  рублей, во второй же — не меньше 5  рублей. В общем случае можно сказать, что медиана — это то, сколько принёс с собой «средний» человек. Наоборот, среднее арифметическое — неподходящая характеристика, так как оно значительно превышает сумму наличных, имеющуюся у среднего человека. Но рассматриваемая выборка существенно неоднородна, то есть содержит существенно различающиеся значения.

Изображение слайда
6

Слайд 6: Характеристики выборки

Мода  — значение во множестве наблюдений, которое встречается наиболее часто. Таким образом, мода – наиболее типичное значение. Иногда в совокупности встречается более чем одна мода  (например: 6, 2, 6, 6, 8, 9, 9, 9, 0; мода — 6 и 9). В этом случае можно сказать, что совокупность мультимодальна. Мода как средняя величина употребляется чаще для данных, имеющих нечисловую природу. Среди перечисленных цветов автомобилей —  белый, чёрный, синий металлик, белый, синий металлик, белый  — мода будет равна  белому  цвету. При экспертной оценке с её помощью определяют наиболее популярные типы продукта, что учитывается при прогнозе продаж или планировании их производства.

Изображение слайда
7

Слайд 7: Характеристики рассеяния, разброса, изменения выборки

Размах: R= x max -x min Не самая лучшая характеристика рассеяния выборки. Например, Она одинакова для выборок: -10, 10, -10, -10, -10, 10, 10, -10, 10, -10, 10 1, -1, -2, 2, -5, 5, 10, 1, -10, 3, -4, 6, 4, -6, -7, 8

Изображение слайда
8

Слайд 8: Характеристики рассеяния, разброса, изменения выборки

Выборочная дисперсия: Характеристики рассеяния, разброса, изменения выборки Дисперсия характеризует среднее отклонение (разброс, рассеяние, изменение, вариацию) наблюдений относительно их среднего значения. Почему суммируются не отклонения, а их квадраты? – Для того, чтобы положительные отклонения не компенсировались отрицательными. Иначе при больших отклонений можно получить маленькую сумму. Почему суммируются не модули отклонений, а их квадраты? - Потому, что использование модулей приводит к сложным алгебраическим выражениям. Ведь, например, взять производную от функции y=|x| сложнее, чем от y=x 2. В теории вероятностей доказывается, что лучшую оценку рассеяниея можно получить, если в знаменателе использовать не n, а п-1. Почему, мы попытаемся понять позже. Но на практике используется и приведенная на этом слайде формула.

Изображение слайда
9

Слайд 9: Характеристики рассеяния, разброса, изменения выборки

В теории вероятностей доказывается формула: Характеристики рассеяния, разброса, изменения выборки Если использовать обозначения, принятые в лекции 9 (слайд 9), то получим: Эта формула нам пригодится для выяснения смысла формул (4) лекции 9 - оценивания коэффициентов линейной зависимости по МНК. (1)

Изображение слайда
10

Слайд 10: Характеристики рассеяния, разброса, изменения выборки

Единицы измерения D x – это единицы измерения x в квадрате. Чтобы рассеяние измерялось в тех же единицах, что и х, рассматривается характеристика: Характеристики рассеяния, разброса, изменения выборки s x называется выборочным средним квадратичным отклонением или стандартным отклонением. Естественно: D x = s x 2 (2)

Изображение слайда
11

Слайд 11: Зависимость двух выборок

Пусть мы проводим наблюдения так, что в одном наблюдении определяем сразу два параметра x и y. Например, рост и вес человека. Каждое наблюдение можно изобразить точкой на плоскости в декартовой системе координат. Такая картинка (см. лекцию 9) называется полем корреляции (или полем рассеяния). Если между x и y существует зависимость: y = f ( x )+ ε, где ε – случайная величина и значения ε не очень велики (что значит «не очень велики», определим потом), то выборка y зависит от выборки x. Если при этом функция f ( x ) линейная, то существует линейная зависимость выборки y от выборки x.

Изображение слайда
12

Слайд 12: Числовые характеристики зависимости двух выборок

Выборочная ковариация выборок x и y: Из теории вероятностей известно: если x и y независимы, то Kx, y =0. Поэтому выборочная ковариация считается мерой зависимости x и y.

Изображение слайда
13

Слайд 13: Числовые характеристики зависимости двух выборок

В теории вероятностей доказывается формула: Если использовать обозначения, принятые в лекции 9 (слайд 9), то получим: Эта формула нам пригодится для выяснения смысла формул (4) лекции 9 - оценивания коэффициентов линейной зависимости по МНК. ( 3 ) Числовые характеристики зависимости двух выборок

Изображение слайда
14

Слайд 14: Числовые характеристики зависимости двух выборок

Величина Kx, y зависит от единиц измерения x и y. Например, пусть x – рост человека, и он измеряется в метрах. Если мы будем измерять x в сантиметрах, то Kx, y увеличится в 100 раз. Поэтому в качестве меры зависимости выборок x и y используется безразмерная величина: Числовые характеристики зависимости двух выборок Величина r называется выборочным коэффициентом корреляции.

Изображение слайда
15

Слайд 15: Числовые характеристики зависимости двух выборок

Свойства выборочного коэффициента корреляции (доказываются в теории вероятностей): - 1  r 1. Чем ближе  r  к 1, тем сильнее y зависит от х. При r = 1 корреляционная связь - линейная (наблюдения располагаются на прямой) При r =0 связь отсутствует, линия регрессии параллельна оси ОХ. Таким образом, выборочный коэффициент корреляции характеризует степень линейной зависимости y от x. Числовые характеристики зависимости двух выборок

Изображение слайда
16

Слайд 16: Выборочный коэффициент корреляции характеризует степень линейной зависимости y(x)

Изображение слайда
17

Слайд 17

Выборочный коэффициент корреляции характеризует степень линейной зависимости y(x)

Изображение слайда
18

Слайд 18: Определение параметров функции y = m x+ b по наблюдениям ее значений методом наименьших квадратов

Вспомним формулу для оценок параметров m и b по МНК: Учитывая формулы (1) и (3), получаем: Таким образом, МНК-оценка коэффициента наклона прямой равна отношению ковариации выборок х и y к дисперсии х. (4)

Изображение слайда
19

Слайд 19

Определение параметров функции y = m x+ b по наблюдениям ее значений методом наименьших квадратов Из формул (2), (4) и определения выборочного коэффициента корреляции, получим формулы, связывающие значения коэффициента m и коэффициента корреляции : Обратите внимание, что между коэффициентом детерминации и коэффициентом корреляции существует связь: R 2 =r 2

Изображение слайда
20

Слайд 20

Встроенные функции Matlab для вычисления характеристик выборок mean (x) – возвращает среднее значение выборки; median(x) – возвращает медиану выборки; std (x) - возвращает среднее квадратичное отклонение выборки ; cov ( x,y ) - для двух векторов x, y одинаковой длины возвращает матрицу 2  2, на главной диагонали которой стоят дисперси я x (элемент с индексами (1,1) и дисперсия y ( элемент с индексами ( 2, 2), а вне главной диагонали – два одинаковых числа; значение ковариации x и y ; corrcoef ( x,y ) – для двух векторов x, y одинаковой длины возвращает матрицу 2  2, на главной диагонали которой стоят единицы, а вне главной диагонали – два одинаковых числа; это и есть значение коэффициента корреляции; при других аргументах эта функция может возвращать попарные коэффициенты корреляции набора векторов;

Изображение слайда
21

Последний слайд презентации: Статистический анализ данных. Первые шаги: Встроенные функции Mathcad для вычисления характеристик выборок

mean (x) – возвращает среднее значение выборки; median(x) – возвращает медиану выборки; var (x) – возвращает дисперсию (вариацию) выборки; stdev ( (x) – возвращает среднее квадратичное отклонение выборки; cvar ( x,y ) - вычисляет ковариацию выборок x и y ; corr ( x,y ) – вычисляет коэффициент корреляции выборок x и y.

Изображение слайда