Średnia, mediana i odchylenie standardowe w R

Średnia i mediana

Dwa najczęściej używane podsumowania w całej statystyce to po jednym wywołaniu funkcji:

mpg <- mtcars$mpg

print(mean(mpg))
print(median(mpg))

mean() sumuje wszystko i dzieli przez liczbę elementów. median() sortuje wartości i wybiera środkową (albo uśrednia dwie środkowe, gdy liczba elementów jest parzysta). Dla 32 samochodów z mtcars średnie spalanie wynosi około 20.1 mpg, a mediana 19.2. Są blisko siebie, co mówi, że dane nie są mocno skośne. Gdy mocno się różnią, to też jest informacja; wrócimy do tego na końcu.

Jedna rzecz zaskakuje wszystkich: jeśli wektor zawiera choćby jedno NA, obie funkcje zwracają NA:

x <- c(4, 8, NA, 6)

print(mean(x))
print(mean(x, na.rm = TRUE))

To celowe: R odmawia cichego udawania, że brakującej wartości nie ma. na.rm = TRUE mówi "licz na wartościach, które masz". Przyjmuje go prawie każda funkcja podsumowująca z tego artykułu. Pełną historię tego, jak rozprzestrzenia się NA, znajdziesz w brakujących wartościach.

Odchylenie standardowe i wariancja

sd() mierzy rozrzut: mniej więcej, jak daleko typowa wartość leży od średniej, w tych samych jednostkach co dane. var() to jego kwadrat:

mpg <- mtcars$mpg

print(sd(mpg))
print(var(mpg))
print(sd(mpg)^2)

Odchylenie standardowe około 6 mpg oznacza, że samochody zwykle mieszczą się w granicach około 6 mpg od średniej 20.1. Ponieważ sd() jest w jednostkach danych, to jego wartość się raportuje; var() pojawia się głównie wewnątrz innych wzorów.

Oto szczegół, który ma znaczenie na zajęciach: sd() i var() liczą statystykę z próby, czyli dzielą sumę kwadratów odchyleń przez n − 1, a nie przez n:

x <- c(2, 4, 4, 4, 5, 5, 7, 9)
n <- length(x)

sample_var <- sum((x - mean(x))^2) / (n - 1)
population_var <- sum((x - mean(x))^2) / n

print(sample_var)      # what var(x) gives you
print(var(x))
print(population_var)  # divide by n instead

Dlaczego n − 1? Ponieważ średnia jest szacowana z tych samych danych, odchylenia od tej oszacowanej średniej są systematycznie odrobinę za małe; dzielenie przez n − 1 to koryguje. Dane to prawie zawsze próba z czegoś większego, więc potrzebujesz wersji z n − 1. Jeśli naprawdę masz całą populację (każdego ucznia w klasie, każdy produkt w katalogu), pomnóż: var(x) * (n - 1) / n.

Błąd standardowy średniej

Odchylenie standardowe i błąd standardowy są ciągle mylone, więc trzymaj je osobno: sd opisuje dane, SE opisuje oszacowanie średniej. R nie ma wbudowanego se(), ale wzór to jedna linijka:

mpg <- mtcars$mpg

se <- sd(mpg) / sqrt(length(mpg))
print(se)

Błąd standardowy maleje wraz ze wzrostem próby (cztery razy więcej danych to dwa razy mniejszy SE), bo większa próba dokładniej ustala średnią. Odchylenie standardowe nie maleje z liczebnością próby: samochody są tak zróżnicowane, jak są, niezależnie od tego, ile z nich zmierzysz. SE to podstawowy element przedziałów ufności i tam pokazuje swoją wartość.

summary(): przegląd jednym wywołaniem

summary() daje naraz podsumowanie pięcioliczbowe i średnią, a działa też na całych ramkach danych:

print(summary(mtcars$mpg))

print(summary(mtcars[, c("mpg", "wt", "hp")]))

Wywołane na ramce danych podsumowuje każdą kolumnę: kolumny liczbowe dostają min/kwartyle/średnią/max, a czynniki liczebności dla każdego poziomu. To pierwsza rzecz do uruchomienia na każdym świeżo wczytanym zbiorze danych: niemożliwe wartości (ujemny wiek, maksimum 9999) od razu rzucają się w oczy.

Kwantyle, rozstęp i IQR

quantile() uogólnia medianę na dowolny punkt podziału:

mpg <- mtcars$mpg

print(quantile(mpg))
print(quantile(mpg, probs = c(0.1, 0.5, 0.9)))

print(range(mpg))
print(IQR(mpg))
print(max(mpg) - min(mpg))

Bez argumentów zwraca minimum, kwartyle i maksimum. Przekaż probs =, żeby dostać konkretne punkty podziału: 10. i 90. percentyl powyżej wyznaczają, gdzie leży większość danych. IQR() (odległość między 25. a 75. percentylem) to miara rozrzutu, która w przeciwieństwie do sd() nie daje się szarpać wartościom odstającym. range() zwraca minimum i maksimum jako parę.

Dominanta: mode() w R tego NIE robi

Ta pułapka łapie każdego dokładnie raz. R ma funkcję mode(), ale nie ma ona nic wspólnego ze statystyką: podaje typ przechowywania obiektu:

x <- c(3, 7, 7, 2, 7, 5, 3)

print(mode(x))   # "numeric" - not what you wanted

counts <- table(x)
print(counts)
print(names(which.max(counts)))

Idiom do zapamiętania: table(x) liczy, ile razy występuje każda wartość, which.max() znajduje największą liczebność, a names() wyciąga samą wartość. Zwróć uwagę, że wynik jest napisem (nazwy w tabeli zawsze są napisami); owiń go w as.numeric(), jeśli chcesz na nim liczyć. Jeśli dwie wartości remisują, which.max() po cichu zwraca tylko pierwszą, więc gdy remis jest możliwy, sprawdź tabelę samodzielnie.

Średnia czy mediana: którą podawać

Średnia korzysta z każdej wartości i to jest jej siła i słabość jednocześnie: jedna skrajna wartość ją przesuwa. Medianę obchodzi tylko środek, więc wartości odstające ledwo ją ruszają:

salaries <- c(42000, 45000, 47000, 48000, 51000, 54000, 58000)
print(mean(salaries))
print(median(salaries))

# The CEO joins the dataset:
salaries <- c(salaries, 900000)
print(mean(salaries))
print(median(salaries))

Jedna dodana wartość przesuwa średnią z około 49 300 do ponad 155 000, czyli do liczby, która nie opisuje nikogo w danych, a mediana zmienia się tylko z 48 000 na 49 500. Dlatego dochody, ceny mieszkań i długość pobytów w szpitalu podaje się jako mediany: skośne dane z długim ogonem sprawiają, że średnia wprowadza w błąd. Dla mniej więcej symetrycznych danych obie miary się zgadzają i średnia jest w porządku (a statystycznie nawet efektywniejsza). Szybki histogram powie, z którą sytuacją masz do czynienia, a porównanie średniej z medianą to samo w sobie jednolinijkowy test skośności.

Co warto zapamiętać

• mean(x) i median(x); dodaj na.rm = TRUE, gdy są brakujące wartości.
• sd(x) i var(x) liczą statystykę z próby (mianownik n − 1) i właśnie tego potrzebujesz.
• Błąd standardowy to sd(x) / sqrt(length(x)); mierzy, jak dobrze znasz średnią, a nie jak rozrzucone są dane.
• summary() na świeżej ramce danych to najszybszy test zdrowego rozsądku w R.
• Dominanta to names(which.max(table(x))); mode() w R dotyczy typów przechowywania.
• Dane skośne lub z wartościami odstającymi: podawaj medianę. Dane symetryczne: średnia jest w porządku.

Dalej: mierzenie, jak dwie zmienne zmieniają się razem, czyli korelacja przez cor() i cor.test().