Populatsioon vs. valim

Populatsiooni ehk üldkogumi moodustavad uurimisobjekti kõik esindajad. Enamasti on populatsioon nii suur ja raskesti kättesaadav, et ei ole võimalik uurida kogu populatsiooni. Valim on mingite kriteeriumite alusel tehtud valik uurimisobjektidest, mis uuringus vaatluse alla võetakse ja mille omadusi kogu populatsioonile laiendatakse.

Kõikne uuring: mõõdetakse kõik objektid üldkogumis (nt rahvaloendus).

• Üldkogum ehk populatsioon: objektide hulk, kelle/mille kohta soovitakse järeldusi teha.

• Plussid:

  • täpne info.

• Miinused:

  • töömahukas,
  • kallis,
  • mahukuse tõttu võivad kumuleeruda vead,
  • piiratud sisu.

Valikuuring: vaadeldakse osa (valimit) üldkogumi objektidest, järeldus terviku kohta tehakse selle osa põhjal.

• Valim: osa üldkogumist, mida uuritakse/mõõdetakse.
• Plussid:
  • väiksem maksumus,
  • suurem kiirus,
  • operatiivsus (saab korraldada vastavalt vajadustele),
  • suurem täpsus.
• Miinused:
• jääb sisse juhuslik viga, mis on tingitud valimi juhuslikkusest.

Valimi moodustamine

Valimi põhjal saadud tulemused peaksid olema võimalikult lähedased neile, mida võiksime saada kogu üldkogumit mõõtes.

• Näiteks kui uurida leibkondade elujärge, peavad olema valimisse kaasatud kõik leibkonnatüübid.

Valimi suuruse määrab ülesanne, mida tahetakse lahendada.

Lihtne juhuvalim: igal üldkogumi objektil on võrdne tõenäosus sattuda valimisse.

• Parim variant, aga võib olla liiga töömahukas.

Kihtvalim: üldkogum jagatakse mingi tunnuse alusel kihtideks, igas kihis rakendadakse mingit valikumeetodit (nt juhuvalikut). Valim vastab selle valitud tunnuse alusel üldkogumis valitsevale proportsioonile.

Esindusvalim: valim koostatakse nii, et erinevate võimalike tunnuste proportsioonid on võrdsed.

• Näiteks inimese pikkust uurides võetakse valimisse sama arv mehi ja naisi, noortest vanadeni, igast uuritava üldkogumi piirkonnast jne;
• lihtsam kui juhuvalik;
• on oht, et mingid olulised tunnused jäävad arvestamata.

Mugavusvalim: valimisse kaasatakse need objektid, mida on lihtne küsitleda/mõõta.

• Kõige halvem variant;
• kõige kergemini saadav;
• mõnikord ainuke võimalik variant.

Kirjeldav vs. järeldav statistika

Kirjeldavas andmeanalüüsis kasutatakse meetodeid valimi kirjeldamiseks ja näitlikustamiseks. Kirjeldava statistikana võib valimi kohta välja tuua näiteks keskmised väärtused või andmetes esinenud väärtuste sagedused.
Järeldavas (tõestavas) andmeanalüüsis on meetodid, mis kasutavad valimist saadud tulemusi üldkogumi kohta käivate otsuste ja prognooside tegemiseks. Enamasti kasutatakse tõenäosuslikke teste, et hinnata valimi kuulumist mingisse populatsiooni.

Sageli ei ole uurija huvitatud keskmise taseme arvulisest väärtusest, vaid pigem sellest, kas üldkogumi keskväärtus rahuldab mingit teatud tingimust.

Statistiline hüpotees

Selleks tuleb sõnastada statistiline hüpotees.

• Väide: naised ja mehed on tööturul ebavõrdses olukorras.
• Statistiline hüpotees: naiste ja meeste keskmine palk ei ole võrdne.
  
  
• Väide: mahlapakkides ei ole nii palju mahla kui lubatud.
• Statistiline hüpotees: keskmine mahla kogus pakendis erineb lubatust.

Statistiline hüpotees esitatakse alati hüpoteeside paarina.

• keskmine mahla kogus pakis = 1 liiter (nullhüpotees)
• keskmine mahla kogus pakis ≠ 1 liiter (sisukas/alternatiivne hüpotees)
  
  
• naiste keskmine palk = meeste keskmine palk
• naiste keskmine palk ≠ meeste keskmine palk

Need hüpoteesid on üksteist välistavad, st üks neist peab alati kehtima.

Nullhüpotees H0 ja sisukas hüpotees H1

Nullhüpotees väidab tavaliselt üldkogumi vastavust teatud standardile. See on väide üldkogumi parameetri kohta ja kehtib nii kaua kuni seda pole ümber lükatud. Parameeter tähendab siinjuures mingit populatsiooni iseloomustavad näitajat (nt Eesti meeste keskmine pikkus), mille väärtust me sageli ei tea.
Nullhüpoteesi ei saa tõestada!

Sisukas hüpotees on väide üldkogumi parameetri kohta, mis on tõene siis, kui nullhüpotees osutub valeks.

H0: väide, mida eeldatakse üldkogumis kehtivat
H1: tõestamist vajav hüpotees

Tõenäosus hüpoteeside vastuvõtmisel ja vead

Uurime enamasti populatsiooni, ent mõõdame üldjuhul valimit. Mingi parameetri hinnang valimis on statistik. Statistikameetodite abil ei saa väiteid tõestada absoluutselt kindlasti, alati jääb teatav eksimise võimalus ja juhuslikkusest tulenev eksimus.

p-väärtus ehk olulisuse tõenäosus on see, mida statistilistes testides otsuse langetamiseks kasutatakse. Olulisuse tõenäosus on eksimise risk nullhüpoteesi kummutamisel ja sisuka hüpoteesi vastuvõtmisel.

α (alfa) ehk olulisuse nivoo on maksimaalne lubatud eksimise tõenäosus sisuka hüpoteesi tõestamisel. Maksimaalse vea valib otsustaja, tavaline on α = 0,05, aga olenevalt andmetest ja testist võib see olla ka 0,1 või 0,01.

Alternatiivne definitsioon: olulisuse tõenäosus on tõenäosus, et nullhüpoteesi korral saab saadud tulemuse juhuslikult.

Reegel:

• kui p < α, siis on tõestatud sisukas hüpotees H1;
• kui p > α, siis jäädakse nullhüpoteesi juurde, pole võimalik midagi muud tõestada.

Näiteks kujutame ette, et uurime, kas eesti keele sõnade keskmine pikkus erineb ingliskeelsete sõnade pikkusest (sest nt eesti keeles on rohkem morfoloogiat, ulatuslik sõnamoodustussüsteem jne). Nullhüpotees oleks sel juhul, et mingit erinevust kahe keele sõnade pikkuses ei ole, ning sisukas hüpotees, et erinevus on olemas (ega ole juhuslik).
Võtame selle teadasaamiseks mõlema keele tekstikorpustest välja kõikide nendes esinevate unikaalsete sõnavormide nimekirjad ning leiame kummagi keele kohta sõnade keskmise pikkuse (tähemärkides). Oletame, et lepiksime sellega, kui 5-s juhuslikus valimis 100st (antud juhul sõnade nimekirjade paaris) oleks eesti- ja ingliskeelsete sõnade keskmise pikkuse erinevus oluliselt teistugune kui meie nimekirjade põhjal, aga samas 95-s valimis oleks see meie omale sarnane. α on seega 0,05.
Kui nüüd kahe grupi keskmisi võrdleva testi p-väärtus oleks 0,03, siis tõenäosus, et statistiline test eksib ja valimist saadud keskmiste erinevuse statistik ei kehti üldkogumis ehk populatsioonis (ehk ka kõikide nende vaatluste kohta, mis meie valimisse ei sattunud), on 3%. Kuna p < α, võtame vastu sisuka ehk alternatiivse hüpoteesi selle kohta, et eestikeelsete ja ingliskeelsete sõnade pikkused on keskmiselt erinevad, ning hülgame nullhüpoteesi, mille kohaselt kahe keele sõnade keskmised pikkused on samasugused.

Ühe- ja kahepoolsed hüpoteesid

Kahepoolne hüpotees: uurijad tahavad näidata lihtsalt keskmise erinevust nende valitud konstandist/teisest keskmisest.

• H0: keskmine = a VÕI keskmine1 = keskmine2
• H1: keskmine ≠ a VÕI keskmine1 ≠ keskmine2

Kui aga teooriast on teada, milline see erinevus peaks olema, siis saab kontrollida ühepoolset hüpoteesi.

• H0: keskmine > a VÕI keskmine1 > keskmine2
• H1: keskmine < a VÕI keskmine1 < keskmine2

Normaaljaotus

Normaaljaotus iseloomustab tunnust, mille puhul suur hulk väärtusi koonduvad keskmise ümber, keskmisest oluliselt erinevaid väärtusi on vähe ning need jaotuvad keskmisest ühtlaselt mõlemale poole. Vt Galtoni seemnesorteerija, mis genereerib normaaljaotusega hunnikuid: https://en.wikipedia.org/wiki/Bean_machine

Miks normaaljaotus nii hea on?

• Langevad kokku keskmine ja mediaan.
• Keskmisest ühe standardhälbe kaugusel on 68% vaatlustest, kahe standardhälbe kaugusel 95% vaatlustest ja kolme standardhälbe kaugusel 99% vaatlustest.

…sest see on kirjeldatav kahe arvuga

Kui me teame teame keskmist ja standardhälvet, siis me võime tuletada kõigi teiste punktide väärtused.

Näiteks kui meil on (hüpoteetiliselt) klassitäis lapsi (ütleme nt 32 last), kelle keskmine pikkus on 150 cm ja standardhälve on 10 cm,

• siis on üsna tõenäone, et nad jäävad vahemikku 120-180 cm (st 3 standardhälvet kummalegi poole keskmist)
• ja tõenäoselt mitte rohkem kui 5 last on lühemad kui 140 cm ja mitte rohkem kui 5 last pikemad kui 160 cm (68% jäävad ±1 standardhälbe piiresse, seega 100-68=32% jäävad sellest välja, sellest pooled ehk 16% jäävad sellest allapoole ning sama palju sellest ülespoole, 32-st 16% on 5.12).

Näiteks: genereerime vektori 32 väärtusega, mis on normaaljaotusega, keskmine 1.5 ja standardhälve 0.1

pikkus <- rnorm(n=32, mean=1.5, sd=0.1)
summary(pikkus)
##    Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
##   1.266   1.447   1.497   1.498   1.561   1.702

sd(pikkus)
## [1] 0.1049028

NB! Kuna rnorm() genereerib väärtused juhuslikult, siis on tulemus iga kord erinev!

hist(pikkus)

Juhuslik valim ei pruugi alati ideaalselt normaaljaotusega olla

par(mfrow=c(2,5))
for(i in 1:10) hist(rnorm(32 ,1.5, 0.1), xlim=c(1.2, 1.8), breaks = 10)

aga mida suurem valim, seda rohkem läheneb normaaljaotusele:

par(mfrow=c(2,5))
for(i in 1:10) hist(rnorm(2^i ,1.5, 0.1), xlim=c(1.2, 1.8), main=paste(2^i, "punkti"))

Histogramm

Histogrammi vaadates näeb (enam-vähem), kas jaotus on sümmeetriline. See ei ole mingi lollikindel test, aga annab esmase ülevaate.

hist(pikkus)

Kvantiilide võrdlemine

Üks võimalus on võrrelda andmete kvantiiljaotust. Kas teoreetiline ja tegelik jaotus lähevad kokku?

qqnorm(pikkus)
qqline(pikkus)

Shapiro-Wilk’i test

Shapiro testi nullhüpotees on et valim on pärit normaaljaotusega populatsioonist. Tulemus on p-väärtus, mis on tõenäosuslik hinnang. Kuna pikkus on juhuslikult genereeritud, siis on väärtused iga kord erinevad, aga näiteks kui p = 0.5863, siis võib öelda, et 58% tõenäosusega on tegu normaaljaotusega. Tulemuse tõlgendamisel on tavaliselt α = 0.05 ehk et kui on p > 0.05, võib otsustada, et on normaaljaotus, kui on p < 0.05, siis ei ole. p-väärtuse tõlgendamine selles testis käib seega teistpidi kui teistes testides.

shapiro.test(pikkus)

## 
##  Shapiro-Wilk normality test
## 
## data:  pikkus
## W = 0.97697, p-value = 0.7078

Veel näiteid

Proovime sama kursuse kysimustik andmestiku peal:

• Millistelt tunnustelt võiks üldse normaaljaotust eeldada?
• Vaata nende tunnuste histogrammi, qq-graafikut ja tee Shapiro test.
• Kas andmed on normaaljaotusega?