MET2 Statistikk for økonomer

Hei og velkommen til kvelden før eksamen i statistikk for økonomer den neste timen skal vi gå sammen gjennom hele pensum, men på en helt annen måte enn du har sett det før. Før vi starter, vil jeg bare takke Dagens sponsor macken av AS. De er et programvarehus og konsulentselskap med kontorer i Bergen. Om du er interessert i deltidsstilling ved siden av studiene, sjekk mackenna.no skråstrek NHH for mer informasjon. Det staves MATCHIN ã punktum NO skråstrek NHH. Vi skal snakke om hvordan dette faget egentlig henger sammen, slik at du kan møte eksamen i morgen med ro i kroppen og tillit til at du faktisk skjønner hva du holder på med. La meg begynne med å si noe viktig. Statistikk handler dypest sett om en ting, og det er hvordan vi kan si noe fornuftig om noe vi ikke vet sikkert. Det er hele kjernen. Verden er full av usikkerhet. Vi vet ikke nøyaktig hvor mange som vil stemme på et bestemt parti. Vi vet ikke nøyaktig hvor mye et produkt vil selge. Vi vet ikke om en ny medisin faktisk virker eller om resultatene vi ser bare er tilfeldigheter. Statistikk er verktøykassa vi bruker for å trekke fornuftige konklusjoner i en verden der vi aldri har full informasjon. Og når du tenker på det på den måten, så blir hele pensum mye lettere å huske for alt vi gjør i dette faget kan deles inn i 2 store bolker. Den første bolken handler om å forstå tilfeldighet. Hva betyr sannsynlighet? Hvordan oppfører tilfeldige størrelser seg, hva slags mønstre kan vi forvente når noe skjer mange ganger? Den andre bolken handler om å trekke konklusjoner fra data når vi har samlet inn noen tall. Hva kan vi egentlig si om virkeligheten ut fra dem? Bokens forfatter ube har en setning jeg elsker. Han sier at noen ganger føles statistikk som har skyte en spurv med en kanon. Med det mener han, at vi bygger opp et stort, kraftig maskineri av teori, og så bruker vi det til å svare på enkle spørsmål. Men det er nettopp den styrken som er poenget. Når vi først har bygget maskineriet, så kan vi bruke det på alt mulig. Det er derfor statistikk er så nyttig for økonomer. Du kommer til å bruke disse tankesettene resten av karrieren din. Nå skal jeg være ærlig med deg på eksamen i morgen vil sensor lete etter noen helt spesifikke ting. Sensor vil se at du forstår forskjellen mellom en populasjon og et utvalg. Sensor vil se at du kan forklare hva en sannsynlighet er ikke bare regne med den sensor vil se at du kan velge riktig sannsynlighetsmodell for en gitt situasjon, og at du kan begrunne valget. Ditt. Sensor vil se at du forstår hva en hypotesetest faktisk gjør og hva en p verdi faktisk betyr. Og sensor vil belønne deg veldig godt hvis du tolker resultatene dine, ikke bare regner dem ut. Det er denne tolknings biten som skiller de gode besvarelsene fra de svært gode. Du kan godt få regnet riktig og likevel få trekk hvis du ikke setter ord på hva svaret betyr og motsatt. Hvis du regner litt feil, men viser at du forstår sammenhengende, så får du som regel godt med poeng likevel. Sensor er på din side. De vil at du skal vise hva du kan. I løpet av denne timen skal jeg gå systematisk gjennom alt pensum. Vi starter helt grunnleggende med beskrivende statistikk. Det er liksom selve fundamentet. Så jobber vi oss opp gjennom sannsynlighetsregning, kombinatorikk, betinget sannsynlighet, tilfeldige variabler, fordelinger, estimering, hypotesetesting og helt til slutt regresjonsanalyse. Underveis kommer jeg til å peke på de typiske fellene studenter går i, og hva sensor virkelig setter pris på i besvarelsene. Du trenger ikke notere noe. Du trenger ikke følge med på formler bare lytt og la sammenhengende synke inn. Det er nettopp slik hjernen din lærer best kvelden før eksamen ved å se det store bildet og la brikkene falle på plass av seg selv. La oss begynne med fundamentet, nemlig beskrivende statistikk og hva det egentlig betyr å beskrive et datasett beskrivende statistikk er det første kapittelet i pensum, og det er fristende å avfeie det som enkelt. Men la deg ikke lure her ligger noen veldig viktige begreper som hele resten av faget bygger på, og som sensor forventer at du har helt under huden. La oss starte med selve grunnideen når vi har samlet inn et knippe tall, så ønsker vi å beskrive dem på en måte som gir mening. Vi vil ikke ramse opp alle tallene en for en vi vil oppsummere dem, og når vi skal si oppsummere et datasett, så er det egentlig 2 ting vi vil vite. Vi vil vite hvor tyngdepunktet ligger, og vi vil vite hvor spredt tallene er rundt det tyngdepunktet. Tyngdepunktet beskriver vi som regel med gjennomsnittet. Gjennomsnittet er det viktigste tallet i statistikk, og det er ingen overdrivelse. Det forteller deg hva den typiske verdien i datasettet er, men gjennomsnittet alene er ikke nok. Tenk på det slik. Hvis jeg sier at gjennomsnittstemperaturen ett sted er behagelig, så vet du fortsatt ikke om det er behagelig fordi det alltid er behagelig eller om det er behagelig fordi det vekselvis er iskaldt og kokende varmt. Og det er nettopp her spredningen kommer inn. Spredningen måler vi med varians og standardavvik disse 2 henger tett sammen, og det er viktig å huske hvorfor vi har begge. Variansen tar avvikene fra gjennomsnittet og kvadrerer dem. Det gjør vi for at positive og negative avvik ikke skal nulle ut hverandre. Men problemet med variansen er at den er i kvadrerte enheter, så hvis vi måler høyde i centimeter, så blir variansen i kvadratcentimeter, noe som ikke gir intuitiv mening. Derfor tar vi kvadratroten og får standardavviket som er tilbake i de opprinnelige enhetene standardavviket forteller det er det typiske avviket fra gjennomsnittet. Det er en størrelse du kan kjenne på et viktig poeng som er lett å glemme når vi snakker om utvalgsvarians, så deler vi på antall observasjoner minus én. Ikke på antall observasjoner den lille detaljen er der av en grunn. Den er der fordi vi har brukt opp en frihetsgrad når vi regnet ut gjennomsnittet. Sensor liker når du viser at du vet hvorfor, så har vi median kvartiler og modus median er midtverdien i datasettet når du har sortert tallene. Den er nyttig fordi den er robust, mens gjennomsnittet kan dras kraftig i en retning av ekstreme verdier, så lar medianen seg ikke påvirke av det. Tenk på inntekt hvis du har 10 vanlige folk og en milliardær i samme rom. Så blir gjennomsnittet helt skeivt, mens medianen fortsatt gir et godt bilde av hva en vanlig person tjener. Kvartiler er bare medianer av halvdelene. Første kvartil er midt i den nedre halvdelen. Tredje kvartil er midt i den øvre halvdelen. De gir deg en følelse av hvordan tallene fordeler seg. Modus er den observasjonen som forekommer hyppigst modalt prosent forteller deg hvor stor andel av observasjonene som har akkurat modus verdien. Disse 2 brukes når gjennomsnittet ikke gir mening, for eksempel når du har kategoriske data eller når fordelingen er veldig skeiv nå over til noe veldig viktig som ofte dukker opp på eksamen, nemlig covariance og korrelasjon. Begge handler om samvariasjon mellom 2 størrelser. Hvis høye verdier av den ene som regel går sammen med høye verdier av den andre, så har vi positiv samvariasjon hvis høye verdier i den ene henger sammen med lave verdier i den andre, så har vi negativ samvariasjon. Kovariansen måler dette, men den har et problem. Den er avhengig av enhetene vi måler i. Derfor finnes korrelasjonskoeffisienten. Som er en standardisert utgave. Korrelasjonen er alltid et tall mellom minus en og pluss en tett opp til pluss én betyr sterk positiv lineær samvariasjon tett opptil minus én betyr sterk negativ lineær samvariasjon tett opp mot null betyr at det ikke er noen lineær sammenheng, og her kommer en klassisk eksamens felle. Korrelasjon er ikke det samme som kausalitet, bare for de 2 ting varierer sammen, betyr det ikke at den ene forårsaker den andre. Det kan være at de begge påvirkes av en tredje faktor. Eller det kan være ren tilfeldighet hvis du bruker tid på å nevne dette i en eksamensbesvarelse, så viser du modenhet i tenkningen din og sensor merker seg det det siste konseptet. Vi må ha klart for oss er forskjellen på populasjon og utvalg. Populasjonen er alle mulige observasjoner vi kunne tatt med utvalget er de vi faktisk har. På en meningsmåling er populasjonen hele befolkningen, mens utvalget er de få 1000 som faktisk ble spurt hele poenget med statistisk inferens som er et av de sentrale begrepene i faget, er nettopp å bruke utvalget til å si noe om populasjonen, men det forutsetter at utvalget er representativt. Hvis du bare spør folk på ett bestemt sted, så får du ikke et representativt bilde av hele befolkningen. Nå har vi grunnmuren på plass. Neste steg er å forstå hva sannsynlighet egentlig er. Sannsynlighetsregning er nervesystemet i hele dette faget. Alt vi gjør senere fra hypotesetesting til regresjon hviler på at vi har en solid forståelse av hva sannsynlighet er og hvordan vi regner med den, så her må vi være grundige. La oss begynne med selve byggesteinen, nemlig utfallsrommet. Et utfallsrom er rett og slett mengden av alle mulige utfall i et tilfeldig eksperiment. Hvis du kaster en terning så er utfallsrommet 1, 2, 3, 4, 5 og 6. Hvis du kaster en mynt, så er det krone eller mynt. Veldig enkelt, men det er 2 krav som må være oppfylt for at en liste skal kunne kalles et utfallsrom. Listen må dekke alle mulige utfall og utfallene må utelukke hverandre. Det vil si at hvis ett utfall inntreffer, så kan ikke et annet inntreffe samtidig. Du kan ikke få både en treer og en femmer på samme terningkast. Dette virker opplagt, men det er overraskende lett å bryte disse reglene når du skal sette opp et utfallsrom selv, så vær obs. Sannsynlighet er et tall mellom null og én som forteller hvor sannsynlig et bestemt utfall er. Tenker du på det som relativ frekvens i det lange løp, så er det jo helt på sporet. Hvis du kaster en mynt mange ganger, så vil andelen kron nærme seg en halv etter hvert vil rart og 2 grunnregler må alltid være oppfylt. Hver enkelt sannsynlighet må ligge mellom null og én, og summen av alle sannsynlighetene i utfallsrommet må bli en. Hvis dette ikke stemmer, så har du gjort en feil et sted. En begivenhet er en delmengde av utfallsrommet. Hvis vi kaster en terning og lurer på sannsynligheten for å få et par tall, så er begivenheten alle partall altså 2, 4 og 6. Vi finner sannsynligheten ved å summere sannsynlighetene til hvert enkelt utfall i begivenheten. Når alle utfall er like sannsynlige, så kaller vi det uniform sannsynlighet. Da har vi en veldig hendig regel, nemlig at sannsynligheten for en begivenhet bare er antall gunstige utfall delt på antall mulige utfall. Det er denne regelen vi bruker mest når vi løser oppgaver med terningkast kortstokker og lignende. Nå må vi snakke om mengde operasjoner før det dukker opp hele tiden. Snitt mellom 2 begivenheter det vi skriver med en form for hatt. Det er begivenheten at begge inntreffer samtidig. Union det vi skriver med en urform. Det er begivenheten at minst en av dem inntreffer. Kompliment er bare det motsatte av en begivenhet. Hvis a er at det regner, så er komplimentet til å at det ikke regner, og så har vi 2 enormt viktige regneregler. Den første er addisjons prinsippet. Sannsynligheten for at a eller b inntreffer er lik sannsynligheten for a pluss sannsynligheten for b minus sannsynligheten for at begge inntreffer samtidig. Hvorfor trekker vi fra snittet? Fordi når vi legger sammen sannsynligheten for a og sannsynligheten for b, så har vi telt snittet 2 ganger. Vi må trekke fra en gang for å rette opp. Den andre regelen er negasjonen prinsippet. Sannsynligheten for at noe ikke skjer er en minus. Sannsynligheten for at det skjer. Denne er enkel, men utrolig nyttig. Veldig ofte er det lettere å regne ut komplimentet enn selve begivenheten. Hvis du for eksempel skal finne sannsynligheten for å få minst en sekser i 5 terningkast, så er det mye lettere å regne ut. Sannsynligheten for å få ingen seksere og så trekke fra en her er et tips fra eksamens livet når du møter en sannsynlighets oppgave. Spør deg selv først om det er lettere å regne på det motsatte. Ordet minst er ofte et hint om at du bør bruke negasjonen. Prinsippet likeså med ord som minst én eller ikke alle. En vanlig felle er at studenter glemmer å trekke fra snittet i addisjons prinsippet. De legger sammen 2 sannsynligheter og får et svar over en og blir forvirret. Hvis du noen gang får en sannsynlighet større enn en, så vet du med sikkerhet at du har gjort en feil. Det er som en intern alarm i hjernen din. En en annen vanlig felle er at studenter forveksler snitt og union. Husk at snitt er strengere. Snitt krever at begge skjer union er rausere. Union krever bare at minst en skjer derfor er sannsynligheten for unionen alltid større enn eller lik sannsynligheten for snittet. Et siste poeng før vi går videre. Hvis 2 begivenheter ikke kan inntreffe samtidig, så sier vi at de er disjunkte. Da er snittet tomt og sannsynligheten for unionen er bare summen av de 2. Det forenkle beregningene mye, men du må passe på at begivenhetene faktisk er disjunkte før du bruker den forenklingen med sannsynlighetsregning ens grunnsteiner på plass, kan vi nå gå over til kombinatorikk som ofte er kjent som det skumle kapittelet, men ikke vær redd. Det er egentlig bare en Serie med ulike måter å telle på kombinatorikk høres avansert ut, men i bunn og grunn så handler det bare om å telle på smart måte. Vi skal telle antall mulige måter å plukke ut eller arrangere ting på. Og hele kunsten er å vite hvilken telleregelen som passer i hvilken situasjon. Sensor merker veldig fort på besvarelsen om du har skjønt prinsippene eller om du bare prøver formler i blinde. Det er 2 spørsmål du må stille deg hver eneste gang du møter en kombinatorikk oppgave først spiller rekkefølgen en rolle. Med andre ord er det forskjell på trekke a først og b etterpå, eller å trekke b først og å etterpå, og dernest legger vi tilbake det vi har trukket eller ikke. Med disse 2 spørsmålene som kompass navigerer du gjennom hele kombinatorikk den. La oss ta de 3 hoved tilfellene som er pensum. Det første tilfellet er ordnet utvalg med tilbakelegging. Det betyr at rekkefølgen spiller en rolle, og vi legger tilbake hver gang et klassisk eksempel er å lage en pinkode. Hver siffer er et trekk fra mengden null til 9 rekkefølgen betyr alt, og vi kan godt bruke samme siffer flere ganger. Antall mulige pinkoder med 4 siffer er 10 ganger det med 10 ganget med 10. Ganget med 10 generelt. Hvis du har en mengde med flere objekter og skal velge noen av dem ordnet med tilbakelegging, så er det bare å gange antallet objekter med. Selv så mange ganger som du gjør, trekk. Det andre tilfellet er ordnet utvalg uten tilbakelegging. Her spiller rekkefølgen fortsatt en rolle, men vi legger ikke tilbake. Tenk på en stafett der vi skal velge ut den første løper en andre løper og en tredje løper fra en gruppe rekkefølgen betyr alt, og du kan ikke velge samme person 2 ganger. På kalkulatoren bruker du knappen som heter NPR der n er antall objekter du velger fra og r er antall du plukker ut. Det tredje tilfellet er uordnet utvalg uten tilbakelegging. Her er rekkefølgen likegyldig, og vi legger ikke tilbake. Det klassiske eksemplet er å trekke ut en jury eller en komite. Det spiller ingen rolle om per ble valgt for lise eller etter så lenge begge er med på kalkulatoren bruker du knappen som heter NCR. Det fjerde tilfellet uordnet utvalg med tilbakelegging er ikke pensum i dette faget, så det kan du la ligge en liten huskeregel som hjelper veldig når rekkefølgen ikke spiller noen rolle, så får du færre kombinasjoner enn når den gjør det. Det er logisk, for hvis vi ikke bryr oss om rekkefølgen, så blir flere arrangementer egentlig det samme. Derfor er svaret med en c er alltid mindre enn eller likt svaret med NPR. Nå over til selve eksamens trikset? Når du regner sannsynlighet med kombinatorikk, så bruker du som regel regelen om uniform sannsynlighet, altså gunstige delt på mulige. Mulige er totalt antall måter og gunstige er antallet som svarer til det du spør om. Og her er nøkkelen du må bruke samme telle prinsipp i teller og nevner hvis du teller mulige med uordnet utvalg, så må du telle gunstige med uordnet utvalg også. Hvis du blander, så blir svaret galt. Et veldig vanlig eksempel er trekninger fra en kortstokk eller utvelgelser av varer fra et lager der noen er defekte. Et lager har for eksempel et visst antall enheter, hvorav noen er defekte. Vi trekker ut noen til kontroll. Hva er sannsynligheten for at akkurat så mange av de utvalgte er defekte? Tankegangen er alltid lik velge ut riktige fra de defektene. Velg ut riktige fra de hele ganget. Det er gunstige mulige er alle måter å velge utvalget det på. Del gunstige på mulige og du har sannsynligheten. Sortering er også verdt å nevne hvis du har et visst antall ulike objekter og skal sortere dem, så er antall mulige rekkefølger gitt ved fakultet av antallet fakultet betyr at du ganger sammen alle hele tall fra én og opp til det aktuelle tallet. Det vokser veldig fort. Allerede med 10 objekter er det over 3 millioner mulige rekkefølger. Det er denne enorme veksten som gjør at vi ikke kan løse mange problemer ved bare å liste opp alle muligheter. Vanlige eksamens feller og passe på. For det første blanding av telle prinsipper i samme oppgave, det jeg nettopp nevnte. For det andre å glemme at trekking uten tilbakelegging endrer sannsynligheten for hvert nye trekk, mens trekking med tilbakelegging holder sannsynligheten konstant. For det tredje og ikke skille mellom om vi ser etter et bestemt arrangement eller bare en bestemt kombinasjon. Mitt råd til deg på eksamen er at du skal skrive ned hva slags utvalg du har valgt. Skriv eksplisitt at det er ordnet eller uordnet med eller uten tilbakelegging. Det viser sensor at du tenker bevisst, og det hjelper deg selv å holde tråden. Det er også en god vane å sjekke svaret ditt mot intuisjonen. Hvis svaret blir absurd stort eller absurd lite så har du sannsynligvis brukt feil prinsipp med kombinatorikk under kontroll, så er vi klare for å gå dypere inn i et tema som er minst like viktig på eksamen, nemlig betinget sannsynlighet. Betinget sannsynlighet er et kapittel som sensor virkelig elsker å teste på. Her skiller du som forstår intuisjonen ut fra de som bare prøver å huske formler? La oss bygge dette opp Stein for Stein. Hva er en betinget sannsynlighet egentlig? Det er sannsynligheten for at noe skjer, gitt at vi allerede vet at noe annet har skjedd. Tenk på det slik hvis jeg spør hva sannsynligheten er for at en tilfeldig person i Norge har vondt i ryggen i dag, så blir det ett tall. Men hvis jeg spør hva sannsynligheten er for at en tilfeldig person har vondt i ryggen, gitt at vi vet personen er over 80 år, så blir det et helt annet. Tall informasjon endrer sannsynligheter. Det er hele poenget. Den grunnleggende formelen sier at sannsynligheten for a gitt b er lik sannsynligheten for snittet av A og B delt på sannsynligheten for b. Intuisjonen er at vi tar bort hele utfallsrommet og bare fokuserer på den delen der b har skjedd. Innenfor den nye mindre verden ser vi hvor stor del av den som a også dekker. Vi kan også snu det rundt og se på sannsynligheten for b gitt a disse 2 størrelsene sannsynligheten for a gitt b og sannsynligheten for b gitt a er ikke det samme, ikke i det hele tatt. Dette er en av de vanligste for vekslingene på eksamen, så hør godt etter. Tenk på et lege eksempel, sannsynligheten for at du har en sjelden sykdom gitt attesten er positiv er noe helt annet enn sannsynligheten. Fra testen er positiv gitt at du har sykdommen den ene er det pasienten lurer på. Den andre er en egenskap ved selve testen. Og det er nettopp her bais lov kommer inn som en redningsplanke. Base lov lar deg snu betingelsen på hodet. Når du møter denne typen oppgave på eksamen, så er det nettopp dette mønsteret du må kjenne igjen. Du får oppgitt en betinget sannsynlighet i den ene retningen, og du skal finne den i den andre retningen. Så kommer vi til et annet, veldig viktig prinsipp oppsplitting prinsippet, også kalt loven om total sannsynlighet. Tanken er at vi noen ganger ikke vet sannsynligheten for at a skjer direkte, men vi vet sannsynligheten for å under ulike betingelser. Hvis vi har flere mulige scenarier som dekker hele utfallsrommet og ikke overlapper, så kan vi summere sannsynligheten for å under hvert scenario vektet med sannsynligheten for at scenarioet inntreffer. Et klassisk eksempel er en fabrikk med 2 maskiner. Maskin en produserer en viss andel av varene. Maskin 2 produserer resten hver maskin har sin egen feilrate. Hva er den totale sannsynligheten for at en tilfeldig våre er defekt? Du går via begge maskinene. Sjansen for at varen kommer fra maskin en ganget med feilraten på maskin en pluss sjansen for at varen kommer fra maskin 2 ganget med feilraten på maskin 2. En veldig god strategi i denne typen oppgaver er å tegne sannsynlighets 3. Du har et startpunkt og fra det går grener ut til de ulike scenariene og fra hvert scenario går nye grener ut til de ulike utfallene. Når du multipliserer langs en gren fra Start til slutt, så får du sannsynligheten for den spesifikke veien gjennom treet. Og når du summerer over alle veiene som leder til samme sluttresultat, så får du den totale sannsynligheten. 3 er en utrolig kraftfull metode på eksamen, fordi det gjør abstrakt resonnement til noe visuelt. Hvis du føler deg forvirra tegnet 3, da blir det som regel klart. La oss snakke litt om uavhengighet som henger tett sammen med betinget sannsynlighet. 2 begivenheter er uavhengige. Hvis det at den ene skjer ikke endrer sannsynligheten for at den andre skjer. Det betyr at sannsynligheten for snittet er lik produktet av de 2 enkeltvise sannsynlighetene. Mange studenter forveksler uavhengighet med disse punktet disjunkte begivenheter er begivenheter som ikke kan skje samtidig. Uavhengige begivenheter er begivenheter der kunnskap om den ene ikke gir kunnskap om den andre. Disse er ikke det samme. Faktisk hvis 2 begivenheter er de syngte og begge har positiv sannsynlighet, så er de aldri uavhengige. Hvis A og B er det sugte og du vet at a har skjedd, så er sannsynligheten for b nå null. Det er en endring fra utgangspunktet, så de er avhengige. Den klassiske eksamensoppgaven i dette kapittelet pleier å være en kombinasjon av oppsplitting, prinsippet og bis lov. Du får en situasjon med 2 eller 3 scenarier du regner ut den totale sannsynligheten for et utfall, og så blir du bedt om å snu betingelsen. Når du møter denne typen oppgave, ta deg tid til å sortere informasjonen. Hva er gitt? Hva skal jeg finne? Hvilke betingede sannsynligheter har jeg og hvilken vei peker de? Når du har tatt deg tid til å sortere, så går resten av seg selv. Nå tar vi steget over til tilfeldige variabler. Dette er et helt sentralt konsept som du må ha helt under huden. For det danner språket vi bruker resten av faget. En tilfeldig variabel er en størrelse som kan ta forskjellige verdier avhengig av utfallet i et tilfeldig eksperiment bruker vi terningkast som eksempel, så er antall øyne en tilfeldig variabel. Den kan være 1, 2, 3, 4, 5 eller 6, men før du kaster terningen så vet du ikke hvilken den blir. Vi pleier å bruke store bokstaver for tilfeldige variabler, mens vi bruker små bokstaver for konkrete verdier. Til hver tilfeldig variabel hører en sannsynlighetsfordeling. Den forteller deg hvor sannsynlig hver verdi er. For en terning er fordelingen veldig enkel. Hver av de 6 verdiene har sannsynlighet 1/6, men i mer interessante tilfeller er fordelingen ulik for ulike verdier. Nå kommer vi til 2 begreper som er helt essensielle resten av faget. Forventning og varians forventning er det vi pleier å kalle gjennomsnittet i det lange løp. Hvis du gjentar eksperimentet uendelig mange ganger og noterer alle verdiene, så vil gjennomsnittet av disse nærme seg i forventningen. Forventningen er summen av alle mulige verdier hver vektet med sin sannsynlighet. For en terning er forventningen 3,5. Du kan aldri faktisk få 3,5 på et kast, men over mange kast vil snittet ligge nær der det er noen regneregler for forventning som det er helt avgjørende å kunne. For det første forventningen til en sum er summen av forventningene alltid uten unntak. Dette er det vi kaller linearitet, og den er kraftig fordi den gjelder selv når variablene ikke er uavhengige. For det andre forventningen til en konstant er bare konstanten selv. For det tredje, hvis du ganger en variabel med en konstant så ganges forventningen med samme konstant varians er derimot avviket fra forventningen. Tenk på den som standardavviket i kvadrat. Den måler hvor mye variabelen typisk svinger rundt forventningen. Hvis variansen er null, så er variabelen egentlig ikke tilfeldig i det hele tatt. Den er en konstant stor varians, betyr mye spredning og mye usikkerhet. Det finnes en alternativ måte å regne ut variansen på som er svært nyttig. Variansen er forventningen av variabelen i kvadrat minus forventningen i kvadrat. Disse 2 er ikke det samme, og det er hele poenget. Forskjellen mellom dem er nettopp variansen. Også for varians har vi regneregler, men her må du være forsiktig. Variansen av en konstant er null, ikke konstanten selv hvis du legger til en konstant til variabelen, så endrer det ikke variansen seg fordi du bare flytter hele fordelingen ikke endrer spredningen. Men hvis du ganger variabelen med en konstant så ganges variansen med kvadratet av konstanten. Det er fordi variantene som måles i kvadrerte enheter. Standardavviket er kvadratroten av variansen, og det er gjerne lettere å tolke fordi det er i samme enheter som selve variabelen. La oss nå utvide til 2 variabler samtidig det vi kaller simultane sannsynlighetsfordelinger. Hvis vi har 2 tilfeldige variabler, så har vi en simultanfordelingen som forteller oss hvor sannsynlig hver kombinasjon av verdier er. Tenk på et bord der rådene er verdier av en variabel og kolonnene er verdier av den andre. Hver celle har en sannsynlighet, og alle disse skal summere seg til en hvis du legger sammen langs radene, så får du marginalfordelingen til den ene variabelen. Hvis du legger sammen langs kolonnene, så får du marginalfordelingen til den andre. Marginalfordelingen er bare fordelingen til. En variabel alene, uavhengig av hva den andre er for 2 variabler kan vi snakke om kovarians og det er nøyaktig samme ide som vi hadde i beskrivende. Statistikk. Positiv kovarians betyr at høye verdier av den ene henger sammen med høye verdier av den andre negativ kovarians betyr det motsatte null kovarians betyr ingen, lineær samvariasjon og vi kaller dem da ukorrelerte. Det finnes en svært viktig regel hvis 2 variabler er uavhengige, så er forventningen av produktet lik produktet av forventningene. Pass på her for det omvendte gjelder ikke. Hvis forventningen av produktet er lik produktet av forventningene, så er de ukorrelerte, men ikke nødvendigvis uavhengige. Ukorrelerte er en svakere betingelse, en uavhengig korrelasjonskoeffisienten er igjen den standardiserte utgaven av kovariansen, og den ligger mellom minus en og pluss én vanlige eksamensfester. Her er at studenter glemmer å ta hensyn til om variablene er uavhengige før de bruker visse regler eller de roter med variants formelen og glemmer at konstanter. Må klareres når de tas ut. Nå skal vi se på de spesifikke fordelingene som dukker opp i pensum fordi det er der mye av eksamen ligger sentrale sannsynlighetsfordeling. Her er kanskje det viktigste kapittelet før eksamen sensor forventer at du kjenner igjen hvilken situasjon som svarer til hvilken fordeling og at du klarer å forklare hvorfor. Vi går gjennom dem en etter en med fokus på når og hvorfor de brukes. La oss begynne enkelt med indikator fordelingen. Den er den aller enkleste fordelingen som finnes. Variabelen tar bare 2 verdier, null eller én. Den tar verdien én med en viss sannsynlighet og null med resten av sannsynligheten. Tenk på en indikator som et flagg som forteller om noe skjedde eller ikke. Forventningen blir lik sannsynligheten for en, og variansen blir denne sannsynligheten ganger med komplementet. Det er enkelt, men det er bygget. Vi setter alt annet opp på, nå kommer vi til den fordelingen som dukker opp aller oftest. Nemlig den binomiske fordelingen den oppstår når du gjentar et indikator eksperiment et bestemt antall ganger og teller hvor mange ganger du fikk suksess. Tenk på myntkast hvis du kaster en mynt et bestemt antall ganger og teller antall krone, så er antallet binomisk fordelt for at en situasjon skal være binomisk, må 4 krav være oppfylt. Hvert forsøk har bare 2 mulige utfall, suksess eller fiasko. Sannsynligheten for suksess må være den samme i alle forsøk. Alle forsøk må være uavhengige av hverandre, og antall forsøk er fastsatt på forhånd. Sensor liker veldig godt når du sjekker av disse 4 kravene før du erklærer at noe er binomisk. Det viser at du tenker bevisst og ikke bare velger en formel fordi den ser kjent ut. Forventningen til en binomisk variabel er rett og slett antall forsøk ganger sannsynligheten for suksess. Det gir intuitiv mening hvis du kaster en mynt 100 ganger og sannsynligheten for kronen er en halv, så forventer du 50 kr. Helt logisk. Variansen er antall forsøk ganger sannsynligheten for suksess ganger en minus. Sannsynligheten for suksess. Du legger merke til at dette er bare indikatorer variansen ganget med antall forsøk, og det er fordi variansen til en sum av uavhengige indikatorer er summen av deres varianser nå over til en fordeling som ofte forveksles med binomisk, men som er fundamentalt forskjellig. Den hypergeometriske fordelingen. Tenk på følgende situasjon, du har en grunn mengde som består av et visst antall objekter, hvorav noen er av en spesiell type. Du trekker ut noen objekter uten å legge dem tilbake. Antall spesielle objekter i utvalget. Dette er hypergeometrisk fordelt. Hva er forskjellen fra binomisk? Det er trekking uten tilbakelegging. I binomisk situasjon er sannsynligheten for suksess konstant, fordi forsøkene er uavhengige i hypergeometrisk situasjon endrer sannsynligheten seg for hvert trekk, fordi det du allerede har trukket påvirker hva som er igjen i mengden. Et klassisk eksempel er kvalitetskontroll. Du har et parti varer. Noen av dem er defekte. Du tar et utvalg uten tilbakelegging. Antall defekter i utvalget er hypergeometrisk en tommelregel som hjelper deg på eksamen. Hvis problemet sier eksplisitt trekking uten tilbakelegging fra en endelig mengde, så er det hypergeometrisk. Hvis problemet sier uavhengige forsøk med konstant sannsynlighet, så er det binomisk. Hvis du trekker fra en så stor mengde at det å trekke noen få knapt påvirker proporsjonene, da kan du tilnærme hypergeometrisk med binomisk, men sensor vil som regel se at du gjør valget bevisst. Forventningen til en hypergeometrisk variabel er ganske intuitiv. Den er antall trekk ganget med andelen spesielle i grunn mengden. Variansen er mer komplisert fordi den har en korreksjonsfaktor for at vi trekker uten tilbakelegging, men selve grunnformelen er enkel. Så har vi på sånn fordelingen som er en av de mer eksotiske, men også veldig nyttige fordelingene. På et song oppstår når du teller hvor mange ganger noe skjer i et bestemt tidsrom eller på et bestemt område, og hendelsene er sjeldne, men hyppige nok til at det skjer noen ganger. Tenk på antall telefonsamtaler til et kundesenter per time antall trafikkulykker i et bestemt veikryss per måned. Antall feil per produsert enhet på en samlebånd. Alle disse kan modelleres med på sånn. Det fine med på sånn er at den bare har en parameter som kalles landa. Landa er både forventningen og variansen. Det er en spesiell egenskap som er nyttig å huske. Hvis du har mistanke om at noe er poison fordelt og snittet og er sent ja siden av til en nytte og variansen i dataen din er omtrent like, så er det et godt tegn. Poison fremkommer som en grense av binomisk når antall forsøk blir veldig stort og sannsynligheten per forsøk blir veldig liten, men produktet holder seg konstant. Det er derfor poison kalles loven om sjeldne begivenheter. Hvis du har et binomisk problem med veldig mange forsøk og veldig liten sannsynlighet, så kan du forenkle ved å tilnærme med poison. Nå er vi klare for den viktigste fordelingen av dem alle, og det er normalfordelingen. Det fortsetter vi med i neste del. Den dukker opp absolutt overalt, og hele andre halvdel av faget bygger på den. Så la oss bruke god tid på å forstå hvorfor den er så spesiell. For det første normalfordelingen er en kontinuerlig fordeling. Det betyr at variabelen ikke bare kan ta enkelte spesifikke verdier som en terning kan, men kan ta hvilken som helst verdi på en hel skala. Tenk på høyde vekt temperatur det er ingen begrensning på hvilke desimaler verdiene kan ha for kontinuerlige fordelinger. Gir det egentlig ikke mening å snakke om sannsynligheten for en eksakt verdi? I stedet snakker vi om sannsynligheten for å havne i et intervall. Til en kontinuerlig fordeling hører en tetthets funksjon. Det er en kurve og arealet under kurven mellom 2 grenser er sannsynligheten for å havne i det intervallet. For normalfordelingen ser denne kurven ut som en pen klokke symmetrisk rundt forventningen, høyest i midten og synkende mot begge sider. En normalfordeling er fullstendig bestemt av 2 parametre, nemlig forventningen og standardavviket. Forventningen forteller deg hvor klokkekurven har sitt sentrum standardavviket. Forteller deg hvor bred kurven er stort. Standardavvik betyr en flat bred klokke, mens lite standardavvik betyr en høy smal klokke. Den spesielle utgaven som heter standard normalfordeling har forventning null og standardavvik én. Vi kan alltid omforme en hvilken som helst normalfordeling til standard normalfordelingen ved å standardisere. Altså trekke fra forventningen og dele på standardavviket. Da får vi en størrelse som er standard normalfordelt, og vi kan slå opp sannsynligheter for den i tabeller. Tabellen for standard normalfordeling er din venn på eksamen. Den gir deg sannsynligheten for at standard variabelen er mindre enn eller lik en bestemt. Verdi med litt logikk og bruk av symmetri kan du finne sannsynligheten for hvilket som helst intervall et nyttig faktum å huske er at omtrent 2/3 av sannsynligheten ligger innenfor et standardavvik fra forventningen. Omtrent 95 % ligger innenfor 2 standardavvik. Og over 99 % ligger innenfor 3 standardavvik. Dette gir deg en intuisjon for hva som er typisk og hva som er ekstremt. Nå kommer vi til selve hjertet i hvorfor normalfordelingen er så viktig. Sentralgrenseteoremet er kanskje det mektigste resultatet i hele statistikken. Det sier noe utrolig. Hvis du tar gjennomsnittet av mange uavhengige variabler som har samme fordeling, så vil dette gjennomsnittet være tilnærmet normalfordelt. Uansett hva den opprinnelige fordelingen var. La det synke inn et øyeblikk. Det spiller ingen rolle om de underliggende variablene er fra en bisarr fordeling med rare topper og daler. Så lenge du tar gjennomsnitt av nok av dem, så blir gjennomsnittet pent og pyntelig normalfordelt. Dette er grunnen da til at normalfordelingen dukker opp overalt i naturen og samfunnet. Mange ting vi måler er egentlig gjennomsnitt eller summer av mange små bidrag. Det er også grunnen til at vi kan bruke normalfordelingen i hypotesetesting og estimering. Når vi jobber med utvalgsgjennomsnitt, så vet vi at de er omtrent normalfordelte, selv om vi ikke vet noe om hvordan populasjonen er fordelt. Et viktig poeng er at standardavviket til gjennomsnittet ikke er det samme som standardavviket til den enkelte variabelen. Når du tar gjennomsnitt av flere uavhengige variabler, så krymper standardavviket. Det krymper med kvadratroten av antallet observasjoner. Det er derfor flere observasjoner gir mer presise estimater. Dobler du antall observasjoner, så halverer du ikke usikkerheten. Men du reduserer den med en faktor på kvadratroten av 2. Når antall observasjoner blir veldig stort, så er det et generelt prinsipp at alle fornuftige fordelinger nærmer seg normalfordelingen binomisk blir normalfordelt for store utvalg. Passon blir normalfordelt for stor lamda hypergeometrisk blir normalfordelt. Dette er praktisk fordi det betyr at vi kan bruke de samme verktøyene på mange ulike situasjoner. På eksamen vil du møte oppgaver der du skal regne ut sannsynligheter for normalfordelte variabler. Strategien er alltid den samme. Standardiser først slå opp i tabellen. Bruk eventuell symmetri. En vanlig felle er at studenter glemmer å sjekke om sentralgrenseteoremet faktisk gjelder. For det første må variablene være uavhengige, for det andre må det være nok av dem. Nå går vi videre til estimering der vi tar denne teorien i bruk. Dette er kapittelet der vi virkelig begynner å bruke sannsynlighetsteorien til noe nyttig. Vi skal bruke data til å gjette på ukjente størrelser ute i virkeligheten. La oss begynne med selve grunntanken. Vi har en populasjon der det finnes en sånn verdi som vi gjerne skulle visst det kan være gjennomsnittlig inntekt i hele befolkningen eller andelen velgere som støtter et bestemt parti eller forventet levetid for en bilmodell. Problemet er at vi ikke kan måle hele populasjonen. Det er for stort, for dyrt eller umulig. Så vi tar et utvalg og bruker dette utvalget til å lage en kvalifisert gjetning. Den kvalifiserte gjetningen kaller vi et estimat og oppskriften vi bruker for å lage estimatet kaller vi en estimator. Forskjellen mellom estimat og estimator er viktig. Estimatoren er metoden. Det er for eksempel det å regne ut utvalgsgjennomsnittet. Estimatet er det konkrete tallet vi får når vi har plugget inn dataene. Estimatoren er regelen, estimatet er resultatet. Det er 2 viktige egenskaper. En god estimator skal ha den skal være forventningsrett, og den skal være presis. En estimator er forventningsrett hvis gjennomsnittet av alle mulige estimater den kan gi, er lik den samme verdien. Tenk på det slik. Hvis du gjorde eksperimentet ditt uendelig mange ganger og noterte alle estimatene, så ville gjennomsnittet av dem være korrekt. Det betyr ikke at hvert enkelt estimat er korrekt. Det vil alltid være tilfeldige avgi. Avvik. Men i snitt skal den treffe. Det fine med forventningsrette estimatorer er at vi kan sjekke om de er forventningsrette uten å vite hva den sanne verdien faktisk er. Vi bruker reglene for forventningsverdi for å regne på selve estimatoren. Hvis vi får tilbake parameteren. Vi prøver å estimere, så er estimatoren forventningsrett. Den andre egenskapen er presisjon 2 estimatorer kan begge være forventningsrette, men den ene kan ha mye mindre spredning enn den andre. Den med mindre spredning gir mer pålitelige svar, så vi foretrekker den. Spredningen maler vi med variansen til estimatoren. Mindre varians betyr mer presis estimator den klassiske eksamenstyper her er at du får oppgitt en eller flere estimatorer og skal vise om de er forventningsrette og eventuelt sammenligne presisjonen deres. Strategien er å bruke regnereglene for forventning og varians. Nå skal vi snakke om konfidensintervall? Dette er et av de begrepene som studenter ofte misforstår, så hør godt etter et estimat alene er ikke nok. Det er bare ett tall, og du har ikke noe inntrykk av hvor sikkert det tallet er. Et konfidensintervall gir deg en bransje av plausible verdier rundt estimatet. Og det settes opp slik at i et bestemt prosent av tilfellene vanligvis 95 %, så vil intervallet faktisk inneholde den samme verdien. Her er den vanlige fellen et 95 % konfidensintervall betyr ikke at det er 95 % sannsynlig at den sanne verdien ligger i akkurat dette intervallet. Den sanne verdien er det den er den er ikke tilfeldig. Det er intervallet som er tilfeldig fordi det avhenger av utvalget. Hvis du gjentok prosedyren mange ganger og laget mange intervaller, så ville 95 % av disse intervallene inneholde den sanne verdien. Det er nyansen. Tolkningen kan høres pirket ut, men sensor merker det hvis du sier det riktig. Si gjerne at intervallet er konstruert slik at det med 95 % sikkerhet dekker parameteren konfidensintervaller for et gjennomsnitt har en helt grei oppbygning. Du tar utvalgsgjennomsnittet ditt og legger til og trekker fra et margin som avhenger av hvor sikker du vil være, hvor stort standardavviket er. Og hvor mange observasjoner du har, jo flere observasjoner jo smalere blir intervalle. Det gir intuitiv mening. Mer data betyr mindre usikkerhet, jo større standardavvik jo bredere blir intervallet mer naturlig spredning betyr mer usikkerhet om gjennomsnittet, jo høyere konfidensnivå. Du krever jo bredere blir intervallet hvis du vil være sikrere, må du være rausere med rangen. En viktig distinksjon hvis du kjenner det sanne standardavviket i populasjonen, så bruker du normalfordelingen hvis du må estimere standardavviket de fra utvalget ditt. Så bruker du t fordelingen? Til fordelingen er litt bredere enn normalfordelingen for å kompensere for den ekstra usikkerheten i å ha estimert standardavviket. Når antall observasjoner blir stort så blir t fordelingen praktisk talt lik normalfordelingen sensor vil gjerne se at du nevner dette skillet og begrunner valget ditt. Edit, hvis du sier vi bruker t fordelingen fordi standardavviket i populasjonen er ukjent og må estimeres, så har du vist forståelse, ikke bare mekanisk anvendelse. Det finnes også konfidensintervaller for andre størrelser enn gjennomsnittet, for eksempel for en andel. Prinsippet er det samme estimatet pluss minus en margin. Nå er vi klare for hypotesetesting. Hypotesetesting er kanskje det området hvor sensor er mest opptatt av at du har forstått intuisjonen, ikke bare den tekniske utregningen. Her møter du mange typer oppgaver der den verbale tolkningen er like viktig som tallregningen. Så vi tar dette grundig. Selve ideen i hypotesetesting er enkel. Vi har en påstand vi vil sjekke. Vi setter opp en konservativ utgangsposisjon, og så ser vi om dataene våre gir oss god nok grunn til å forlate den utgangsposisjonen. Det er som en rettssak i en domstol. Personen er antatt uskyldig inntil det motsatte er bevist hinsides rimelig tvil. Vi forkaster ikke uskyldspresumpsjonen lett den konservative utgangsposisjonen kaller vi nullhypotesen. Det er hypotesen om at ingenting interessant skjer at det ikke er noen effekt at den nye medisinen ikke virker bedre enn placebo. Vi er forutinntatt mot denne. Vi forkaster den bare ved hvis dataene tvinger oss til det. Den hypotesen vi egentlig prøver å bekrefte det vi gjerne håper er sant, kalles alternativ hypotesen. Det er der den interessante effekten ligger. Det er at medisinen virker eller at det nye markedsføringstiltaket gir høyere salg. Det er noen detaljer her som er kritiske og får riktig. Hvis vi forkaster nullhypotesen, så har vi grunnlag for å hevde at alternativet sannsynligvis er sant, men hvis vi beholder null hypotesen, så har vi ikke bevist at den er sånn. Vi har bare ikke funnet sterk nok grunn til å forkaste den. Det er som en frifinnelse i retten. Den betyr ikke uskyld, bare at det ikke var nok bevis. På eksamen er det viktig at du formulerer konklusjonene dine forsiktig. Sensor liker når du sier vi forkaster null hypotesen og konkluderer med at alternativet høyst sannsynlig er sant, eller vi har ikke grunnlag for å forkaste null hypotesen. Du skal ikke si null hypotesen er sann og du skal ikke si vi har bevist alternativet. Nå kommer vi til signifikansnivået. Dette er en terskel vi setter på forhånd. Vanlig er 5 %. Det vi sier er at vi vil tillate en sannsynlighet på 5 % for at vi feilaktig forkaster en sånn nullhypotese. Det er 2 typer feil vi kan gjøre forkastnings feil er når vi forkaster nullhypotesen, selv om den faktisk er sånn. Dette kalles også type én feil. Det er som å dømme en uskyldig godtaking. Feil er når vi beholder null hypotesen, selv om den faktisk er gal. Dette kalles type 2 feil. Det er som å frikjenne en skyldig. Signifikansnivået er sannsynligheten for type én feil. Hvis vi setter signifikansnivået lavt, så reduserer vi risikoen for å dømme uskyldige, men da blir det også vanskeligere å forkaste, og vi øker risikoen for type 2 feil. Det er en balansegang. Styrken til testen er en minus. Sannsynligheten for type 2 feil høy styrke betyr at testen sjelden godtar en gal nullhypotese. Med andre ord, hvis det faktisk er en effekt der ute, så vil en sterk test finne den sensor kan godt spørre hvordan du øker styrken til en test du kan øke signifikansnivået, men det er en avveining mer attraktivt er å øke antall observasjoner mer data gir mer presise estimater og dermed høyere styrke. Så over til det viktigste begrepet i moderne statistikk, nemlig pet verdien p verdien er kanskje det mest misforståtte konseptet i hele statistikken. La meg forklare det så tydelig som mulig p verdien er sannsynligheten for å observere data som er minst like ekstreme som det vi faktisk har observert. Gitt at nullhypotesen er sann tenk på det slik vi later som om nullhypotesen er sann. Under den antagelsen, hvor uvanlig er det vi nettopp observerte hvis det er veldig uvanlig? Hvis p verdien er liten, så er det grunn til å tvile på null hypotesen. Hvis det er ganske vanlig. Hvis p verdien er stor, så har vi ingen god grunn til å tvile på nullhypotesen. Regelen er enkel hvis p verdien er mindre eller lik signifikansnivået forkaster vi. Hvis ikke beholder vi vanlig misforståelse nummer en. P verdien er ikke sannsynligheten for at null hypotesen er sann. Det er en helt annen ting. Vanlig misforståelse nummer 2. En stor p verdi beviser ikke null hypotesen. Det betyr bare at vi ikke har grunnlag for å forkaste. Vanlig misforståelse nummer 3 p verdien måler ikke størrelsen på effekten, men hvor sterkt beviset er du kan ha en bitte små effekt med svært liten p verdi hvis utvalget er stort nok. Skillet mellom ensidig og tosidig test må du også ha klart for deg. En ensidig test undersøker om en parameter er enten større enn eller mindre enn en bestemt verdi enn tosidig test undersøker om parameteren er ulik. Denne verdien uten å spesifisere retning. Et godt råd, hvis problemstillingen ikke spesifikt sier at du er interessert i en retning, så bør du bruke tosidig test. Det er mer konservativt hvis du bruker ensidig test, så må du være sikker på at den andre retningen er irrelevant eller umulig. Med disse prinsippene på plass kan vi gå over til de spesifikke testene. Her er det viktigste at du vet hvilken test som passer i hvilken situasjon, fordi sensor ofte gir deg en situasjon og forventer at du velger riktig verktøy og begrunner valget. Vi starter med et testen den brukes når du vil sammenligne forventningene i 2 grupper. For eksempel virker den nye opplæringsmetoden bedre enn den gamle målt på testresultater. Du har 2 grupper du har gjennomsnitt og spredning i hver gruppe, og du vil vite om forskjellen er ekte eller bare tilfeldig støy. T testen finnes i 2 varianter, paret og uparet. Den uparrede brukes når de 2 gruppene består av ulike personer eller objekter som er uavhengig av hverandre, for eksempel en gruppe for ny opplæring. En annen gruppe for gammel opplæring, og det er ingen kobling mellom personene i de 2 gruppene. Den parede testen brukes når observasjonene henger sammen i par, for eksempel, du måler vekt på samme person før og etter en diett. Da har du 2 målinger, men de er ikke uavhengige. Den parede testen utnytter denne sammenhengen og blir derfor mer kraftfull når den passer. En klassisk feil er å bruke uparet test når dataene er paret. Da kaster du bort informasjon. Spør deg selv om observasjonene henger sammen på en naturlig måte. Hvis ja, så er det paret. Det viktigste å huske er at t testen forutsetter normalfordelte data. Hvis du er i tvil, så er det sikrere med en alternativ test. Det leder oss til wilcoxon fordelings frie tester. De har samme formål som testen og sammenligne forventningene i 2 grupper, men de forutsetter ikke at dataene er normalfordelte. Det er derfor de kalles fordelings frie eller noen ganger ikke parametriske. De kommer også i 2 varianter, paret og uparet akkurat som testen. Forskjellen er at de er litt. Grovere, det vil si litt mindre kraftfulle enn t testen, så hvis vi har grunn til å tro at dataene er normalfordelte, så foretrekker vi testen. Hvis ikke, så er wilcoxon en trygg løsning på eksamen. Kan sensor gi deg en oppgave der dataene tydelig ikke er normalfordelte, kanskje fra et histogram eller et normalscore plott og forvente at du velger wilcoxon istedenfor t test eller motsatt dataene ser fine og normalfordelt ut, og du skal velge t test hvis du argumenterer for valget ditt, så belønner sensor det så har vi ut hesten den brukes til å sammenligne sannsynligheter eller andeler i 2 grupper. For eksempel er andelen som blir frisk høyere blant de som får ny medisin enn blant de som får placebo. Det er en sammenligning av 2 andeler, og det er utestuen sin spesialitet. Utestuen forutsetter rimelig mange observasjoner. Den utnytter at andeler basert på mange observasjoner er omtrent normalfordelte takket være sentralgrenseteoremet. Null hypotesen i utestuen er at de 2 andelene er like og alternativet er at de er ulike. Til slutt så har vi kjikvadrattesten. Denne er litt spesiell fordi den finnes i 2 varianter med ulikt formål. Den første varianten sammenligner 2 sett med sannsynligheter for å avgjøre om de er ulike, for eksempel fordeler velgerne seg jevnt mellom 5 ulike partier. Eller er det forskjeller i oppslutningen? Den tester om en observert fordeling avviker fra en forventet fordeling. Den andre varianten tester uavhengighet mellom 2 kjennetegn, for eksempel henger valg av studieretning sammen med kjønn. Null hypotesen er at de er uavhengige. Alternativet at de er avhengige. Den andre varianten dukker oftest opp på eksamen. Du får en tabell regner forventede verdier under uavhengighet og sammenligne med de observerte. En nyttig c generalisering når antall observasjoner blir veldig stort, så vil alle disse testene konvergere mot å bruke normalfordelingen som referanse fordeling. Det er en konsekvens av sentralgrenseteoremet og lignende prinsipper. Det er derfor mye av maskineriet i statistikken bygger på normalfordelingen. La oss snakke om hvordan du velger test på eksamen først, hva spør oppgaven om. Hvis det er forskjell i gjennomsnitt mellom 2 grupper, så er det tettest eller wilcoxon avhengig av om dataene er normalfordelte. Hvis det er forskjell i andeler mellom 2 grupper, så er det utest. Hvis det er sammenheng mellom 2 kategoriske variabler eller om en fordeling stemmer overens med en forventet fordeling, så er det kjikvadrattest. For det andre, hva er forutsetningene? Sjekk om de er oppfylt tydelig ikke normalfordelte data utelukker testen lite utvalg utelukker utestuen for det tredje er det paret eller uparet. Når du har valgt test, så er rutinen den samme sett opp hypotesene beregn testobservatoren finn p verdien eller sammenlign med kritisk verdi. Konkludere og viktigst tolk resultatet i kontekst. Sensor elsker en god klar tolkning. Nå går vi over til det siste store temaet regresjonsanalyse. Regresjonsanalyse er det naturlige avslutningen på dette faget, og det er kanskje det mest brukbare verktøyet i hele kassen som økonom. Vil du bruke regresjon ofte i karrieren, så la oss bygge en solid forståelse. Grunnideen i lineær regresjon er at vi har en variabel vi vil forklare eller forutsi, og vi har en eller flere variabler vi tror påvirker den. Variabelen vi vil forklare kalles den avhengige variabelen og bruke vanligvis bokstaven y. Variablene vi bruker til å forklare den kalles forklaringsvariabler eller uavhengige variabler og bruker som regel bokstaven x. Tanken er at når vi kjenner verdien til x, så kan vi anslå hvor stor y er vi sier, at x forklarer y. Et klassisk eksempel er at vi tror inntekt avhenger av utdanningsnivå. Da er inntekt y og utdanningsnivå er XI enkel lineær regresjon antar vi at sammenhengen er lineær? Vi tegner en rett linje gjennom dataene, og denne beskriver det systematiske forholdet mellom x og y. Linjen har et skjæringspunkt og et stigningstall som forteller hvor mye y endrer seg når x øker med en enhet. Stigningstallet er det mest interessante. Positivt betyr at høyere x gir høyere y negativt betyr at høyere x gir lavere y null betyr ingen lineær sammenheng, men dataene følger sjelden linjen helt nøyaktig avvikende kalles residualer eller feilledd. Regresjonsanalysen finner den linjen som minimerer summen av kvadrerte residualer. Multippel regresjon er samme prinsipp, men med flere forklaringsvariabler. Hver variabel har sitt eget stigningstall som forteller hvor mye i ved endrer seg når den variabelen endrer seg med en enhet mens de andre holdes konstante hver koeffisient tolkes altså som en effekt etter at vi har kontrollert for de andre variablene. Nå kommer vi til noe som er helt avgjørende for at regresjonen skal være pålitelig, nemlig forutsetningene hele regresjonsanalysen, særlig p verdiene og konfidensintervallene, hviler på antagelser om residualene. Hvis disse antagelsene ikke holder, så kan du ikke stole på resultatene. Det er i hovedsak 3 krav som residualene må oppfylle først. De skal være uavhengige av hverandre. Det betyr at størrelsen på ett residual skal ikke ha noen sammenheng med størrelsen på et annet, for det andre de skal være normalfordelte. For det tredje, de skal ha samme spredning gjennom hele datasettet. Hvordan sjekker vi disse forutsetningene? Vi bruker 3 typer plott. Det første er histogrammet over residualene. Dette skal ligne en normalfordelingskurve, det vil si en symmetrisk fordeling. Med toppen sentrert rundt null hvis histogrammet er tydelig skeivt eller har flere topper, så er det her. Så er det et tegn på at normalitetens forutsetningen ikke holder det. Andre er normalscore plottet. Dette tester for normalitet på en mer nøyaktig måte. Hvis residualene er normalfordelte, så skal punktene i plottet ligge omtrent på en rett linje hvis de bøyer av eller har en kurvet form, så er det et tegn på at residualene ikke er normalfordelte. Det tredje er residual plottet. Du plotter enten residualene i observert rekkefølge eller mot tilpassede verdier. I begge tilfeller skal plottet vise jevn spredning rundt null uten systematiske mønstre. En trakt der spredningen øker eller minker er et faresignal krumning eller bølger tyder på at sammenhengen ikke er lineær. På eksamen vil sensor ofte gi deg disse 3 plottene og be deg vurdere forutsetningene. Gå systematisk gjennom dem først histogrammet så normalscore plottet til slutt residual plottet. Hvis alle 3 ser greie ut, så kan du si at forutsetningene er rimelig oppfylt. Hvis en eller flere bryter, så må du være forsiktig med konklusjonene. Sensor ser veldig positivt på en grundig vurdering her. Tolkning av resultatene er det andre store for hver koeffisient i regresjonen får du en p verdi som forteller om koeffisienten er signifikant forskjellig fra null. Null hypotesen er at koeffisienten faktisk er null. Det vil si at den variabelen ikke har noen effekt hvis p verdien er liten, så forkaster vi nullhypotesen og konkluderer med at variabelen har en effekt. Men husk statistisk signifikans betyr ikke nødvendigvis praktisk relevans. Med veldig store utvalg kan selv små effekter være statistisk signifikante? Du må også se på selve størrelsen på koeffisienten og spørre om det er en effekt som betyr noe i den virkelige verden. R kvadrert eller forklart varians forteller hvor stor andel av variasjonen i il som modellen forklarer et tall mellom null og en tett opp mot én, betyr at modellen forklarer mye. Men pass på høy r kvadrert betyr ikke nødvendigvis at modellen er god. På eksamen vil du ofte få utskrift fra et regresjons program, og du skal tolke den. Identifiser koeffisientene finn p verdiene vurder signifikans sjekk forutsetningene og gi en fornuftig tolkning i konteksten. Det er der toppstudentene skiller seg ut. Nå er vi gjennom alt pensum tid for noen siste råd for eksamen. Nå har vi gått gjennom hele pensum sammen, og jeg vil bruke den siste tiden til å gi deg konkrete råd om selve eksamen. Disse rådene er basert på hva som skiller de gode besvarelsene fra de svært gode først overordnet eksamen er 4 timer på papir du har lov til alle skriftlige hjelpemidler, kalkulator og en tospråklig ordbok. Du trenger ikke huske formler utenat det du må kunne er å vite hvilken formel som passer i hvilken situasjon. Det er forståelsen som teller. Strategi nummer en er å skumlese hele eksamen først. Ikke kast deg over første oppgave med en gang bruk 5 minutter på å lese alt. Da kan du fordele tiden bedre og starte med oppgaven. Du føler deg sterkest på. Strategi nummer 2 er å lese hver oppgave nøye strek under de viktige ordene trekking uten tilbakelegging. Det er hypergeometrisk uavhengige forsøk med 2 utfall. Det er binomisk paret eller uparet. Det er din veiviser til riktig test. Hver eneste oppgavetekst har koder som forteller deg hvilket verktøy som passer, og det er din jobb å plukke dem opp. Strategi nummer 3 er å sette opp eksplisitt. Hva du gjør, skriv ned at du antar en bestemt fordeling og begrunn hvorfor skriv ned at du bruker en bestemt test og forklar valget. Sensor får ikke lese tankene dine. Sensor kan bare gi poeng for det som står på papiret. Så hvis tankegangen din strategi nummer 4 er å tolke resultatene ikke avslutt med bare et tall si hva tallet betyr i kontekst. Hvis du har forkastet en null hypotese, så si hva slutningen er for det praktiske problemet. Dette er en av de viktigste tingene for toppkarakter. Strategi nummer 5 er å sjekke om svaret er rimelig. En sannsynlighet skal være mellom null og en en varians skal være positiv, vurder svaret kritisk før det går videre. La meg gå gjennom de vanligste fellene en gang til, så de sitter friskt i minnet. Ikke forveksle sannsynligheten for a gitt b med sannsynligheten for b gitt a de er ulike tegn et 3 eller bruk bis lov hvis du må snu om ikke bruk binomisk fordeling når det egentlig er hypergeometrisk. Sjekk om det er tilbakelegging eller ikke. Ikke glem å sjekke forutsetningene for testen du bruker hvis testen krever normal fordeling, så bør du si at du antar det eller har sjekket av det. Ellers velger du wilcoxon i stedet ikke tolk p verdien som sannsynligheten for at null hypotesen er sann. Den er sannsynligheten for å observere data minst like ekstreme som dine, gitt at nullhypotesen er sann, ikke tolk konfidensintervallet som om det er 95 % sannsynlig at parameteren ligger der. Si stedet at intervallet er konstruert slik at det med 95 % sikkerhet dekker parameteren ikke konkluderer bastant med at nullhypotesen er sann hvis du ikke kan forkaste den. Si at du ikke har grunnlag for å forkaste og at tendensen i tallmaterialet er for svak til å hevde det motsatte. Ikke forveksle korrelasjon med kausalitet si gjerne det eksplisitt der det er relevant. Sensor merker det ikke. Glem regnereglene for varians konstanter må kvadrerer når de tas ut av variansen. Det er en favoritt felle nå over til mentaliteten. Du har jobbet med dette faget hele semesteret. Du kan mer enn du tror den følelsen mange får kvelden før eksamen at man ikke kan noe er nesten alltid feil. Hjernen din har lagret mye, og det meste vil dukke opp av seg selv. Når du sitter foran oppgaven. Hvis du står fast så ikke blir sittende fast, skriv det du kan gjør den delvise utlendingen du klarer å gå videre. Du kan komme tilbake. Mange poeng går tapt fordi studenter bruker for mye tid på en vanskelig oppgave. Et tips. Hvis du får et urealistisk svar, ikke blir stresset. Vurder rolig om du har gjort en regnefeil eller brukt feil metode. Sensor gir delpoeng for korrekte metode, selv om det endelige tallet er galt. Sov godt i natt det er det viktigste rådet jeg kan gi. Hjernen konsoliderer kunnskap i søvne og en uthvilt hjerne er mer presis ikke sitt oppe sent og pugg sov. Spis godt i morgen tidlig drikk vann, kom i god tid, ta noen dype åndedrag før du åpner oppgavearket lykke til i morgen. Du kommer til å klare det fint.