Uge 48 II Teoretisk Statistik 27. november Numerisk modelkontrol af diskrete fordelinger: intro

Størrelse: px

Starte visningen fra side:

Download "Uge 48 II Teoretisk Statistik 27. november 2003. Numerisk modelkontrol af diskrete fordelinger: intro"

Maria Berg
8 år siden
Visninger:

1 Uge 48 II Teoretisk Statistik 7. november 003 Numerisk modelkontrol af diskrete fordelinger: intro Eksempel: kvalitetskontrol Goodness-of-fit test: generel teori Endeligt udfaldsrum Udfaldsrum uden øvre begrænsning Inddeling i grupper i praksis Poissoneksempel: skadestuer (data fra opgave 16.9) Kontrol af diskrete fordelinger n uafhængige observationer 1, n fra en diskret fordeling foreligger. Givet en bestemt fordeling eller fordelingstype: kan observationerne tænkes at stamme fra denne fordeling? Modelkontrol. Muligheder: Fraktildiagrammer. Dur ikke for diskrete fordelinger... Sammenligning af pindediagrammer. Usikkert... Numeriske test; goodness-of-fit test. Udføres som Q-test i multinomialfordelingen. 1

begrænsning Inddeling i grupper i praksis Poissoneksempel: skadestuer (data fra opgave 16.

2 Eksempel: Kvalitetskontrol En arbejdsproces består i at skære plader af et skrøbeligt materiale ud i 10 mindre stykker. Dette er svært: mange mindre stykker går itu! Hver dag udtages en plade, og man tæller op hvor mange af de 10 delstykker, der gik itu: X i. Udfaldsrum: {0,1,,10}. Dette har man gjort i n = 50 dage. Observationer: 1,, 50. Lad z være antal observationer med værdi. Model: X i ~ bin(n = 50, θ), hvor θ er ukendt og derfor må estimeres: 1 m 83 1 (16.7) ˆθ = z 0 = = = = nm () Eksempel: Kvalitetskontrol z P(X ) θˆ p(θ) ˆ np ˆ (θ) z ˆ -np (θ) q <3 50

Lad z være antal observationer med værdi. Model: X i ~ bin(n = 50, θ), hvor θ er ukendt og derfor må estimeres: 1 m 83 1 (16.7) ˆθ = z 0 = = 0.

3 (3) Eksempel: Kvalitetskontrol I alt z P(X ˆ ) θ p(θ) ˆ np ˆ (θ) z ˆ -np (θ) q f = m-r-1 = = 6 q = > χ (6) = 1.59 => H0 skal forkastes, dvs..95 binomialfordelingen kan ikke beskrive antal delstykker itu. (Lidt) forskellige situationer Udfaldsrummet for den givne fordeling har endeligt mange værdier, f. {0,1,,m}. For eksempel binomialfordelingen. Udfaldsrummet for den givne fordeling er uden øvre begrænsning, f. {0,1,,,}. For eksempel poissonfordeling Desuden (giver forskellige antal frihedsgrader i χ -testet): Kontrol af en bestemt fordeling, f. bin(10,0.5). Test af simpel hypotese. Kontrol af fordelingstype, f. bin(10,θ) hvor θ er ukendt og derfor skal estimereres først. Test af parametrisk hypotese. 3

.95 binomialfordelingen kan ikke beskrive antal delstykker itu. (Lidt) forskellige situationer Udfaldsrummet for den givne fordeling har endeligt mange værdier, f. {0,1,,m}.

4 Teoretisk Statistik 7. november 003 Numerisk modelkontrol af diskrete fordelinger: intro Eksempel: kvalitetskontrol Goodness-of-fit test: generel teori Endeligt udfaldsrum Udfaldsrum uden øvre begrænsning Inddeling i grupper i praksis Poissoneksempel: skadestuer (data fra opgave 16.9) Endeligt udfaldsrum Q-testet kan bl.a. benyttes til kontrollere om en given diskret fordeling kan beskrive et givet datamateriale omfattende n uafhængige observationer. Man er interesseret i : 1. om en bestemt fordeling, f.eks. en bin(n = 100, ½)-fordeling kan beskrive materialet,. om en bestemt fordelingstype, f.eks. en bin(n = 100, θ)- fordeling med ukendt parameter θ kan beskrive materialet. } Den ovenfor nævnte fordeling binomialfordelingen er eksempel på en fordeling, hvor den stokastiske variabel X i har endeligt udfaldsrum S = { 0,1,...,m og punktsandsynlighed f(), S. 4

grupper i praksis Poissoneksempel: skadestuer (data fra opgave 16.9) Endeligt udfaldsrum Q-testet kan bl.a. benyttes til kontrollere om en given diskret fordeling kan beskrive et givet datamateriale omfattende n uafhængige observationer.

5 For at bruge Q-testet bringer man observationerne på en form, der muliggør en sammenligning med de forventede værdier i en multinomialfordeling. Vi definerer z = antal observationer af størrelse, = 0,1,,m. Det medfører at vektoren (z 0, z 1,,z m ) kan opfattes som den observerede værdi af en multinomialfordelt stokastisk variabel (Z 0, Z 1,,Z m ) med antalsparameter n og sandsynlighedsparametre p 0,p 1,,p m, hvor (16.18) p = f(), = 0,1,,m. Under disse forudsætninger kan Q-teststørrelsen (16.5) anvendes. Den har her formen Q = m = 0 (Z nf()) nf () Under H 0 : p = f(), dvs. p er de sande sandsynlighedsparametre, vil Q approimativt være χ fordelt med (m+1) - 1= m frihedsgrader. Reglerne for brug af testet er de samme som nævnt tidligere. 5

Det medfører at vektoren (z 0, z 1,,z m ) kan opfattes som den observerede værdi af en multinomialfordelt stokastisk variabel (Z 0, Z 1,,Z m ) med antalsparameter n og

6 Endeligt udfaldsrum, test for bestemt fordelingstype Hvis punktsandsynlighederne afhænger af èn ukendt parameter θ må ˆθ bestemmes og kontrollen baseres på Q-teststørrelsen (16.8). Vi finder (16.5) hvor Q = (Z np ˆ ) m = 0 npˆ ˆp = f( θˆ ), = 0,1,...,m. Q-teststørrelsen vil være approimativt χ fordelt med (m+1) = m-1 frihedsgrader. Reglerne for brug af testet er de samme som nævnt tidligere. Udfaldsrum uden øvre begrænsning Har X i punktssh. f 0 ()? (F: er X i Poisson (3)-fordelt?) Sæt * 0 = m f (m) = Σ f 0(). Teststørrelse 6

Q-teststørrelsen vil være approimativt χ fordelt med (m+1) = m-1 frihedsgrader.

7 (Z nf ()) (Z nf (m)) m) m 1 * * 0 m 0 Q = + χ ( * = 0 nf 0() nf 0(m) Har X i punktssh. f(,θ) for et θ? (F: er X i poissonfordelt?) * Sæt f (m, θ ˆ) = f(, θˆ). Teststørrelse Σ = m (Z nf(, ˆθ )) (Z nf (m, θˆ )) m 1 * * m Q = + χ ( ˆ * ˆ = 0 nf (, θ) nf (m, θ) m 1) Gruppering af obs. / hvornår gælder χ -approks? Problemer hvis den forventede værdi er lille i en eller flere celler: Dividerer med noget småt χ -approksimationen gælder ikke Tommelfingerregel: Lav inddeling så den forventede værdi er mindst 3 i alle celler. Kan være nødvendigt at gruppere selv hvis udfaldsrummet er endeligt. gruppere i begge ender af udfaldsrummet. Teoretisk Statistik 7. november 003 Numerisk modelkontrol af diskrete fordelinger: intro Eksempel: kvalitetskontrol Goodness-of-fit test: generel teori 7

Problemer hvis den forventede værdi er lille i en eller flere celler: Dividerer med noget småt χ -approksimationen gælder ikke Tommelfingerregel: Lav inddeling så den forventede værdi er mindst 3

8 Endeligt udfaldsrum Udfaldsrum uden over begrænsning Inddeling i grupper i praksis Poissoneksempel: skadestuer (data fra opgave 16.9) Eksempel: skadestuer (data fra opgave 16.9) I alt z P(X ) λˆ p() ˆ λ np ˆ ( λ ) z -np ( λˆ ) q Model: X ~ Ps(λ) med ukendt parameter λ, der må estimeres: 1 m 95 λ= ˆ = z 0 = = = n 4 f = = 7 q =.89 χ (7) < χ (7) = H 0 : X ~ Ps(λ) kan altså ikke forkastes. 8

101.07.098 1.00 p() ˆ λ np ˆ ( λ ) z -np ( λˆ ) 3.44 3.8 5.38 6.6 6.3 5.4 4.4 3.0 4.1 4 -.44 -.8.6.74-1.3 -.4.76 -.0-1.1 0.00 q.06.18.9 1.0.7 1.08 1.80.00.30.

9 Som et supplement til Goodness-of-fit testet kan man teste H 0 : E[X] = var[x] = λ med et Q-test, der har formen 1 Q = (X X) = SAK /X. n i 1 i X = Ræsonnementet er følgende: Under antagelsen at X ~ Ps(λ) gælder ifølge sætning 7.6 at X N( λλ, ) a X for λ stor. Det medfører videre, at en normeret approimativt normalfordelt stokastisk variabel kan dannes => U i X = i λ i = 1,,n λ (X λ) U ( λ n n i i = χ i= 1 i= 1 a n 1) Indsætter vi herefter i stedet for λ estimatoren X fås 1 Q = (X X) = SAK / X n i 1 i X = X der approimativt er χ (n ) -fordelt. Undersøgelser har vist at denne approimation er god selv for små værdier af λ og n. I skadestueeksemplet fås. 60 q = SAK / = / 7.0 = χ (40) H 0 kan således ikke forkastes, dvs vi kan have X ~ Ps(λ). 9

Det medfører videre, at en normeret approimativt normalfordelt stokastisk variabel kan dannes => U i X = i λ i = 1,,n λ (X λ) U ( λ n n i i = χ i= 1 i= 1 a n 1) Indsætter vi herefter i

Relaterede dokumenter

Note til styrkefunktionen

Teoretisk Statistik. årsprøve Note til styrkefunktionen Først er det vigtigt at gøre sig klart, at når man laver statistiske test, så kan man begå to forskellige typer af fejl: Type fejl: At forkaste H