Statisztikai jelentőség

A statisztikai teszt eredményét akkor nevezzük statisztikailag szignifikánsnak, ha a minta adatai olyan erősen eltérnek egy előre meghatározott feltételezéstől (a nullhipotézistől ), hogy ezt a feltételezést egy előre meghatározott szabály szerint elutasítják.

Erre a célra a jelenlegi gyakorlat szerint előzetesen meghatározzák a jelentőség szintjét, más néven a hiba valószínűségét . Jelzi, mennyire valószínű, hogy egy pontosan alkalmazható statisztikai nullhipotézist (a hipotézist meg kell semmisíteni - "A hipotézist, amelyet el kell utasítani [a vizsgálati adatok alapján]") tévedésből el lehet utasítani ( 1. típusú hiba ). Ha egy hipotézist igazolni kell, akkor a 2. típusú hiba valószínűsége, hogy a hipotézist helyesnek találják, bár helytelen, annál nagyobb, annál alacsonyabb a szignifikancia szintje, vagyis a hiba valószínűsége.

A szignifikancia teszt eredménye nem nyújt információt a hatások erősségével, az eredmények relevanciájával vagy más körülményekre való áthelyezhetőségével kapcsolatos kérdésekről. A statisztikai szignifikanciát kiváltó p-értéket nagyon gyakran tévesen értelmezik és helytelenül használják, ezért az Amerikai Statisztikai Szövetség úgy érezte, hogy 2016-ban jelentést kell közzétennie a statisztikai szignifikancia kezeléséről. Egy 2019-től származó kanadai kis tanulmány szerint a kifejezés számos tankönyvben nincs megfelelően átadva.

Alapok

A statisztikai szignifikanciát statisztikai tesztekkel ellenőrizzük , amelyeket úgy kell megválasztani, hogy azok megfeleljenek az adatanyagnak és a valószínűségi függvény szempontjából vizsgálandó paramétereknek . Csak ezután lehet matematikailag helyesen kiszámítani a véletlen változók valószínűségi eloszlásából a megfelelő p-értéket , mint annak valószínűségét, hogy a véletlen miatt olyan mintát kapunk, mint a megfigyelt, vagy egy szélsőségesebb. Hogy mekkora az arányuk elvárható azon véletlenszerű minták esetén, amelyeket végtelen gyakran ismételnek ugyanabból a populációból, 0 és 1 közötti értékként határozhatjuk meg. Ezt a p-értéket tehát abból a feltételezésből számolják, hogy az úgynevezett nullhipotézis érvényesül.

A hiba bizonyos valószínűségének túllépését a p-érték alapján becsüljük meg. Ez a valószínűség, amelyet előre meghatározhatunk, hogy elutasítsuk a hipotézist: „A talált különbségek véletlenül jöttek létre” - vagyis a nullhipotézis - bár helytálló. Az ilyen hibát I. típusú hibának vagy α-hibának is nevezik .

Ennek a kritikus küszöbértéknek a meghatározásakor ésszerű figyelembe venni az eset következményeit, amikor tévesen feltételezzük, hogy a megfigyelt különbség csak véletlen. Ha ezeket a következményeket súlyosnak tartja, akkor alacsonyabb szintet választ, nem pedig magasabbat, például 1% -ot 5% helyett, vagy 0,1% -ot a maximálisan megengedett hiba valószínűségéhez . Ezt a valószínűséget szignifikancia szintnek nevezzük . ${\ displaystyle \ alpha}$

Ez azt jelenti : Ha a nullhipotézis helyes, akkor annak téves elutasításának valószínűsége (az első típusú hiba) nem lehet több, mint 5%. Ennek megfelelően annak valószínűsége, hogy a statisztikai teszt alapján nem utasítják el a helyes nullhipotézist , legalább 95%. ${\ displaystyle \ alpha = 0 {,} 05}$${\ displaystyle 1- \ alpha = 0 {,} 95}$

A szignifikancia szintje vagy a hiba valószínűsége tehát csak azt mondja meg, hogy az 1. típusú hiba milyen valószínűséggel fordul elő, hogy a nullhipotézist annak ellenére is elutasítják, hogy helytálló lenne. A szignifikancia szint nem mondja meg azt a valószínűséget, amellyel a hipotézis helyes. Ha egy hipotézist helyesnek kell bizonyítani, akkor a 2. típusú hiba valószínűsége, hogy a hipotézist helyesnek találják, bár helytelen, annál nagyobb a szignifikancia szint. Példa: Egy kísérlet a p = ¼ valószínűségen alapul. A p = 1/5 hipotézist azonban igazolni kell. Annak a valószínűsége, hogy a hipotézist helyesnek találják, annak ellenére, hogy téves, 25 kísérlet esetén 93% 5% -os szignifikancia szinten és 99% 1% szignifikancia szinten. 1000 kísérletnél továbbra is 3,6%, szignifikanciaszintje 5%, és 11,4%, szignifikanciaszintje 1%. Tehát jobb valamit bizonyítani a nullhipotézis elutasításával. Példa: Az iskola diákjainak 25% -a használ belső iskolai hálózatot. Egy promóciót követően egy megkérdezett 50 hallgató felmérése szerint 38% -uk használja a hálózatot. Most tesztelheti a p = 0,25 értéket és 5% -os szignifikancia szinten 95% -os valószínűséggel, vagy 1% -os szignifikancia szinten 99% -os valószínűséggel azt állítja, hogy a hálózatot használó hallgatók száma valóban növekedett a promóció, ha a nullhipotézist p = 0,25 elutasítják. Azt azonban nem lehet mondani, hogy az arány 38% -ra nőtt volna.

Ha a statisztikai eljárás alkalmazása azt mutatja, hogy a vizsgált különbség statisztikailag nem szignifikáns, abból nem vonhatók le végleges következtetések. Ebben az esetben a 2-es típusú hiba ( ) valószínűsége általában még azt sem ismeri, hogy a hamis nullhipotézist helyesnek tekinti. ${\ displaystyle \ kezelőnév {Pr} (H_ {0} | {\ overline {H}} _ {0}) = \ beta}$

Általánosabban fogalmazva: a statisztikai szignifikancia valószínűségként leírja egy esemény vagy egy mérés lehetséges információtartalmát a véletlen eloszlások hátterében. Minél kisebb , annál nagyobb az információ minőségének jelentős eredmény. ${\ displaystyle \ alpha}$

A kvalitatív értékelés döntő kérdése: "Mitől függ a statisztikai szignifikancia?"

Mindenekelőtt meg kell említeni a minta nagyságát, reprezentativitását és szórását. A statisztikai szignifikanciát a minta nagysága jelentősen befolyásolja. Ha nagyobb minta helyett csak egy kis mintát vizsgálunk, akkor valószínűbb, hogy összetétele nem reprezentálja a populációt. A véletlenszerű kiválasztások eredményeként jelentkező különbségek jelentősebbek. Ha a kiválasztott minta az alapvető populációt reprezentálja alapvető jellemzőiben, akkor reprezentatív mintáról beszélhetünk. A variancia, vagyis az értékek terjedése a vizsgált csoporton belül szintén fontos az információ minősége szempontjából.

Példaértékű kérdések

• Egy felmérés szerint a nők 55% hajlamosak felé party A , míg 53% a férfiak inkább fél B. Tényleg van különbség a férfiak és nők politikai meggyőződésében, vagy csak véletlenül kérdezték meg az A és a B párt sok támogatóját ?
• Új gyógyszer esetén a gyógyulási arány magasabb, mint gyógyszer nélkül. Valóban hatékony- e az új gyógyszer, vagy csak véletlenül választottak ki különösebben olyan betegeket, akik önállóan gyógyultak volna meg?
• Egy bizonyos betegség különösen gyakori egy vegyi üzem közelében. Ez véletlen, vagy van összefüggés?

A hiba valószínűsége és a szignifikancia szintje

A fenti példákban azt kell feltételezni, hogy a véletlen befolyásolta az eredményeket. Meg lehet azonban becsülni, hogy mekkora a valószínűsége annak, hogy a mért eredmények bekövetkeznek, ha csak a véletlen működik. Ezt a véletlenszerű hibát általában 1. típusú hibának ( szinonima : hiba) nevezik, és előfordulásának valószínűségére - feltéve, hogy a nullhipotézis helyes - a hiba valószínűségének nevezik . ${\ displaystyle \ alpha}$

Paraméteres modellben a különféle hamis következtetések valószínűsége az ismeretlen eloszlási paramétertől függ, és a teszt minőségi függvényének segítségével meghatározható. ${\ displaystyle \ vartheta}$

A hiba valószínűségének felső határát , vagyis azt az értéket, amelyet az ember éppen kész elfogadni az első típusú hiba valószínűségére, szignifikancia szintnek nevezzük . Elvileg ez szabadon választható; gyakran 5% -os szignifikanciaszintet alkalmaznak. Ennek az értéknek a megállapítását különbözőképpen az RA Fisher-nek tulajdonítják. A gyakorlatban ez a kritérium azt jelenti, hogy átlagosan 20 vizsgálatból egy, amelyben a nullhipotézis helytálló (pl. Egy gyógyszer valójában hatástalan), arra a következtetésre jut, hogy téves (például azt állítja, hogy a gyógyszer növeli a gyógyulás esélyét).

Az 5% érték heurisztikus motivációja a következő: A normál eloszlású véletlen változó csak olyan értéket feltételez, amely a várt értéktől a szórás 1,96-szorosánál nagyobb mértékben különbözik, legfeljebb (≤) 5% valószínűséggel :

• A p-érték ≤ 5%, például B. Jürgen Bortz egy jelentős ,
• ≤ 1% értéket (2,3 szórás) nagyon jelentősnek és
• ≤ 0,1% -os értéket (3,1 szórás) nagyon jelentős eredménynek tekintenek.

Fontos, hogy ez a besorolás pusztán önkényes legyen, hozzá kell igazodni az adott alkalmazáshoz, és ismétlésekkel kell megerősíteni. Ezenkívül ez a besorolás problematikus a publikációs elfogultság és a p-hackelés tekintetében . Mivel 5% -nál kisebb vagy azzal egyenlő p-érték esetén, ha a nullhipotézis helytálló, az összes vizsgálat átlagosan 5% -a mégis elutasítja a nullhipotézist, ez a kritérium általában nem elegendő az új felfedezések megalapozásához. Például a Higgs-bozon létezésének bizonyítására az 5 szórás sokkal szigorúbb kritériumát alkalmazták (ami 3,5 millió 1-nek megfelelő 1-es értéknek felel meg).

A szint a jelentősége miatt az ellenkezője számértéke jelentőségét szint - alacsony szintű jelentőségének megfelel a magas szintű jelentőségét, és fordítva.

Ellentétben Fisher jelentőségével, mint a hipotézis valóságtartalmának mércéjével, egy klasszikus, szigorú Neyman-Pearson tesztelmélet összefüggésében a teszt eredményének későbbi, különböző jelentőségű besorolása nem biztosított. Ebből a szempontból nem lehetséges „nagyon jelentős” vagy „nagyon jelentős” eredmény - a kiegészítő információkat (például a p-értéket) másként kellene megadni.

Statisztikailag szignifikáns állítások esetén is mindig szükséges a teszt elrendezésének és megvalósításának kritikus áttekintése. A tudományos vizsgálatok csak ritkán elegendőek. B. az értelmes statisztikai teszt matematikai követelményei . Sok tanulmányban a tanulmány végrehajtása során (pl. Egy doktori disszertáció részeként ) a „jelentős” eredmény iránti vágy túlzottan előtérbe kerül a vizsgálat elvégzése során. A nullhipotézist megerősítő tanulmányokat általában (de statisztikai szempontból helytelenül) érdektelennek és feleslegesnek tekintik. A tanulmány megtervezése szintén döntő fontosságú. A „ randomizált ”, „kontrollált” és „ kettős vak ” jellemzők felhasználhatók a vizsgálat minőségének mutatóiként (pl. Orvosi környezetben) . E nélkül a terápiák hatékonyságára vonatkozó állításokat rendkívül körültekintően kell kezelni.

A gyakran végzett, kevésbé bonyolult tanulmányok esetében továbbra is fennáll annak a kockázata, hogy például húsz összehasonlítható tanulmány közül csak egyet publikálnak - azt, amely pozitív eredménnyel jár, bár jelentőségét valójában csak véletlenül érték el. Ez a probléma okozza a publikáció elfogultságát (lásd alább). Az értelmezés jelentős korreláció a retrospektív vizsgálatok különösen problematikus . Ezenkívül mindig szem előtt kell tartani, hogy a statisztikailag szignifikáns összefüggéseket gyakran helytelenül használják az állítólagos oksági összefüggések (úgynevezett álkorreláció ) megkötésére .

Értelmezési problémák

Informatív érték és szelektivitás

A statisztikai szempontból szignifikáns vizsgálatokban is alacsony lehet az információ gyakorlati értéke.

A nagy számú esettel végzett vizsgálatok gyakran nagyon jelentős eredményekhez vezetnek a teszt nagyfokú szelektivitása (más néven teszterősség) miatt. Az ilyen vizsgálatok még mindig kevéssé lehetnek informatívak, ha a megfigyelt hatás nagysága vagy a mért paraméter nem releváns. A statisztikai szignifikancia tehát szükséges, de nem elégséges kritérium egy olyan állításhoz, amely gyakorlatilag szintén releváns. A hatás nagysága (effektus mérete) fontos eszköz a relevancia felmérésében .

További módszertani szempontból kritikus próbakövek:

• a statisztikai modell feltételezéseinek helyessége (pl. eloszlási feltételezés )
• A számos statisztikai vizsgálatokat végezni (ha van néhány teszt, nem egy olyan egyértelműen azonosítható, mint az elsődleges vizsgálat, amely beállítása a szignifikancia szintet kell elvégezni)
• az analitikai módszerek prospektív meghatározása, a kettős-vak vizsgálatok „vakításának” megkezdése előtt
• az 1. vagy a 2. típusú hibából fakadó lehetséges következmények, ideértve az egészségre és az életre gyakorolt ​​lehetséges veszélyeket is.

Hibás feltételezések

A széles körben elterjedt véleménnyel ellentétben a jelentőség nem egyenlő a hiba valószínűségével, még akkor sem, ha egyes statisztikai programok (pl. SPSS ) kimenetében a hiba valószínűségét félrevezetően "Sig" -nek vagy "Jelentőségnek" nevezik. Helyes a „szignifikánsról” beszélni, ha az adott vizsgálatból kapott eredményre vonatkozó hiba valószínűsége nem haladja meg a korábban meghatározott szignifikancia szintet.

Lehetséges azonban, hogy ennek a vizsgálatnak az azonos mintázatú és egyébként azonos feltételek mellett történő megismétlése az új mintában olyan eredményt eredményezne, amelynél a hiba valószínűsége meghaladja a szignifikancia szintjét. Véletlenszerűen elosztott változók esetén az eset valószínűsége a kiválasztott szignifikancia szinttől függ.

Nem ritka, hogy a jelentős szó jelentése „egyértelműen”. A statisztikailag szignifikáns változásnak nem feltétlenül kell egyértelműnek lennie, csak egyértelműnek kell lennie. Tehát lehet, hogy ez egy kisebb változás, amelyet egyértelműen megmértek. Megfelelően sok mérés esetén mindegyik (meglévő) hatást statisztikailag szignifikánsan mérjük, bármennyire is kicsi és jelentéktelen.

A szignifikancia szintjét vagy a megfigyelt p-értéket meghatározó feltételezések szintén nem alkalmazhatók

• a hatás nagysága
• annak valószínűsége, hogy a nullhipotézis igaz vagy hamis
• annak valószínűsége, hogy az alternatív hipotézis igaz vagy hamis

Tudományos kiadványok

A statisztikailag szignifikáns eredmények bemutatása hatással van arra, hogy tudományos cikket publikálnak-e. Ez azonban az úgynevezett „ publikációs elfogultsághoz ” vezet, mivel a lehetséges véletlenszerű eredményeket nem helyezik kilátásba az elvégzett vizsgálatok teljes skálájának közzétételével. Ezenkívül a szignifikancia alapján publikálásra kiválasztott eredmények általában túlbecsülik a hatásméretet . Ennek oka, hogy - főleg kisebb vizsgálatokban - csak a legnagyobb különbségek vagy a legerősebb összefüggések válnak szignifikánssá.

Jelentőség és okozati összefüggés

A jelentőség nem mond semmit a lehetséges ok-okozati összefüggésekről vagy azok típusáról; ezt gyakran figyelmen kívül hagyják.

Példaként: A statisztikák azt mutatták, hogy egy bizonyos betegség különösen gyakran fordul elő egy vegyi üzem közelében, oly módon, hogy a különbség a betegség normál eloszlásához képest az általános populációban jelentős. Ez a statisztikailag szignifikáns összefüggés azonban nem feltétlenül jelenti azt, hogy a vegyi üzem ok-okozati felelősséggel járna a betegség fokozott előfordulásáért.

(1) Mivel az is elképzelhető lenne, hogy az említett vegyi üzem környéke népszerűtlen lakóövezet, és ezért elsősorban pénzügyileg gyenge családok élnek ott, akik nem engedhetik meg maguknak a költözködést. A legtöbb esetben az anyagi szempontból gyenge családok étrendje rosszabb, és általában az egészségügyi ellátás is gyengébb, mint a lakosság átlagában; Számos betegségnek kedvez, valószínűleg csak a kérdéses betegségnek.

(2) Elképzelhető az is, hogy a betegség egyes területeken z. B. gyakran fordul elő, ha egy bizonyos népsűrűséget túllépnek, és az ezzel járó megnövekedett fertőzésveszély lép fel; és csak véletlenül van a vegyi üzem olyan területen, ahol nagyobb a fertőző betegség előfordulása.

Az első elképzelt esetben okozati összefüggés lehet; azonban különbözne attól, amelyet a statisztikai vizsgálat céljából szeretnének elfogadni. Az ok-okozati összefüggés az is lehet, hogy ezt a vegyi üzemet pontosan ott építették, ahol sok pénzügyileg gyenge család él (pl. Azért, mert a lobbi hiánya miatt kevésbé voltak képesek megvédeni magukat egy gyár létesítésével szemben, mint más lakónegyedek tehetősebb lakói vagy lakóik. mint a lehetséges árupiaci munkaerő a helyszín kiválasztásakor olcsóbban jelent meg). Ha a vegyi gyárat további bizonyítékok nélkül megnövekedett megbetegedések számának okának tekintenék, a „ cum hoc ergo propter hoc ” típusú logikailag helytelen következtetés lenne .

A második elképzelt esetben egyáltalán nem lenne oksági kapcsolat; inkább az úgynevezett célhibát követnék el: Miután egy esemény (itt: a betegség) jelentős felhalmozódását meghatározták, egy másik, kissé szembetűnő eseményt (ma: a vegyi üzem) alkalmaznak és úgy értelmeznek, mint oksági összefüggést az első egy. Vagy még egyszerűbb:
Valami, amit valahol máshol észlelnek, valószínűleg valami feltűnően máshoz fog kapcsolódni - valahogy, lehetőleg: kauzális és ad hoc (itt most - " cum ergo propter " - most itt).

Lásd még

• F-teszt a két variancia közötti különbség statisztikai szignifikanciájának meghatározására
• t teszt

irodalom

• Erika Check Hayden: A tudományos reprodukálhatatlansághoz kapcsolódó gyenge statisztikai standardok. In: Természet . 2013, doi: 10.1038 / természet.2013.14131 .
• David Salsburg: A hölgy megkóstolja a teát. Hogyan forradalmasította a statisztika a tudományt a huszadik században. Freeman, New York, NY, 2001, ISBN 0-7167-4106-7 (népszerű tudomány).
• RL Wasserstein, RL & NA Lazar 2016. Az ASA nyilatkozata a p-értékekről: kontextus, folyamat és cél , The American Statistician, Vol. 70, no. 2., 129-133. O., Doi: 10.1080 / 00031305.2016.1154108 .
• Valentin Amrhein, Fränzi Korner-Nievergelt, Tobias Roth 2017. A föld lapos (p> 0,05): szignifikancia küszöbök és a megismételhetetlen kutatások válsága. PeerJ 5: e3544, doi: 10.7717 / peerj.3544 .

web Linkek

Wikiszótár: jelentős  - jelentésmagyarázatok, szóeredetek, szinonimák, fordítások

• Peter Sedlmeier: A jelentőségi teszt rituáléján túl: kiegészítők és alternatívák. (PDF fájl; 427 kB)
• Jan M. Hoem: A statisztikai jelentőség jelentése tudományos folyóiratokban. (PDF fájl; 131 kB)
• Legkorábbi felhasználások: Jelentőség.

Egyéni bizonyíték

1. ↑ Gigerenzer G. (2004). Esztelen statisztika. J. Soc. Econ. 33, 587-606. doi : 10.1016 / j.socec.2004.09.033 , idézi Fisher, Neyman-Pearson vagy NHST? Bemutató az adatok tesztelésének tanításához . Határok a pszichológiában 2015; 6: 223. PMC 4347431 (ingyenes teljes szöveg)
2. ^ R. Wasserstein, N. Lazar: Az ASA nyilatkozata a p-értékekről: kontextus, folyamat és cél. In: Az amerikai statisztikus. 70. évfolyam, 2016. évi 2. szám, 129–133. O., Doi : 10.1080 / 00031305.2016.1154108 .
3. ↑ S. Cassidy, R. Dimova, B. Giguère, J. Spence, D. Stanley: Nem sikerült osztályzat: A bevezetés-pszichológia tankönyvek 89% -a, amelyek helytelenül definiálják vagy magyarázzák a statisztikai jelentőséget. In: A pszichológiai tudomány módszereinek és gyakorlatainak haladása. 2019. június, doi: 10.1177 / 2515245919858072 .
4. ↑ Stephen Stigler: Fisher és az 5% -os szint. In: Esély. 21. évf., 2008. 4. sz., 12. o., Doi : 10.1080 / 09332480.2008.10722926 .
5. ^ Jürgen Bortz, Nicola Döring: Kutatási módszerek és értékelés humán és társadalomtudósok számára. 4., átdolgozott kiadás. Springer Medicine, Heidelberg 2006, ISBN 3-540-33305-3 , 740. o.
6. ↑ ATLAS együttműködés: Új részecske megfigyelése a Higgs Boson standard modell keresése során az LHC ATLAS detektorával. In: Physics Letters Vol. 716, No. 1, pp. 1-29, doi : 10.1016 / j.physletb.2012.08.020 .
7. ^ Wolfgang Weihe: Klinikai vizsgálatok és statisztikák. A hiba valószínűségéről. In: Deutsches Ärzteblatt. 101. évfolyam, 13. szám, 2004. március 26.
8. ↑ Valentin Amrhein, Fränzi Korner-Nievergelt, Tobias Roth: A föld lapos (p> 0,05): szignifikancia küszöbök és a megismételhetetlen kutatások válsága . In: PeerJ . 2017. doi : 10.7717 / peerj.3544 .