provádění průzkumů

Poznámka: Tato příručka má zajistit, aby průzkumy prováděné v OAG splňovaly přiměřené požadavky a očekávání odborníků z průzkumu, jakož i auditorské standardy VFM Úřadu generálního auditora. Použití výrazů „musí“ a „by mělo“ v tomto pokynech nemusí mít nutně status standardů a politik OAG. Odrážejí však metodické požadavky a očekávání při provádění průzkumů.

Úvod

pojmy spolehlivosti a platnosti jsou základními otázkami při určování kvality informací z průzkumu. Stanovení spolehlivosti a platnosti údajů z průzkumu je vysoce technický podnik, který je klíčem k posouzení přiměřenosti (viz Příručka VFM, oddíl o dostatečných důkazech) informací pro podporu pozorování auditu.

spolehlivost, platnost a významná chyba

aby průzkum poskytl dostatečně spolehlivé, konzistentní a relevantní důkazy, musí být informace, které poskytuje, spolehlivé a platné. Koncept spolehlivosti má specifický význam v rámci průzkumu výzkumu, který je užší než obecné použití termínu v auditu. Aby bylo měření spolehlivé, musí být konzistentní od jednotlivce k jednotlivci, v různých nastaveních a v různých časech. Konzistence informací je nezbytná pro vytváření obecných prohlášení.

platnost je rozsah, v jakém jsou informace z průzkumu relevantní pro učiněný závěr a jsou dostatečně přesné a úplné, aby podpořily tento závěr. Platnost je běžně považována za odpověď na otázku „skutečně měříte to, co chcete měřit?“Zaměstnanci mohou být například dotázáni, zda jsou propagační procesy „spravedlivé“. Jejich odpovědi nemusí odrážet jejich pohled na samotné procesy, ale na výsledky, tj.

spolehlivost vyžaduje použití standardizovaných nástrojů pro sběr informací a postupů průzkumu, které jsou navrženy tak, aby zlepšily konzistenci. Příslušné informace vyžadují pečlivé plánování, aby se zajistilo, že informace jasně souvisejí s cíli auditu, a jsou shromažďovány od jednotlivců, kteří jsou pro poskytování informací nejvhodnější. Získání informací, které jsou úplné a přesné, vyžaduje dobře naplánované nástroje pro sběr informací a postupy správy průzkumů.

chyba v datech průzkumu může mít za následek špatnou spolehlivost a platnost. Chyby, tj. nepřesnosti nebo chybějící informace, mohou vzniknout na různých místech při shromažďování, údržbě, zpracování a vykazování dat. Při sběru dat mohou být informace zaznamenány nesprávně. Například ve strukturované situaci pohovoru mohou tazatelé nesprávně zaznamenávat informace poskytnuté respondentem. Nedostatečné postupy pro správu dat, například v počítačových informačních systémech, mohou mít za následek ztrátu nebo změnu dat. Například data z formulářů průzkumu klientů mohou být nesprávně zadána do počítačových informačních systémů. Zpracování a vykazování dat může také přidat chybu; například nesprávným přenosem dat z počítačových databází do analyzovatelných nebo reportovatelných formulářů.

kromě toho, že chyba byla zavedena prostřednictvím chyb v datech průzkumu, chyba je také přidána při vzorkování. Souhrnné údaje ze vzorku jsou pouze aproximací toho, co by bylo zjištěno zkoumáním celé populace. Rozdíl mezi vzorkovanými hodnotami a populačními hodnotami je znám jako chyba vzorkování. Tento typ chyby může být větší nebo menší v závislosti na velikosti vzorku a postupech odběru vzorků. Chyba vzorkování může být statisticky odhadnuta při použití vzorků založených na pravděpodobnosti.

chyba jako zdroj zkreslení

žádná data průzkumu nejsou zcela bez chyb. Aby však informace z průzkumu byly spolehlivé a platné, musí být informace bez významných chyb. Chyba je významná, pokud má takovou povahu nebo velikost, že by ovlivnila závěry auditu. Zaujatost zejména vytváří riziko významné chyby. Bias je chyba, která je způsobena systematickým zdrojem. Vzhledem k tomu, že je systematické povahy, zaujatost je pravděpodobné, že povede k nesprávným závěrům. Například při průzkumu malých podniků, které dostávají federální příspěvky nebo granty, mohou být podniky, které selhaly, méně dostupné než ty, které jsou úspěšné. Vzhledem k tomu, že vzorek by obsahoval nižší podíl neúspěšných podniků, než je tomu ve skutečnosti, úspěšnost příspěvků a spokojenost podniků s nimi by se mohla přeceňovat.

v průzkumech dochází k důležitému zdroji potenciální zaujatosti, když informace nelze získat od některých členů populace, kteří byli zařazeni do vzorku. Z tohoto důvodu musí průzkum zavést postupy ke snížení a kompenzaci nereagování a odhadu jeho dopadu.

další důležitý zdroj potenciálního zkreslení může nastat při použití postupů odběru vzorků bez pravděpodobnosti nebo při nesprávném podání pravděpodobnostního výběru. Chybu vzorkování tohoto typu často nelze statisticky odhadnout.

Controlling error

ačkoli chybu nelze nikdy zcela odstranit, lze ji snížit na přijatelnou úroveň pečlivým návrhem standardizovaných nástrojů pro sběr dat, implementací vhodných návrhů vzorků a postupů vzorkování, implementací odpovídajících postupů správy průzkumů a implementací postupů ověřování a opravy údajů, zejména postupů pro potvrzení odpovědí obdržených v odpovědi na dotazníky nebo dotazníkové rozhovory. Zejména musí být předzkoušeny nástroje pro sběr dat, aby se minimalizovaly nedostatky v jejich návrhu.

chyba je v některých datech obtížnější a nákladnější než u jiných. Při plánování auditu musí auditor určit potenciál významné chyby a zda hodnota, která má být získána z údajů z průzkumu, si zaslouží náklady a čas potřebný ke snížení chyby průzkumu na přijatelnou úroveň (viz Příručka VFM, část o dostatečných důkazech).