Citat fra Orientering, 1976:

Mindre analyser - større sikkerhed
Ved gennemførelse af kvantitative markedsanalyser lægges normalt vægt på, at udsnittet bliver stort for at tilsikre en "rimelig" sikkerhed. Jo flere interviews, jo større sikkerhed for et rigtigt resultat - altså et resultat, som svarer til de reelle forhold i det univers, vi ønsker at vide noget om. Ingen tvivl herom. Men forudsætningen er, at alt andet ved gennemførelsen af analysen er lige.
Denne forudsætning glemmes næsten altid.
Hvor mange undersøgelser er gennemført under henvisning til, at man har begrænset udsnittet for at opnå større sikkerhed?
Tværtimod. Under henvisning til det lille udsnit understreges usikkerheden, og at man må anvende resultaterne med varsomhed. Alt for ofte vurderes en undersøgelses sikkerhed i det væsentligste - og undertiden alene - på grundlag af, hvor mange man har spurgt.

Usikkerhederne
Grunden hertil er sikkert, at stikprøveusikkerheden kan beregnes. (En anden sag er, om man overhovedet nogensinde kan beregne stikprøveusikkerheden - ikke mindst på grund af bortfald af udtrukne respondenter. Men lad os glemme dette her. I praksis går man altså ud fra, at der er muligt.)
De andre usikkerheder - under ét benævnt systematiske fejl - er normalt umulige at beregne. Hvor forkert er resultatet, hvis et spørgsmål er lidt uheldigt formuleret) Hvor meget er respondenten påvirket af intervieweren?
I hvor høj grad er svarene præget af respondentens ønske om at tilfredsstille intervieweren? Hvad betyder trætheden for svarene på de sidste spørgsmål i interviewet? etc., etc.
Men usikkerheden bliver jo ikke mindre, fordi den ikke kan beregnes.

Hvordan indkøbes og vurderes analyser
Det normale ved gennemførelsen af en markedsanalyse er nok, at der er et maksimum for, hvad den må koste. Enten dette maksimum så er bestemt mere eller mindre mekanisk/administrativt eller på grundlag af, hvad man finder rimeligt at betale ud fra en vurdering af informationens værdi som beslutningsgrundlag.
For et bestemt beløb skal vi altså gennemføre en analyse, som giver så stor sikkerhed som muligt. Dette kan i det konkrete tilfælde være en analyse, hvor antallet af interviews er stærkt begrænset og pengene i stedet brugt til at reducere de systematiske fejl.
Dette er jo meget logisk - og muligvis også velkendt.
Det er blot ikke efter det hensyn, de fleste markedsanalyser indkøbes og vurderes. Prisen pr. interview er i mange tilfælde det vigtigste, netop fordi man for det givne budget ønsker så mange interviews som muligt.
For at undgå misforståelser er det ikke her tænkt på de såkaldte kvalitative enkeltinterviews (dybdeinterviews) eller gruppeinterviews. Vi taler om de kvantitative undersøgelser, hvor vi forsøger at få et indtryk af hele universet. Altså de repræsentative undersøgelser. Hvor mange af disse bliver gennemført under fornødent forsøg på at begrænse de systematiske fejl?
Der kan nævnes mange ting, som der burde være taget stilling til inden undersøgelsens start. For eksempel: Er der mulighed for at misforstå de formulerede spørgsmål? Er nogle spørgsmål ledende og derved giver mulighed for at påvirke respondenten til et bestemt svar? Forstår intervieweren meningen med spørgsmålet - eller laver hun det om, fordi det falder mere mundret, hvorved der svares på andet end det, analyseplanlæggeren tror? Forstår intervieweren spørgeskemaets opbygning - og er hun helt klar over, hvornår der må gives en uddybning af spørgsmålet, og hvornår dette absolut ikke må finde sted?
Det koster penge - og tager tid - at begrænse disse fejlmuligheder. Personlig interviewerinstruktion og prøveinterviews for blot at nævne 2 udgiftsposter. Derfor undlades begge dele ofte. Vi ved ikke, hvor skævt et resultat vi hermed får, og det er derfor nemt at tilbagevise det som uvæsentligt.
Det skulle ikke være nødvendigt at understrege betydningen af de systematiske fejl - og det er behandlet en del i den foreliggende markedsanalyse-litteratur. Det burde derfor være definitivt slut med at prioritere udsnitsstørrelsen så højt, som det faktisk er tilfældet.

Lipstein's hypotese
Forholdet blev taget op på Esomar konferencen i Montreux af Dr. Benjamin Lipstein fra SSC&B:Lintas under titlen "On the Limits of Reliability in Social and Commerce Surveys".
Lipstein kom bl.a. ind på en undersøgelse, gennemført af ARF (Advertising Research Foundation), som viste, at kun 62,6% af undersøgte interviews var blevet gennemført korrekt med den rigtige person, på det rigtige sted, på den rigtige måde, uden uoverensstemmelser. Og det skal måske lige understreges, at det ikke var nogen lille undersøgelse! 7.127 interviews blev checket af ialt 30.000 interviews fra 33 undersøgelser.
Her skal også nævnes Lipstein's tankevækkende hypotese om, at en forøgelse af en analyses omfang og størrelse kan medføre en større systematisk fejl, fordi flere interviewere samt flere folk til kode-arbejdet kobles ind på undersøgelsen. Det interessante spørgsmål er derfor, om stikprøvesikkerheden formindskes hurtigere end de systematiske fejl stiger ved en forøgelse af udsnittet.
Eller sagt på en anden måde. Hvis man finder det nødvendigt at forøge udsnittet væsentligt, må man også forøge pengene til at nedsætte de systematiske fejl, såfremt der totalt skal opnås en større sikkerhed.
Interessant ville det være at få en nogenlunde eksakt viden om, hvad stikprøveusikkerheden betyder i forhold til de systematiske fejl. Lipstein selv regner som en tommelfingerregel med, at standardafvigelsen af felt-undersøgelser er mindst dobbelt så stor som den teoretiske sampling-fejl (stikprøveusikkerheden), "men der er grund til at tro, at den er større i mange kommercielle undersøgelser".
Dobbelt så stor eller mere - der er i hvert fald grund til a koncentrere sig nok så meget om at nedsætte de systematiske fejl.
Derfor også grund til at opremse Lipstein's 9 regler, som er væsentlige for at begrænse de analyse-skævheder, som ikke skyldes stikprøveusikkerheden:

1. Undersøgelsen skal være så enkel som mulig at gennemføre
2. Etabler en procedure med formålet at vedligeholde såvel respondentens som interviewerens interesse for undersøgelsen
3. Tilstræb at minimere trætheden ved deltagelse
4. Stil ikke forbrugerne spørgsmål, som de egentlig ikke kan besvare
5. Gør det til en regel selv at gennemgå interviewet for at bedømme muligheden for at svare samt trætheden - pretest spørgeskemaet - en gammel grundregel
6. Begræns spørgeskemaet til de data, som er væsentlige for hovedformålet
7. Forvent ikke at få intervieweren til at gøre det umulige. Dette opfordrer blot til snyderi og sløseri
8. Roker om muligt nøglespørgsmål for at få kendskab til, hvornår respondentens træthed melder sig
9. Brug den mindst mulige udsnitsstørrelse, som er forenelig med analysens formål
   

Kilde: Ebbe Berg: Mindre analyser - større sikkerhed. Orientering fra reklamebureauet. Februar 1976.