Är dessa undersökningar vetenskapliga?
Det finns i allmänhet två kriterier som samhällsvetare använder sig av för att utvärdera en undersöknings kvalitet: dess validitet och dess tillförlitlighet. Validitet avser huruvida undersökningen faktiskt mäter det som den säger att den gör. Tillförlitlighet avser huruvida den information som undersökningen genererar kan upprepas om undersökningen skulle genomföras igen.
Vi har starka bevis för att våra undersökningar är både giltiga och tillförlitliga. Frågorna i undersökningarna utformas professionellt av experter på CR:s undersökningsavdelning i samråd med våra fordonsingenjörer och statistiker. Medlemmarna i vårt undersökningsteam har avancerade examina och många års erfarenhet av att genomföra alla typer av konsumentundersökningar. I undersökningarna används en teknik med hjälp av svarsstöd som leder respondenterna genom väldefinierade specifika punkter och ger varje respondent samma perspektiv när han eller hon svarar på frågorna. De uppgifter som vi rapporterar stämmer väl överens med andra informationskällor om reparationer och tillförlitlighet som finns på marknaden. Från år till år är våra medlemmars rapporter om sina problemupplevelser ganska konsekventa; när det finns en skillnad för en viss modell kan vi ofta hänföra den till kända problem med en viss komponent i en bil.
Baseras undersökningarna på ett representativt urval?
Ett urval anses vara representativt för en population om de relevanta egenskaperna hos populationen återspeglas i urvalet. Att ta hänsyn till den berörda populationen är alltså avgörande för att utvärdera kvaliteten på ett urval. Vårt undersökningsurval är uttaget från populationen av Consumer Reports medlemmar. Alla medlemmar uppmanas att delta i undersökningarna, men deltagandet är frivilligt och det finns alltid en möjlighet att de som svarar är unika på något särskilt sätt. Till exempel har medlemmarna ibland ifrågasatt om de som svarar är de som har klagomål på sina bilar.
En anledning till detta är att våra undersökningar är omnibusundersökningar, där medlemmarna inte bara tillfrågas om sina bilar utan också om ett dussintal andra produkter och större tjänster som de har använt (t.ex. försäkringar, kabeltjänster, mobiltelefonabonnemang och flygbolag). Många medlemmar returnerar enkäter där de rapporterar att de inte haft några problem alls med sina bilar under det senaste året. Detta gäller för alla bilmärken och bilmodeller. Så ägare med klagomål på sina bilar är inte de enda som returnerar enkäterna.
Alla undersökningar har någon form av urvalsram som begränsar de personer som undersöks. Vi väljer våra medlemmar som vår urvalsram. I genomsnitt tenderar CR-medlemmar att vara mer välutbildade och välbärgade än den allmänna befolkningen. Med tillväxten av Consumer Reports online har ett bredare demografiskt spektrum av individer undersökts under de senaste åren. I våra frågor om tillförlitlighet frågar vi dock inte respondenterna om deras attityder eller åsikter om deras bilars tillförlitlighet, där man skulle kunna förvänta sig att olika grupper av individer skulle ha olika perspektiv. Istället frågar vi efter saklig information om huruvida specifikt definierade problem har uppstått; denna typ av frågor är mindre känsliga för karaktären hos egenskaperna hos själva urvalet.
För övrigt stämmer våra resultat väl överens med andra källor för tillförlitlighetsinformation som finns tillgängliga på marknaden.
Dina undersökningsresultat stämmer inte överens med min erfarenhet. Är era undersökningar felaktiga?
Även i de mest opålitliga modellerna har vissa enskilda bilägare tur och upplever få eller inga problem under de 12 månader som undersökningen omfattar. I en av de sämsta modellerna i våra senaste undersökningar rapporterade till exempel cirka 55 procent av ägarna problem inom minst ett problemområde under de senaste 12 månaderna; detta innebär naturligtvis att cirka 45 procent av ägarna inte rapporterade några problem. Din granne eller vän kan vara en av dessa lyckliga ägare. Det motsatta kan naturligtvis också hända – även i en modell som tenderar att vara ganska pålitlig finns det en och annan ”citron”.
Då det genomsnittliga antalet problem är litet för de flesta modeller, överbetonar Consumer Reports skillnader som kanske inte är viktiga?
Ovanför den statistiska betydelsen tror vi att dessa skillnader också är meningsfulla för bilköparna. Vi anser att bilköpare bör förvänta sig att en ny bil är helt problemfri under de första månaderna eller åren. Även om skillnaden mellan två betyg kan vara liten, bör ett mönster med flera mindre än perfekta problemställen i en helt ny bil ge anledning till oro och bådar inte gott för en modells tillförlitlighet på lång sikt. Vi har inte sett många modeller i vår undersökning som är helt problemfria. 2019 års Mazda MX-5 Miata har mycket få problem och är nästan 40 gånger bättre än Volkswagen GTI, som har flest problem bland 2019 års modeller. Dessa skillnader mellan modellerna är viktiga för bilköpare att ta hänsyn till när de väljer bil. Vi presenterar dessa poäng för problemområden i första hand för att konsumenter ska kunna jämföra den relativa förekomsten av problem mellan olika modeller. Även om det inte finns några garantier kan du förbättra dina chanser att köpa en pålitlig bil om du väljer en modell som har haft en lägre andel problem tidigare.
Vissa människor underhåller sina bilar annorlunda än andra. Hur påverkar detta betygen?
Det största växande problemområdet för bilar av senare modell är elektroniken i bilen: infotainment, underhållning, telefonkoppling och navigationssystem. Andra problemområden är klimatsystemet (A/C-kompressor, kondensator, värmesystem) och kraftutrustningen (karossstyrningsmodul, mätare och varningslampor). Underhållet påverkar inte dessa punkter. Problem inom dessa områden kan snarare återspegla den inneboende konstruktionen eller kvaliteten.
Hur tar man hänsyn till skillnader i körsträcka?
Fordon med högre körsträcka kommer troligen att uppleva fler problem än fordon i samma ålder med lägre körsträcka. Vi justerar våra analyser för att minimera skillnaderna mellan modellerna på grund av varierande körsträcka. Våra uppgifter är standardiserade efter körsträcka genom att dela in bilar av varje modell i grupper med hög, medelhög och låg körsträcka och använda den statistiska tekniken för direkt standardisering.
