Idag tog vi upp frågan om vad som är god vetenskap. Hur gör man ett bra jobb inom vetenskaplig forskning, och vad kan det finnas för brister i en vetenskaplig undersökning?

Som ett litet exempel på en studie tog vi upp Alex studie om hur svårt filosofiprovet i semantik var (43,71%, tydligen). Jag bad er att svara på fyra frågor:

Vad var ”rätt svar”? Inte helt okomplicerat, men, spoiler alert:

Visa hur läraren har tänkt med svaren

På första frågan om validitet svarade jag ”nej”. Det finns flera problem här.

Dels är det ju så att urvalet (se fråga 3) inte har gjorts på ett systematiskt sätt. Som en av er sa kan det ju vara så att de som jag inte tillfrågade upplevde provet på ett annorlunda sätt än de jag tillfrågade, och det är ju svårt för mig att veta eftersom jag bara frågade lite på måfå. Kanske fanns det någon tendens som gjorde att jag fick kontakt med elever som tyckte att provet var extra svårt, eller tvärtom.

Dels verkar det som studien är väldigt inriktad på att mäta elevernas upplevelse av provet, utifrån någon sorts subjektiv skattning. De slutsatser som jag försöker dra gäller snarare provets egenskaper i sig. Här kan man undra om det verkligen finns ett tydligt samband mellan hur 17 elever upplever provet och hur svårt provet är.

På andra frågan om reliabilitet svarade jag också ”nej”. Även här finns flera problem.

Ett av problemen är att frågan måste tolkas av varje person. Som någon av er sa, så kanske vissa elever tolkar ”100% svårt” som världshistoriens svåraste prov, medan andra kanske tolkar det som ”ett svårt prov” bara. Dessutom kan det vara så att flera elever inte hade någon direkt känsla för hur svårt provet var och bara ”drog till med en siffra”. Dessa saker bidrar till att forskaren inte får så högkvalitativ information – det blir en del ”slumpmässiga faktorer” som påverkar.

Samtidigt lyfte Max fram att det finns en viss tillförlitlighet – reliabilitet – i metoden. Det var ju (ungefär) samma fråga som ställdes till alla, och det är inte som om man bara hade slumpat fram procenten med tärning. Man kan tänka sig att man hade fått liknande svar om man hade gjort provet och studien en annan dag.

Reliabilitet och validitet är egentligen inte ”ja eller nej”-fenomen, utan kan finnas i olika grader. Det gäller egentligen alla fyra Ja/Nej-frågor.

På tredje frågan om urvalet, valde jag dock återigen ”nej”. Här fanns en brist i att Alex bara frågade ”eleverna han träffade”. Här finns en stor risk att de eleverna som Alex råkade träffa inte var helt representativa för klassen. Utöver detta fanns ett ännu större problem, som en av er pekade på: Här har vi ju bara studerat hur en enda klass i en enda skola betraktar provet. Har vi någon anledning att tro att den här klassen eller den här skolan är speciellt representativa? Allt detta är problem med urvalet.

På den fjärde frågan om presentationen, så valde jag återigen ”nej”. Det största och mest uppenbara problemet är att Alex har ”lagt till” en massa saker bland sina resultat, som han egentligen inte alls har utrett, och inte fått några belägg för, som exempelvis att filosofi är ett svårt ämne, och att filosofi är ett viktigt ämne.

Dock pekade Karin på att Alex inte hade förfalskat sina resultat när det gällde procenten. Han använde faktiskt precis de data han hade samlat in för att beräkna sitt medelvärde. I den här delen kan man säga att Alex ärligt presenterade sina faktiska resultat. Problemet var snarast att Alex hade ”bäddat in” detta i en massa egna åsikter eller spekulationer.

Att dessa spekulationer dessutom var normativa gör saken ännu mer komplicerad. Det är svårt att tänka sig hur man någonsin skulle kunna göra en studie som visar att filosofi är ett svårt eller viktigt ämne, eller att ämnet borde få mer tid i skolan.

Vi diskuterade också olika sätt att förbättra studien. Här hade Frans flera konstruktiva förslag. Ett övergripande tema i förslagen är att god forskning kräver en viss försiktighet (utan överdrivna slutsatser av de egna resultaten) och en viss eftertänksamhet (man måste reflektera över om de metoder man använder faktiskt fungerar för att undersöka den fråga man är intresserad av).

Efter att ha diskuterat vad god vetenskap är, gick vi vidare till den mer grundläggande frågan om vad vetenskap är.