در مقایسه با چه؟
مدرسه‌ای یک برنامه‌ی تازه‌ی کتاب‌خوانی را برای یک ترم به ۳۰ کودک می‌دهد. اول ترم کودکان یک آزمون خواندن می‌دهند و آخر ترم یکی دیگر. هر ۳۰ نفر آخر ترم بهتر می‌خوانند. شرکتی که برنامه را ساخته خیلی خوشحال است: «برنامه جواب می‌دهد!» آیا واقعاً جواب می‌دهد؟
بهتر از چه؟
کودکان واقعاً بهتر شدند. اما کودکانی که به مدرسه می‌روند در یک ترم در هر حال خواندنشان بهتر می‌شود: سر کلاس می‌خوانند، در خانه می‌خوانند، تابلوها را می‌خوانند. پرسش واقعی این نیست که «بهتر شدند؟»، بلکه این است که «بهتر از وقتی شدند که برنامه را نداشتند؟»
بالا رفتنِ نمره به تنهایی نمی‌تواند به این پرسش جواب بدهد. چیزی لازم است که با آن مقایسه شود.
گروهی بدون آن
پس سال بعد، مدرسه جور دیگری کار می‌کند. یک گروه از کودکان برنامه را می‌گیرد. گروهی دیگر، هم‌سن، در همان مدرسه و در همان ترم، نمی‌گیرد. بقیه‌ی چیزها یکسان است: درس‌ها، معلم‌ها، آزمون‌ها. به گروهی که چیزِ مورد آزمون را نمی‌گیرد گروه کنترل (control group) می‌گویند.
آخر ترم، هر دو گروه بهتر شده‌اند، تقریباً درست به یک اندازه.
پس برنامه تقریباً چیزی اضافه نکرد. بیشترِ این پیشرفت در هر حال پیش می‌آمد. گروه کنترل نشان داد «در هر حال» چه شکلی است. این همان آزمون منصفانه‌ی درس «هر بار فقط یک تغییر» است، این بار روی آدم‌ها: آن یک تغییر برنامه است، و گروه کنترل همه‌ی چیزهایی است که ثابت نگه داشته شده‌اند.
«بهتر شد» کافی نیست
خیلی چیزها خودبه‌خود بهتر می‌شوند: خواندنِ کودکان، گردنی که گرفته، مغازه‌ای که بعد از تعطیلات خلوت است. پس وقتی کسی می‌گوید «فلان کار را کردم و بعد اوضاع بهتر شد»، اولین پرسش این است: در مقایسه با چه؟ بدون آن کار چه اتفاقی می‌افتاد؟
در خانه امتحان کنید
- ادعایی مثل «این کار را کردم و بعد فلان چیز بهتر شد» پیدا کنید: از یک تبلیغ، از یک دوست یا از خودتان.
- بپرسید: بدون آن کار چه می‌شد؟ آیا در هر حال بهتر می‌شد؟
- آزمونی با گروه کنترل طراحی کنید: چه کسی آن چیز را می‌گیرد، چه کسی نمی‌گیرد، و چه چیزهایی را ثابت نگه می‌دارید؟
واژه‌های این درس
- گروه کنترل - گروهی در آزمون که چیزِ مورد آزمون را نمی‌گیرد، تا نشان بدهد در هر حال چه اتفاقی می‌افتاد
- مقایسه کردن - دو چیز را کنار هم نگاه کردن تا ببینیم چه فرقی دارند
ایده‌ی اصلی
«بهتر شد» چیز زیادی را ثابت نمی‌کند، چون خیلی چیزها خودبه‌خود بهتر می‌شوند. گروه کنترل، که در همه‌چیز یکسان است جز همان چیزِ مورد آزمون، نشان می‌دهد در هر حال چه اتفاقی می‌افتاد.