اگر فاصله اطمینان میانگینهای دو گروه همپوشانی (overlap) داشت آیا این به معنی عدم تفاوت معنادار بین دو گروه است؟
این سوالی است که از طرف افراد مختلف به کراّت با آن مواجه شده ام بنابراین قصدم دارم در این مطلب،توضیح نسبتا مبسوطی درباره آن ارائه دهم. فرض بر این است که خواننده با مفهوم فرض آزمایی آماری، خطای استاندارد میانگین، فاصله اطمینان و سطح معناداری آشنایی دارد.
در بررسی معناداری تفاوت بین میانگین دو گروه، عموما از آزمون t گروههای مستقل استفاده میشود که فرمول عمومی آن (با فرض برابری حجم نمونه در هر گروه) به قرار زیر است:
برای محاسبه فاصله اطمینان تفاوت بین دو میانگین، از مقدار حاصل از مخرج فرمول فوق استفاده میشود. بعبارت دیگر، فاصله اطمینان تفاوت بین دو میانگین متناسب با جذر حاصلجمع مجذور خطاهای استاندارد (
) دو نمونه است. در مقابل، جهت محاسبه فاصله اطمینان برای یک میانگین از خطای استاندارد استفاده میکنیم و نه مجذور آن. فرمول فاصله اطمینان برای یک میانگین (با فرض توزیع نرمال) به قرار زیر است:
در رابطه فوق، z مقدار متناسب با سطح معناداری (دوطرفه) در توزیع نرمال استاندارد است. زمانی تفاوت دو میانگین بلحاظ آماری (در سطح آلفا برابر با 0.05) معنادار است که رابطه 
(با فرض توزیع نرمال) بزرگتر از صفر باشد. به بیان دیگر، فاصله اطمینان تفاوت دو میانگین شامل صفر نمیشود.
حال ببینیم در این شرایط، فاصله اطمینان میانگین گروهها چه وضعیتی دارند. برای این که دو فاصله اطمینان همپوشانی نداشته باشند باید حد بالای میانگین کوچکتر (فرض کنیم گروه 2 میانگین کوچکتری دارد) از حد پایین میانگین بزرگتر (گروه 1) مقدار کمتری داشته باشد. مثلا در سطح آلفا برابر با 0.05 باید رابطه زیر برقرار باشد:
با مرتب کردن رابطه بالا و قرار دادن هر دو میانگین در سمت چپ نامعادله، می توانیم مقایسه زیر را انجام دهیم:
رابطه اول مربوط به تفاوت میانگین ها و رابطه دوم مربوط به تفاوت فاصله اطمینان هاست. به آسانی می توان نشان داد که جذر حاصلجمع مجذور دو عدد (در رابطه بالایی) همواره از مجموع آن دو عدد (یعنی SE1+SE2) کوچکتر است. بنابراین حالتی می تواند پیش آید که تفاوت میانگین ها معنادار باشد اما فاصله اطمینان دو میانگین همچنان همپوشانی داشته باشند. بعبارت دیگر، رابطه اول برقرار باشد اما رابطه دوم برقرار نباشد. بنابراین زمانی که تفاوت بین دو فاصله اطمینان زیاد باشد (همپوشانی نداشته باشند) می توان گفت که قطعا تفاوت معناداری بین میانگین دو گروه وجود دارد اما عکس این مطلب صادق نیست.
بعنوان مثال حالتی را در نظر بگیرید که میانگینها به ترتیب 15 و 13، حجم نمونه هر گروه 20 و انحراف استاندارد هر گروه نیز برابر با 3 است. در این حالت(با فرض توزیع نرمال) خطای استاندارد (SE) در سطح آلفا برابر با 0.05 عبارتست از 0.67 و تفاوت بین دو میانگین معنادار است (سطح معناداری مشاهده شده = 0.0175). این در حالیست که درصد همپوشانی بین دو فاصله اطمینان حدود 48% است. نمودار فاصله اطمینان ها برای این مثال بقرار زیر است:
برای بررسی بیشتر این موضوع می توانید از این
فایل اکسل (حجم: 14.8 کیلوبایت) که برای محاسبه و تولید نمودار فوق بکار رفته است، استفاده کنید.
جمع بندی: بنابراین پاسخ کلی به سوال مطرح شده خیر است چون حالتی هم هست که علیرغم وجود همپوشانی، تفاوت معنادار است. اما اگر همپوشانی وجود نداشت حتما تفاوت معنادار است.