المتوسط والوسيط والانحراف المعياري في R

المتوسط والوسيط

أكثر ملخصين استخدامًا في الإحصاء كله هما استدعاء دالة واحد لكل منهما:

mpg <- mtcars$mpg

print(mean(mpg))
print(median(mpg))

تجمع mean() كل شيء وتقسم على العدد. وترتب median() القيم وتختار الوسطى منها (أو تحسب متوسط الوسطيين حين يكون العدد زوجيًا). وفي السيارات الاثنتين والثلاثين في mtcars يبلغ متوسط اقتصاد الوقود نحو 20.1 ميل لكل غالون، والوسيط 19.2، وهما متقاربان، ما يخبرك بأن البيانات غير ملتوية بشدة. وحين يتباعدان كثيرًا فتلك معلومة أيضًا، وسنصل إليها في النهاية.

وثمة أمر يفاجئ الجميع: إذا احتوى المتجه ولو على قيمة NA واحدة، أرجعت كلتا الدالتين NA:

x <- c(4, 8, NA, 6)

print(mean(x))
print(mean(x, na.rm = TRUE))

وهذا مقصود، فـ R يرفض التظاهر بهدوء بأن القيمة المفقودة غير موجودة. وتقول na.rm = TRUE: "احسب على القيم المتوفرة لديك". وتقبلها كل دالة تلخيص في هذه المقالة تقريبًا. أما القصة الكاملة لكيفية انتشار NA ففي القيم المفقودة.

الانحراف المعياري والتباين

تقيس sd() التشتت، أي تقريبًا كم تبعد القيمة النمطية عن المتوسط، بوحدات البيانات نفسها. وvar() هي مربعها:

mpg <- mtcars$mpg

print(sd(mpg))
print(var(mpg))
print(sd(mpg)^2)

انحراف معياري يبلغ نحو 6 أميال لكل غالون يعني أن السيارات تقع عادةً ضمن نحو 6 وحدات من المتوسط 20.1. ولأن sd() بوحدات البيانات نفسها فهي التي تُبلَّغ في التقارير، بينما تظهر var() غالبًا داخل صيغ أخرى.

وإليك التفصيلة التي تهم في المقررات الدراسية: تحسب sd() وvar() إحصاء العينة، إذ تقسمان مجموع مربعات الانحرافات على n − 1 لا على n:

x <- c(2, 4, 4, 4, 5, 5, 7, 9)
n <- length(x)

sample_var <- sum((x - mean(x))^2) / (n - 1)
population_var <- sum((x - mean(x))^2) / n

print(sample_var)      # what var(x) gives you
print(var(x))
print(population_var)  # divide by n instead

ولماذا n − 1؟ لأنك قدّرت المتوسط من البيانات نفسها، فتكون الانحرافات حول ذلك المتوسط المقدَّر أصغر قليلًا بشكل منهجي، والقسمة على n − 1 تصحح ذلك. ولأن بياناتك تكون دائمًا تقريبًا عينة من شيء أكبر، فإن صيغة n − 1 هي ما تريده. وإذا كنت تملك فعلًا المجتمع بأكمله (كل طالب في الصف، كل منتج في الفهرس)، فاضرب: var(x) * (n - 1) / n.

الخطأ المعياري للمتوسط

يُخلط باستمرار بين الانحراف المعياري والخطأ المعياري، فأبقِهما متمايزين: الانحراف المعياري يصف البيانات، والخطأ المعياري يصف تقديرك للمتوسط. ولا يملك R دالة se() مدمجة، لكن الصيغة سطر واحد:

mpg <- mtcars$mpg

se <- sd(mpg) / sqrt(length(mpg))
print(se)

يتقلص الخطأ المعياري مع كبر العينة، فاجمع أربعة أضعاف البيانات ينخفض إلى النصف، لأن العينة الأكبر تحدد المتوسط بدقة أعلى. أما الانحراف المعياري فلا يتقلص مع حجم العينة، إذ تبقى السيارات متباينة كما هي مهما قِست منها. والخطأ المعياري هو لبنة فترات الثقة، وهناك يثبت جدارته.

‏summary(): نظرة عامة في استدعاء واحد

تعطيك summary() الملخص الخماسي إضافة إلى المتوسط دفعة واحدة، وتعمل على أطر البيانات كاملة:

print(summary(mtcars$mpg))

print(summary(mtcars[, c("mpg", "wt", "hp")]))

وحين تُستدعى على إطار بيانات فإنها تلخص كل عمود: تحصل الأعمدة العددية على القيمة الصغرى والربيعات والمتوسط والقيمة الكبرى، وتحصل العوامل على أعداد لكل مستوى. وهي أول ما ينبغي تشغيله على أي مجموعة بيانات حمّلتها للتو، فالقيم المستحيلة (عمر سالب، أو قيمة قصوى 9999) تقفز إلى العين فورًا.

المئينات والمدى والمدى الربيعي

تعمّم quantile() الوسيط إلى أي نقطة قطع:

mpg <- mtcars$mpg

print(quantile(mpg))
print(quantile(mpg, probs = c(0.1, 0.5, 0.9)))

print(range(mpg))
print(IQR(mpg))
print(max(mpg) - min(mpg))

وبلا وسائط تُرجع القيمة الصغرى والربيعات والقيمة الكبرى. ومرّر probs = لنقاط قطع محددة، فالمئينان العاشر والتسعون أعلاه يحصران المكان الذي يعيش فيه معظم البيانات. وIQR()، أي المسافة بين المئينين الخامس والعشرين والخامس والسبعين، مقياس تشتت لا تجرّه القيم الشاذة خلافًا لـ sd(). وتُرجع range() القيمتين الصغرى والكبرى معًا.

المنوال: دالة mode() في R لا تفعل هذا

يقع الجميع في هذا الفخ مرة واحدة بالضبط. يملك R دالة اسمها mode()، ولا علاقة لها بالإحصاء، إذ تُبلغ عن نوع تخزين الكائن:

x <- c(3, 7, 7, 2, 7, 5, 3)

print(mode(x))   # "numeric" - not what you wanted

counts <- table(x)
print(counts)
print(names(which.max(counts)))

والصيغة الجديرة بالحفظ: تعدّ table(x) عدد مرات ظهور كل قيمة، وتجد which.max() أكبر عدد، وتستخرج names() القيمة نفسها. ولاحظ أنها تعود سلسلة نصية (فأسماء الجداول كذلك دائمًا)، فغلّفها بـ as.numeric() إن احتجت إلى الحساب بها. وإذا تعادلت قيمتان أرجعت which.max() الأولى فقط بصمت، فافحص الجدول بنفسك حين يكون التعادل واردًا.

المتوسط مقابل الوسيط: أيهما تُبلّغ عنه

يستخدم المتوسط كل قيمة، وهذه قوته وضعفه معًا، إذ تجرّه قيمة متطرفة واحدة. أما الوسيط فلا يهتم إلا بالمنتصف، فلا تكاد القيم الشاذة تمسه:

salaries <- c(42000, 45000, 47000, 48000, 51000, 54000, 58000)
print(mean(salaries))
print(median(salaries))

# The CEO joins the dataset:
salaries <- c(salaries, 900000)
print(mean(salaries))
print(median(salaries))

قيمة واحدة مضافة تدفع المتوسط من نحو 49,300 إلى ما يزيد على 155,000، وهو رقم لا يصف أحدًا في البيانات، بينما ينتقل الوسيط من 48,000 إلى 49,500 فقط. ولهذا يُبلَّغ عن الدخل وأسعار المنازل ومدد الإقامة في المستشفيات بالوسيط: فالبيانات الملتوية ذات الذيل الطويل تجعل المتوسط مضللًا. أما البيانات المتماثلة تقريبًا فيتفق فيها الاثنان ويكون المتوسط مناسبًا (وأكفأ إحصائيًا). ومدرج تكراري سريع يخبرك بأي الحالتين أنت، ومقارنة متوسطك بوسيطك هي بحد ذاتها فحص التواء من سطر واحد.

الخلاصة

• ‏mean(x) وmedian(x)، وأضف na.rm = TRUE عند وجود قيم مفقودة.
• تحسب sd(x) وvar(x) إحصاء العينة (بمقام n − 1)، وهو ما تريده.
• الخطأ المعياري هو sd(x) / sqrt(length(x))، وهو يقيس مدى معرفتك بالمتوسط لا مدى تشتت البيانات.
• استدعاء summary() على إطار بيانات جديد هو أسرع فحص سلامة في R.
• المنوال هو names(which.max(table(x)))، أما mode() في R فتتعلق بأنواع التخزين.
• للبيانات الملتوية أو ذات القيم الشاذة: أبلِغ عن الوسيط. وللبيانات المتماثلة: المتوسط مناسب.

في المستند التالي: قياس مدى تحرك متغيرين معًا، أي الارتباط عبر cor() وcor.test().