تعلّمك هذه الدورة من أكاديمية إشراقة 7 تحليل البيانات باستخدام Python، من أساسيات اللغة إلى أول نموذج لتعلّم الآلة متحقَّق منه. وتعمل الفصول الاثنا عشر على الحالة الدراسية نفسها، وهي النشاط التجاري لموزّع معدات مكتبية، وتنتهي بمشروع متكامل تولّد الشيفرةُ تقريره.
المسار التعليمي
| المستوى | الفصول |
|---|---|
| مبتدئ | 1. الخطوات الأولى · 2. المتغيرات والبنى · 3. الشروط والحلقات والدوال · 4. الملفات والبيئات |
| متوسط | 5. NumPy · 6. pandas · 7. التنظيف · 8. التحليل الاستكشافي · 9. الإحصاء الوصفي · 10. Matplotlib |
| متقدم | 11. تعلّم الآلة بواسطة scikit-learn · 12. المشروع النهائي |
ملفات الدورة
يقدّم قسم التنزيل: الدليل الكامل، ودفتر التمارين، والحلول المشروحة، ودليل التثبيت، وتقرير المشروع النهائي بصيغة PDF؛ وبيانات CSV؛ والسكربتات الاثني عشر بلغة Python؛ ودفاتر Jupyter (حلول منفَّذة وتمارين للإكمال)؛ والملف requirements.txt؛ وحزمة تطبيقية كاملة (البيانات والسكربتات والدفاتر والملف requirements.txt، دون ملفات PDF).
المستوى 1 · مبتدئ — الفصل 1
Python لتحليل البيانات: الخطوات الأولى
أصبحت Python اللغة المرجعية لتحليل البيانات: فهي مجانية، وسهلة القراءة، وتحيط بها منظومة من المكتبات المتخصصة. يهيّئ هذا الفصل بيئة العمل وينفّذ أول سكربت يقرأ ملف بيانات حقيقيًا.
لماذا Python للبيانات
يبلغ جدول البيانات حدوده بسرعة: حسابات تُكرَّر يدويًا، وملفات ضخمة، ومعالجات يصعب إعادتها. أما سكربت Python فيصف كل خطوة كتابةً؛ فتعيد تشغيله على بيانات الشهر التالي فيطبّق المعالجة نفسها دون سهو. وتشكّل مكتبات الدورة سلسلة متكاملة:
| المكتبة | الدور | الفصول |
|---|---|---|
csv وpathlib وjson (قياسية) |
قراءة الملفات وكتابتها | 1 إلى 4 |
| NumPy | الحساب العددي على المصفوفات | 5 |
| pandas | جداول البيانات: القراءة والربط والتجميع والتنظيف | 6 إلى 9 |
| Matplotlib | الرسوم البيانية | 10 |
| scikit-learn | تعلّم الآلة | 11 |
تهيئة البيئة
- ثبّت Python 3.13 من python.org (في Windows، حدّد «Add python.exe to PATH»). وقد نُفّذت السكربتات بالإصدار Python 3.13.
- فكّ ضغط أرشيف الدورة في مجلد قصير المسار، مثل
C:\ISHRAQA7\python\. ويحتوي علىdata/وscripts/وnotebooks/وrequirements.txt. - أنشئ البيئة وثبّت المكتبات؛ والإجراء المفصّل في الفصل 4 وفي دليل التثبيت.
- شغّل
jupyter labمن هذا المجلد، فيعرض المتصفح شجرة المشروع.
يُنفَّذ السكربت (.py) دفعة واحدة: python scripts/ch01.py. أما دفتر Jupyter (.ipynb) فيقسّم الشيفرة نفسها إلى خلايا تُنفَّذ واحدة تلو الأخرى، وتظهر النتائج أسفل كل خلية: إنه الأداة المثلى للاستكشاف. ويُقدَّم كل فصل بالشكلين، إضافة إلى دفتر تمرين للإكمال.
أول سكربت
import csv
from pathlib import Path
DATA = Path('data')
with open(DATA / 'orders.csv', encoding='utf-8', newline='') as f:
orders = list(csv.DictReader(f))
print('عدد الطلبيات:', len(orders))
print('الطلبية الأولى:', orders[0])
تحوّل csv.DictReader كل صف إلى قاموس مفاتيحه هي عناوين الأعمدة: فيعطي orders[0]['status'] حالة الطلبية الأولى. ويضمن المعامل encoding='utf-8' قراءة الحروف العربية والمشكَّلة قراءة صحيحة. ويعرض السكربت 3,307 طلبية.
العدّ حسب الفئة
by_status = {}
for o in orders:
by_status[o['status']] = by_status.get(o['status'], 0) + 1
print(by_status)
تُرجع الدالة get(key, 0) القيمة 0 حين لا يكون المفتاح موجودًا بعد، فيمتلئ القاموس مع تقدّم الحلقة. النتيجة: 3,108 طلبية مسلَّمة، و117 ملغاة، و82 مُرجَعة.
الحالة الدراسية للدورة
تستعمل جميع الفصول مجموعة البيانات نفسها: نشاط موزّع معدات مكتبية في سنتي 2024 و2025 (الطلبيات وأسطرها، والعملاء، والمنتجات، والجهات، والقنوات، والأهداف)، إضافة إلى مستخرَج معيب عن قصد لتمارين التنظيف. ويجمع مشروع أكاديمية إشراقة 7 في الفصل 12 كل المراحل.
المستوى 1 · مبتدئ — الفصل 2
المتغيرات والأنواع وبنى البيانات
قبل تحليل آلاف الصفوف، ينبغي معرفة كيفية تمثيل قيمة واحدة، أو قائمة قيم، أو سجلّ كامل. يعرض هذا الفصل الأنواع الأساسية في Python والبنى الأربع التي تُستعمل باستمرار.
المتغيرات والأنواع
product_id = 'P11' # str: نص
quantity = 4 # int: عدد صحيح
unit_price = 2450.0 # float: عدد عشري
delivered = True # bool: صحيح أو خطأ
print(f'{quantity} × {unit_price:,.2f} = {quantity * unit_price:,.2f}')
المتغير اسم مرتبط بقيمة، وتستنتج Python النوع من القيمة. وتُدرج سلسلة f (f-string، أي السلسلة المسبوقة بالحرف f) تعابير بين أقواس معقوفة وتنسّقها: فالتنسيق :,.2f يعرض رقمين عشريين مع فاصل الآلاف.
تحويل ما نقرؤه
لا يحتوي ملف CSV إلا على نصوص. لذا نحوّل صراحة قبل الحساب: int('4') وfloat('2450.00'). والتحويل المستحيل (int('4 pcs')) يرفع خطأ ValueError، وهذا مفيد: إذ يُنبَّه إلى المعطى غير المتوقع بدل أن يُفهم خطأً في صمت (الفصل 3).
with open(DATA / 'products.csv', encoding='utf-8', newline='') as f:
products = [
{'id': r['product_id'], 'name': r['product_name'], 'cat': r['category_code'],
'price': float(r['list_price']), 'cost': float(r['unit_cost'])}
for r in csv.DictReader(f)
]
هذه الكتلة استيعاب قائمة: تبني قائمة بتعبير واحد انطلاقًا من كل صف مقروء. فنحصل على 30 منتجًا بأسعار وتكاليف عددية.
أربع بنى لأربعة استعمالات
| البنية | الكتابة | الخاصية | الاستعمال المعتاد |
|---|---|---|---|
| القائمة (list) | [2450.0, 52.0] |
مرتّبة وقابلة للتعديل | سلسلة قيم |
| الصف (tuple) | (52.0, 'P15') |
مرتّب وغير قابل للتعديل | زوج أو سجلّ ثابت |
| المجموعة (set) | {'FUR', 'ITE'} |
بلا تكرار وبلا ترتيب | القيم المميَّزة واختبارات الانتماء |
| القاموس (dict) | {'P11': 2450.0} |
مفتاح ← قيمة | البحث السريع بالمعرّف |
prices = [p['price'] for p in products]
cheapest = min((p['price'], p['id']) for p in products)
categories = {p['cat'] for p in products}
price_of = {p['id']: p['price'] for p in products}
أرخص منتج هو P15 (52.00 درهم)، لأن min تقارن الصفوف بعنصرها الأول، أي السعر. وتضم المجموعة categories أربعة رموز، ويجد القاموس price_of السعر دون المرور على القائمة، كدالة VLOOKUP فورية.
الترتيب بمفتاح
top5 = sorted(((p['id'], p['price']) for p in products),
key=lambda t: t[1], reverse=True)[:5]
تقبل sorted دالة key تحدّد معيار الترتيب، وlambda t: t[1] دالة صغيرة مجهولة الاسم تُرجع السعر. ويحتفظ التقطيع [:5] بالعناصر الخمسة الأولى.
المستوى 1 · مبتدئ — الفصل 3
الشروط والحلقات والدوال والوحدات
تجمع معالجة البيانات بين القرارات (إذا… فإن…)، والتكرار (لكل صف…)، والعمليات القابلة لإعادة الاستعمال. يعلّمك هذا الفصل كتابة دوال واضحة والاعتماد على وحدات المكتبة القياسية.
الدوال: تسمية قاعدة مهنية
def net_amount(quantity, unit_price, discount_rate=0.0):
"""المبلغ الصافي للسطر: الكمية × السعر × (1 − الخصم)."""
return quantity * unit_price * (1 - discount_rate)
print(net_amount(4, 2450.0, 0.05)) # 9310.0
للدالة اسم، وتستقبل معاملات، وتُرجع نتيجة بواسطة return. وللمعامل discount_rate=0.0 قيمة افتراضية، فيمكن إغفاله. وتوثّق السلسلة المحصورة بين علامات تنصيص ثلاثية، أي docstring، القاعدةَ. وكتابة القاعدة مرة واحدة تمنع وجود ثلاث نسخ مختلفة منها في الشيفرة.
الحلقات وقاموس المرجع
orders = {o['order_id']: o for o in read_csv('orders.csv')}
total_by_status = {}
for l in lines:
status = orders[l['order_id']]['status']
amount = net_amount(int(l['quantity']), float(l['unit_price']), float(l['discount_rate']))
total_by_status[status] = total_by_status.get(status, 0) + amount
يجب أن يجد كل سطر طلبية حالةَ طلبيته. ويؤدي القاموس orders، المفهرس برقم الطلبية، دور جدول المطابقة. النتيجة: 28,654,029.30 درهم للطلبيات المسلَّمة، و1,090,232.00 درهم للملغاة، و802,042.15 درهم للمُرجَعة. ولا يمثّل المبيعات المحقَّقة إلا المبلغ الأول.
الشروط
def size_class(amount):
if amount >= 10000:
return 'L'
elif amount >= 2000:
return 'M'
return 'S'
تُختبر الشروط بالترتيب، ويُعتمد أول شرط صحيح، لذا فترتيب العتبات تنازليًا أمر أساسي. ومن أصل 8,472 سطرًا: 417 كبيرة، و4,949 متوسطة، و3,106 صغيرة.
الوحدات
تجمع الوحدة (module) دوالّ جاهزة: فالأمر import statistics يتيح استعمال statistics.mean وmedian وstdev. وتضم المكتبة القياسية أيضًا csv وjson وpathlib وdatetime. ويمكن حفظ دوالك الخاصة في ملف tools.py واستيرادها في عدة سكربتات.
معالجة الأخطاء
try:
q = int(text)
except ValueError:
q = None # قيمة يُنبَّه إليها وتُعالَج لاحقًا
تلتقط try … except خطأً متوقعًا. فلا تلتقط إلا الخطأ المنتظر (ValueError)، ولا تلتقط كل الأخطاء أبدًا: فعبارة except: المجرّدة تخفي أيضًا أخطاء الكتابة في الشيفرة.
المستوى 1 · مبتدئ — الفصل 4
الملفات والتبعيات والبيئات
يجب أن يكون مشروع التحليل قابلًا للنقل والمشاركة وإعادة التثبيت دون مفاجآت. يتناول هذا الفصل مسارات الملفات، وصيغ التبادل، والبيئات الافتراضية، والملف requirements.txt.
مسارات قابلة للنقل بواسطة pathlib
from pathlib import Path
ROOT = Path(__file__).resolve().parent.parent # مجلد المشروع
DATA = ROOT / 'data'
for p in sorted(DATA.glob('*.csv')):
print(f'{p.name:<24} {p.stat().st_size:>9,} بايت')
يجمع العامل / أجزاء المسار بالفاصل الصحيح في Windows و macOS و Linux. وحساب ROOT انطلاقًا من موقع السكربت (__file__) يتيح تشغيله من أي مجلد. وفي الدفتر، حيث لا يوجد __file__، تستعمل سكربتات الدورة المجلد الأب للدفتر. ويحتوي المجلد data على 11 ملف CSV.
صيغ التبادل
| الصيغة | المزايا | نقاط الانتباه |
|---|---|---|
| CSV | عامة وواضحة وخفيفة | الفاصل والترميز والأعداد العشرية، وكل شيء نصّ |
| JSON | بنى متداخلة وأنواع بسيطة | أقل ملاءمة للجداول الكبيرة |
| Excel (.xlsx) | تقرؤه كل المصالح | التنسيقات والخلايا المدمجة تربك القراءة |
inventory = [{'file': p.name, 'bytes': p.stat().st_size, 'rows': rows[p.stem]} for p in files]
target = OUT / 'inventory.json'
target.write_text(json.dumps(inventory, ensure_ascii=False, indent=1), encoding='utf-8')
يحافظ الخيار ensure_ascii=False على وضوح الحروف العربية والمشكَّلة في الملف. فاكتب دائمًا بترميز UTF-8 وصرّح به عند القراءة.
البيئات الافتراضية والتبعيات
ينبغي أن تكون لكل مشروع بيئته الافتراضية: مجلد يحتوي على نسخة معزولة من Python ومكتبات المشروع. وهكذا يمكن لمشروعين استعمال إصدارين مختلفين من pandas دون تعارض.
python -m venv .venv
.venv\Scripts\activate # Windows
source .venv/bin/activate # macOS / Linux
python -m pip install -r requirements.txt
يثبّت الملف requirements.txt الخاص بالدورة الإصدارات التي نُفّذت بها كل السكربتات والدفاتر: numpy 2.5.3 و pandas 3.0.5 و matplotlib 3.11.2 و scikit-learn 1.9.1، إضافة إلى JupyterLab. ويضمن تثبيت الإصدارات إعادة إنتاج نتائج الدورة بدقة؛ وكثيرًا ما تعمل إصدارات أخرى، لكن دون ضمان.
التحقق من داخل سكربت
import importlib.metadata as md
for pkg in ['numpy', 'pandas', 'matplotlib', 'scikit-learn']:
print(pkg, md.version(pkg))
يجنّبك هذا التحقق، حين يوضع في بداية المشروع، بحثًا طويلًا عن سبب فارق ناتج عن إصدار مختلف.
المستوى 2 · متوسط — الفصل 5
الحساب العددي باستخدام NumPy
NumPy هي أساس الحساب العلمي في Python: فهي تعالج مصفوفات الأعداد وتطبّق العملية على كل قيمها دفعة واحدة. وتقوم عليها pandas و scikit-learn. يبيّن هذا الفصل كيفية استبدال الحلقات بالحساب المتّجه.
من القاموس إلى المصفوفة
import numpy as np
qty = np.array([int(r['quantity']) for r in rows])
price = np.array([float(r['unit_price']) for r in rows])
disc = np.array([float(r['discount_rate']) for r in rows])
print(qty.shape, qty.dtype, price.dtype) # (8472,) int64 float64
تحتوي مصفوفة NumPy على قيم من نوع واحد مخزَّنة بشكل مضغوط في الذاكرة. ويعطي shape أبعادها: وهي هنا متّجه من 8,472 قيمة، قيمة لكل سطر طلبية. والمصفوفات الثلاث متوازية: فالموضع 0 في كل منها يصف السطر نفسه.
الحساب المتّجه
net = qty * price * (1 - disc)
print(net[:5].round(2), round(float(net.sum()), 2))
يُطبَّق الضرب عنصرًا بعنصر دون أي حلقة Python: وهذا هو الحساب المتّجه. فالشيفرة أقصر وأسرع بعشرات المرات من حلقة على آلاف الصفوف. ويوضّح التعبير 1 - disc مبدأ البثّ: إذ «يُمدَّد» العدد 1 على طول المصفوفة كله. مجموع كل الأسطر بجميع الحالات: 30,546,303.45 درهم.
الأقنعة المنطقية
big = net > 10_000 # مصفوفة من True / False
print(int(big.sum())) # عدد الأسطر المعنية
share = net[big].sum() / net.sum()
تنتج المقارنة مصفوفة من القيم المنطقية تُسمّى القناع. فيعدّ big.sum() القيم الصحيحة (417 سطرًا)، ويختار net[big] المبالغ المقابلة. وهذه الأسطر الكبيرة، التي تقل عن 5% من الأسطر، تمثّل 24.3% من المبلغ الإجمالي: وهو تركّز شائع في التحليل التجاري.
التجميعات والإحصاءات
| الدالة | النتيجة |
|---|---|
a.sum() وa.mean() وa.std() |
المجموع والمتوسط والانحراف المعياري |
a.min() وa.max() وa.argmax() |
القيم القصوى وموضع الأكبر |
np.percentile(a, [25, 50, 75]) |
الربيعيات |
np.abs وnp.round وnp.where |
دوال تُطبَّق عنصرًا بعنصر |
تطبّق np.where(net > 10_000, 'L', 'S') شرطًا على كل عنصر، فتحلّ محل حلقة مع if/else.
عشوائية قابلة لإعادة الإنتاج
rng = np.random.default_rng(2026)
sim = rng.uniform(0, 0.15, size=1000)
المولّد المُنشأ ببذرة ثابتة ينتج دائمًا متتالية الأعداد نفسها، فتصبح المحاكاة قابلة لإعادة الإنتاج والتحقق. وهذا ضروري لمشاركة تحليل أو نموذج.
المستوى 2 · متوسط — الفصل 6
معالجة الجداول باستخدام pandas
pandas هي الأداة المحورية لمحلّل البيانات في Python: فهي تقرأ الملفات وتختار الجداول وتصفّيها وتربطها وتجمّعها، كأنها جدول بيانات قابل للبرمجة. يبني هذا الفصل جدول مبيعات الحالة الدراسية انطلاقًا من خمسة ملفات.
القراءة بأنواع مضبوطة
import pandas as pd
orders = pd.read_csv(DATA / 'orders.csv',
dtype={'order_id': str, 'customer_id': str},
parse_dates=['order_date', 'ship_date'])
orders.info()
إطار البيانات (DataFrame) جدول: أعمدة مسمّاة، لكل منها نوع (وكل عمود سلسلة Series). والتصريح بالمعرّفات نصوصًا يمنع تحوّل «00125» إلى 125، ويحوّل parse_dates التواريخ. ويعرض info() عدد الصفوف والأنواع والقيم المفقودة. الأبعاد: orders (3307, 7)، وlines (8472, 6).
الاختيار والتصفية
delivered = orders.loc[orders['status'] == 'delivered',
['order_id', 'order_date', 'customer_id', 'channel_code']]
orders.iloc[:3, :4] # الصفوف الثلاثة الأولى والأعمدة الأربعة الأولى
يختار loc حسب التسمية أو القناع المنطقي، ويختار iloc حسب الموضع. وتعطي التصفية 3,108 طلبية مسلَّمة. وللجمع بين الشروط، استعمل & (و) و| (أو) مع الأقواس: (orders['status'] == 'delivered') & (orders['channel_code'] == 'WEB').
ربط الجداول
sales = (lines
.merge(orders, on='order_id', how='left', validate='many_to_one')
.merge(products[['product_id', 'product_name', 'category_code', 'unit_cost']],
on='product_id', how='left', validate='many_to_one')
.merge(customers[['customer_id', 'segment_code', 'region_code']],
on='customer_id', how='left', validate='many_to_one')
.merge(regions, on='region_code', how='left', validate='many_to_one'))
sales['net'] = sales['quantity'] * sales['unit_price'] * (1 - sales['discount_rate'])
assert len(sales) == len(lines)
merge هي المكافئ الأكثر أمانًا لدالة VLOOKUP. ويتحقق الوسيط validate='many_to_one' من أن كل مفتاح في الجدول الأيمن فريد: فالمفتاح المكرَّر يضاعف الصفوف ويضخّم المبيعات دون أي رسالة خطأ. وتؤكد assert الأخيرة أن لجدول المبيعات عدد صفوف أسطر الطلبيات نفسه؛ ويضم 20 عمودًا.
التجميع
ok = sales[sales['status'] == 'delivered']
by_year = ok.groupby('year')['net'].sum().round(2)
تقسّم groupby الجدول حسب قيمة المفتاح، وتطبّق دالة على كل مجموعة، ثم تجمع النتائج، كالجدول المحوري. صافي المبيعات المسلَّمة: 2024 = 13,556,438.85 درهم، و2025 = 15,097,590.45 درهم. ولعدة مؤشرات دفعة واحدة: .agg(net=('net', 'sum'), orders=('order_id', 'nunique')).
ممارسات جيدة
- سَلسِل العمليات داخل أقواس (method chaining) لقراءة المعالجة من الأعلى إلى الأسفل.
- أنشئ متغيرًا جديدًا عند كل مرحلة مهمة (
okوy25) بدل تعديل الجدول الأصلي. - تحقّق من كل ربط: عدد الصفوف، و
validate، والقيم المفقودة بعد الربط.
المستوى 2 · متوسط — الفصل 7
تنظيف البيانات وتهيئتها
تحتوي البيانات الحقيقية على تكرارات وصيغ غير متّسقة وقيم مفقودة. ويتبع التنظيف الموثوق منهجية: التشخيص، ثم تطبيق قواعد مُقرّة، ثم التحقق بضوابط رقمية. يعالج هذا الفصل المستخرَج المعيب للحالة الدراسية.
التشخيص أولًا
raw = pd.read_csv(DATA / 'orders_raw_export.csv', dtype=str, keep_default_na=False)
diag = {
'duplicates': int(raw.duplicated().sum()),
'dmy_dates': int(raw['order_date'].str.contains('/').sum()),
'city_spaces_or_case': int((raw['city'] != raw['city'].str.strip().str.title()).sum()),
'qty_not_digits': int((~raw['quantity'].str.fullmatch(r'\d+')).sum()),
'comma_prices': int(raw['unit_price'].str.contains(',').sum()),
'missing_customer': int((raw['customer_id'].str.strip() == '').sum()),
}
نقرأ كل شيء نصوصًا (dtype=str) ودون تحويل تلقائي للخلايا الفارغة (keep_default_na=False)، فالتحويل يأتي بعد التشخيص. ومن أصل 1,174 صفًّا: 28 تكرارًا متطابقًا، و61 تاريخًا بصيغة يوم/شهر/سنة، و34 مدينة مُدخلة خطأً، و35 كمية غير رقمية أو سالبة، و43 سعرًا بفاصلة، و14 عميلًا مفقودًا. وتطبّق دوال .str عمليات النصوص على عمود كامل.
قواعد تقرّها المصلحة المعنية
| العيب | القاعدة | pandas |
|---|---|---|
| تكرارات متطابقة | الحذف | drop_duplicates() |
| صيغتان للتاريخ | ISO، وإلا فيوم/شهر/سنة | to_datetime(..., errors='coerce') + fillna |
| المسافات وحالة الأحرف | الحذف، وتكبير الحرف الأول | str.strip().str.title() |
| كمية «4 pcs» أو «-2» | الاحتفاظ بالأرقام | str.replace(r'\D', '', regex=True) |
| فاصلة عشرية | استبدالها بنقطة | str.replace(',', '.') |
| سعر مضروب في 100 | القسمة إذا تجاوز 10 أضعاف سعر الكتالوج | ربط + loc |
| عميل مفقود | أخذ عميل الطلبية | map |
def clean(raw, products, orders):
df = raw.drop_duplicates().copy()
d1 = pd.to_datetime(df['order_date'], format='%Y-%m-%d', errors='coerce')
d2 = pd.to_datetime(df['order_date'], format='%d/%m/%Y', errors='coerce')
df['order_date'] = d1.fillna(d2)
df['city'] = df['city'].str.strip().str.title()
df['quantity'] = df['quantity'].str.replace(r'\D', '', regex=True).astype(int)
df['unit_price'] = df['unit_price'].str.replace(',', '.', regex=False).astype(float)
df['discount_rate'] = df['discount_rate'].astype(float)
df = df.merge(products[['product_id', 'list_price']], on='product_id', how='left', validate='many_to_one')
too_high = df['unit_price'] > 10 * df['list_price']
df.loc[too_high, 'unit_price'] = df.loc[too_high, 'unit_price'] / 100
missing = df['customer_id'].str.strip() == ''
df.loc[missing, 'customer_id'] = df.loc[missing, 'order_id'].map(orders.set_index('order_id')['customer_id'])
df['net'] = df['quantity'] * df['unit_price'] * (1 - df['discount_rate'])
return df.drop(columns='list_price'), int(too_high.sum()), int(missing.sum())
كل قاعدة قرار تتخذه المصلحة التي تعرف البيانات؛ وفي هذه الحالة أكّدت الإدارة التجارية أن الكميات السالبة أخطاء إشارة، وأن جدول الطلبيات هو المرجع بالنسبة إلى العميل. وتصحّح الدالة 4 أسعار وتكمل 14 عميلًا. ويحوّل الخيار errors='coerce' التاريخ غير المقروء إلى قيمة مفقودة بدل إيقاف السكربت، ثم نتحقق من عدم بقاء أي منها.
القيم المفقودة: قرار لا تخمين
أمام قيمة مفقودة توجد أربعة خيارات: استرجاعها من مصدر موثوق (العميل من الطلبية)، أو حسابها بقاعدة موثَّقة، أو استبعاد الصف مع الإشارة إلى ذلك، أو تركها مفقودة إذا سمح التحليل بذلك. أما تعويضها بمتوسط «كي يمرّ الأمر» فيشوّه النتائج دون أن يُعلَن عن ذلك.
المستوى 2 · متوسط — الفصل 8
التحليل الاستكشافي للبيانات (EDA)
يقوم التحليل الاستكشافي على مساءلة البيانات قبل الاستنتاج: التوزيعات، والتقاطعات، والتطوّر عبر الزمن. وهو يُبرز الأسئلة المفيدة والحالات الشاذة. يبني هذا الفصل جدولًا بحبيبية الطلبية ويستكشفه بمنهجية.
اختيار الحبيبية
يجيب جدول الأسطر عن سؤال «أي المنتجات؟» لكنه لا يجيب عن «كم تساوي الطلبية؟». لذلك نبني جدولًا بحبيبية الطلبية:
lines['net'] = lines['quantity'] * lines['unit_price'] * (1 - lines['discount_rate'])
per_order = lines.groupby('order_id').agg(net=('net', 'sum'), n_lines=('line_no', 'count')).reset_index()
od = (orders.merge(per_order, on='order_id', how='left', validate='one_to_one')
.merge(customers[['customer_id', 'segment_code']], on='customer_id', how='left')
.merge(segments, on='segment_code', how='left')
.merge(channels, on='channel_code', how='left'))
od['delay'] = (od['ship_date'] - od['order_date']).dt.days
تُحسب المدة بطرح التواريخ، ويستخرج .dt.days عدد الأيام. وتكون مفقودة للطلبيات الملغاة التي لم تُشحن قط.
الوصف
يلخّص od.describe() الأعمدة العددية: العدد، والمتوسط، والانحراف المعياري، والربيعيات. ويعطي value_counts(normalize=True) نسب متغير نوعي. فاقرأ هذه الملخصات دائمًا قبل المضي قدمًا: فالحد الأدنى السالب، أو الحد الأقصى المفرط، أو العدد الناقص، كلها علامات على مشكلة.
التقاطع
pd.crosstab(od['channel_name'], od['status'], normalize='index').round(3)
تعدّ crosstab تركيبات متغيرين، ويحوّل normalize='index' الأعداد إلى نسب حسب الصف، لمقارنة قنوات مختلفة الحجم. وتفعل pivot_table الشيء نفسه مع قيمة مجمَّعة (مجموع المبيعات حسب الجهة والشهر مثلًا).
الزمن
dl = od[od['status'] == 'delivered'].set_index('order_date')
monthly = dl['net'].resample('MS').sum()
مع فهرس من التواريخ، يجمّع resample('MS') حسب الشهر («MS»: بداية الشهر)، وتضم السلسلة 24 شهرًا. ولتحييد الموسمية، قارن الفترة بالفترة نفسها من السنة السابقة، لا بالشهر السابق أبدًا.
منهجية لا قائمة رسوم
- صياغة سؤال دقيق («أي قناة تُلغى فيها الطلبيات أكثر؟»).
- اختيار الحبيبية والمقياس المناسبين (الطلبية، نسبة الإلغاء).
- الحساب ثم التحقق من رتبة المقدار.
- تدوين الملاحظة والسؤال التالي الذي تثيره.
المستوى 2 · متوسط — الفصل 9
الإحصاء الوصفي
المتوسط وحده لا يصف البيانات. فالإحصاء الوصفي يلخّص التوزيع بنزعته المركزية وتشتته وشكله وعلاقاته بمتغيرات أخرى. يطبّق هذا الفصل هذه المقاييس على قيم الطلبيات، ويعلّم تفسيرها بحذر.
النزعة المركزية والتشتت
s = v['net'] # الطلبيات المسلَّمة في 2025
stats = {'mean': s.mean(), 'median': s.median(), 'std': s.std(),
'q1': s.quantile(0.25), 'q3': s.quantile(0.75), 'skew': s.skew()}
| المقياس | القيمة (2025، 1,628 طلبية) | القراءة |
|---|---|---|
| المتوسط | 9,274 درهم | القيمة «المشتركة» لو تساوت كل الطلبيات |
| الوسيط | 7,132 درهم | نصف الطلبيات أقل منه |
| الربيع الأول / الثالث | 3,739 درهم / 11,989 درهم | يقع النصف الأوسط من الطلبيات بين هذين الحدّين |
| الانحراف المعياري | 8,548 درهم | التشتت حول المتوسط |
| معامل الاختلاف | 0.92 | الانحراف المعياري منسوبًا إلى المتوسط، دون وحدة |
| الالتواء (skewness) | 2.69 | موجب: ذيل طويل نحو القيم الكبيرة |
يتجاوز المتوسط الوسيط بوضوح، والالتواء موجب: فبعض الطلبيات الكبيرة جدًا ترفع المتوسط. ولوصف طلبية «نموذجية» يكون الوسيط أكثر تمثيلًا، أما رقم المعاملات الإجمالي فيعتمد على المجموع (أي على المتوسط).
القيم الشاذة: قاعدة المدى الربيعي
iqr = q3 - q1
upper = q3 + 1.5 * iqr
outliers = v[s > upper]
يقيس المدى الربيعي (IQR = 8,250 درهم) تشتت النصف الأوسط، وهو قليل التأثر بالقيم القصوى. وتُعدّ القيمة شاذة إذا تجاوزت Q3 + 1.5 × IQR (24,363 درهم): وهي هنا 87 طلبية تمثّل 20.6% من المبيعات. والشاذّ لا يعني الخاطئ: فهذه طلبيات كبيرة حقيقية ينبغي تحليلها لا حذفها.
الارتباط
v['n_lines'].corr(v['net']) # بيرسون
v['n_lines'].corr(v['net'], method='spearman') # سبيرمان (الرتب)
يقيس معامل بيرسون العلاقة الخطية بين −1 و1، ويعمل معامل سبيرمان على الرتب فيلتقط أي علاقة متزايدة، ويقاوم القيم القصوى بشكل أفضل. والارتباط، ولو كان قويًا، لا يثبت السببية: فقد يتوقف متغيران معًا على متغير ثالث.
مقارنة المجموعات
لمقارنة القنوات أو السنوات، ضع المتوسط والوسيط والعدد جنبًا إلى جنب: v.groupby('channel_code')['net'].agg(['mean', 'median', 'count']). ففارق في المتوسط تصنعه بضع طلبيات استثنائية لا يحمل المعنى نفسه الذي يحمله انزياح التوزيع كله.
المستوى 2 · متوسط — الفصل 10
العرض المرئي باستخدام Matplotlib
الرسم البياني الجيد يوضّح النتيجة في ثوانٍ. و Matplotlib هي المكتبة الأساسية للعرض المرئي في Python. يبني هذا الفصل الرسوم الأساسية في التحليل التجاري، ويعرض القواعد التي تجعلها واضحة.
الشكل والمحاور
import matplotlib.pyplot as plt
m = sales.pivot_table(index='month', columns='year', values='net', aggfunc='sum') / 1000
fig, ax = plt.subplots(figsize=(8, 4))
ax.plot(m.index, m[2025], color='#10263A', marker='o', label='2025')
ax.plot(m.index, m[2024], color='#9AA8B5', linestyle='--', label='2024')
ax.set_title('صافي المبيعات الشهرية (بآلاف الدراهم)')
ax.set_xticks(range(1, 13))
ax.legend(frameon=False)
ax.spines[['top', 'right']].set_visible(False)
fig.savefig(OUT / 'fig_monthly.png', dpi=150)
الشكل (figure) هو الصفحة، والمحاور (ax) هي منطقة الرسم. والعمل بواسطة ax بدل الدوال العامة يتيح التحكم في كل رسم داخل اللوحة. والقسمة على 1000 مع ذكر ذلك في العنوان تجعل المحاور مقروءة. ويُخصَّص اللون القوي للسنة المدروسة، وتبقى سنة المقارنة رمادية. وتعرض الإصدارات الحديثة من Matplotlib النصوص العربية بأحرف متصلة ومن اليمين إلى اليسار؛ وقد تحقّقنا من ذلك مع الإصدار المثبَّت في الدورة.
أي رسم لأي سؤال؟
| السؤال | الرسم | Matplotlib |
|---|---|---|
| التطوّر عبر الزمن | منحنى | ax.plot |
| مقارنة الفئات | أشرطة أفقية مرتّبة | ax.barh |
| توزيع متغير | مدرج تكراري | ax.hist |
| العلاقة بين متغيرين | مخطط مبعثر | ax.scatter |
أشرطة مع علامة الهدف
order = reg.sort_values().index
ax.barh(order, reg[order] / 1e6, color='#10263A')
ax.scatter(tgt[order] / 1e6, order, color='#C89D62', marker='|', s=400, linewidths=3, label='الهدف')
يسهّل ترتيب الأشرطة المقارنة، وتضع العلامة الذهبية الهدف السنوي لكل جهة على المقياس نفسه. فترى فورًا الجهات التي تتجاوز هدفها وتلك التي تبقى دونه.
اللوحات والحفظ
ينشئ plt.subplots(2, 2, figsize=(10, 7)) أربعة محاور في شبكة، ويمنع fig.tight_layout() التداخل. احفظ بصيغة PNG بدقة 150 نقطة في البوصة للتقرير، وبصيغة SVG للوثيقة المطبوعة. وفي السكربت تُحفظ الأشكال فقط، أما في الدفتر فتُعرض أيضًا أسفل الخلية.
قواعد الوضوح
- عنوان يقول ما يُظهره الرسم، مع الوحدات.
- لون مميِّز لما هو مهم، والرمادي للباقي.
- لا تأثيرات ثلاثية الأبعاد ولا دوائر تتجاوز خمسة أجزاء.
- محاور تبدأ من الصفر في الأشرطة.
المستوى 3 · متقدم — الفصل 11
مدخل إلى تعلّم الآلة باستخدام scikit-learn
يتعلّم تعلّم الآلة علاقةً من أمثلة لتقدير قيمة مجهولة. فإذا أُحسن استعماله أكمل التحليل، وإذا أسيء التحقق منه أنتج أرقامًا مضلِّلة. يبني هذا الفصل نموذجًا أول، ويعلّم قبل كل شيء قياس جودته بأمانة.
السؤال
هل يمكن تقدير مشتريات العميل في 2025 انطلاقًا من سلوكه في 2024؟ نبني جدولًا من صف لكل عميل (120 عميلًا) بمتغيرات تفسيرية من 2024 (المشتريات، وعدد الطلبيات، ومتوسط الخصم، وحصة الطلبيات عبر الإنترنت، والشريحة، والجهة) والهدف: المشتريات المسلَّمة في 2025. ويبلغ الارتباط البسيط بين مشتريات 2024 و2025 0.34.
مسار المعالجة
X = data[['net24', 'orders24', 'disc24', 'web24', 'segment_code', 'region_code']]
y = data['net25']
prep = ColumnTransformer([('cat', OneHotEncoder(handle_unknown='ignore'),
['segment_code', 'region_code'])], remainder='passthrough')
model = Pipeline([('prep', prep), ('reg', LinearRegression())])
لا يقرأ النموذج إلا الأعداد: فيحوّل OneHotEncoder كل شريحة وكل جهة إلى أعمدة 0/1. ويسلسل المسار التهيئة والنموذج، ويضمن أن تُتعلَّم التهيئة من بيانات التدريب وحدها، دون تسرّب معلومات من مجموعة الاختبار.
التحقق بأمانة
cv = KFold(n_splits=5, shuffle=True, random_state=2026)
scores = cross_validate(model, X, y, cv=cv, scoring=('neg_mean_absolute_error', 'r2'))
يقسّم التحقق المتقاطع العملاء إلى خمس مجموعات، تُستعمل كل منها مرة واحدة للاختبار بينما يتعلّم النموذج من المجموعات الأربع الأخرى. فنحصل على قياس أقل ارتباطًا بمصادفة تقسيم واحد. ونستعمل مقياسين: متوسط الخطأ المطلق (MAE) بالدرهم، وR² أي حصة التباين المفسَّر (1 = مثالي، و0 = ليس أفضل من المتوسط، والقيمة السالبة = أسوأ من المتوسط).
المقارنة الدائمة بمرجع
يقدّر المرجع البسيط مشتريات 2025 بمشتريات 2024 × متوسط النمو، مع حساب النمو على طيّات التدريب وحدها. نتائج التحقق المتقاطع:
| المقاربة | MAE | R² |
|---|---|---|
| المرجع البسيط | 68,553 درهم | -1.07 |
| الانحدار الخطي | 47,006 درهم | 0.04 |
يقلّص النموذج متوسط الخطأ بنسبة 31.4% مقارنة بالمرجع، لكن R² يبقى قريبًا من الصفر: فهو بالكاد أفضل من التقدير بالمتوسط. والخلاصة الأمينة: بهذه المتغيرات وبسنتين من البيانات، يصعب التنبؤ بمشتريات العميل في 2025؛ والنموذج مفيد لتجنّب الأخطاء الكبيرة للمرجع البسيط، لا لتوقّع دقيق. ووصف النموذج بأنه «عالي الأداء» سيكون تضليلًا.
المستوى 3 · متقدم — الفصل 12
المشروع النهائي: تحليل تجاري متكامل
يجمع المشروع النهائي السلسلة كلها: الاستيراد، والتحقق، والتهيئة، وحساب المؤشرات، والعرض، والتحليل، والنمذجة، وكتابة التقرير. وينتج تقريرًا يُحسب كل رقم فيه بواسطة الشيفرة، وهو ما يُنتظر من محلّل البيانات في المؤسسة.
الجهة الطالبة والسؤال
مشروع أكاديمية إشراقة 7: تحليل تجاري متكامل. تريد الإدارة التجارية لموزّع معدات مكتبية (حالة دراسية، بيانات تدريبية) حصيلة لسنة 2025: أين المبيعات مقارنة بسنة 2024 وبالهدف؟ أي الجهات والفئات تفسّر الفوارق؟ كيف تتوزع الطلبيات؟ وهل يمكن تقدير مشتريات العملاء المستقبلية؟
المراحل الثماني
| المرحلة | المحتوى | المُخرَج |
|---|---|---|
| 1. الاستيراد | عشرة جداول بأنواع صريحة | قاموس من أطر البيانات |
| 2. الجودة | مفاتيح فريدة، ومفاتيح خارجية، وقيم مفقودة | ضوابط موقِفة |
| 3. التهيئة | جدول المبيعات: المبلغ الصافي والتكلفة والمدة | صف لكل سطر طلبية |
| 4. المؤشرات | المبيعات والنمو والهامش والسلة والهدف والإلغاءات والمدة | kpi.csv |
| 5. الرسوم | الاتجاه والجهات والفئات | ثلاثة ملفات PNG |
| 6. الإحصاء | الوسيط والمتوسط والمدى الربيعي والقيم الشاذة | ملخص |
| 7. النموذج | انحدار متحقَّق منه بالتحقق المتقاطع | MAE و R² والمرجع |
| 8. التقرير | ملخص Markdown مولَّد | report.md |
ضوابط توقف المعالجة
q = {
'dup_order_id': int(T['orders']['order_id'].duplicated().sum()),
'orphan_lines': int((~T['order_lines']['order_id'].isin(T['orders']['order_id'])).sum()),
'missing_ship_not_cancelled': int((T['orders']['ship_date'].isna() & (T['orders']['status'] != 'cancelled')).sum()),
}
assert all(v == 0 for v in q.values()), q
إذا كان مفتاح مكرَّرًا أو يتيمًا، توقّف السكربت وعرض الضابط المعني: فغياب التقرير أفضل من تقرير خاطئ. وتساوي كل ضوابط المشروع 0 على بيانات الدورة.
تقرير مولَّد لا منسوخ
report = f"""| صافي المبيعات (درهم) | {fmt(k4['net'], ',.0f')} | {fmt(k5['net'], ',.0f')} |
| نسبة الهامش | {fmt(k4['margin_rate'], '.1%')} | {fmt(k5['margin_rate'], '.1%')} |"""
(P / 'report.md').write_text(report, encoding='utf-8')
تكيّف الدالة fmt في السكربت الفواصل مع لغة التقرير.
تُدرج الشيفرة كل قيمة في التقرير انطلاقًا من الحسابات: فإذا تغيّرت البيانات يكفي إعادة تشغيل السكربت. وتُقرأ صيغة Markdown كما هي، وتتحوّل بسهولة إلى HTML أو PDF.
النتائج المحصَّلة على بيانات الدورة
| مؤشر 2025 | القيمة |
|---|---|
| صافي المبيعات (2024) | 15,097,590 درهم (13,556,439 درهم) |
| النمو | 11.4% |
| نسبة الهامش (2024) | 38.3% (36.3%) |
| نسبة تحقيق الهدف | 99.4% |
| الطلبيات المسلَّمة / متوسط السلة | 1,628 / 9,274 درهم |
| نسبة الإلغاء / متوسط المدة | 3.6% / 2.4 أيام |
شبكة التقييم
| المعيار | النقاط |
|---|---|
| تنظيم الشيفرة: الدوال والأسماء والتعليقات والمسارات النسبية | 20 |
| جودة البيانات: ضوابط موقِفة وموثَّقة | 20 |
| دقة المؤشرات (القيم المرجعية) | 20 |
| رسوم واضحة وملائمة | 15 |
| إحصاء ونموذج متحقَّق منهما مع شرح الحدود | 15 |
| تقرير مولَّد واستنتاجات معلَّلة | 10 |
دفتر تحملات المشروع الختامي
- استيراد الجداول العشرة بأنواع صريحة.
- كتابة ضوابط جودة موقِفة (المفاتيح والقيم المفقودة).
- بناء جدول المبيعات مع المبلغ الصافي والتكلفة والمدة.
- حساب مؤشرات 2024 و2025 وحفظها في kpi.csv.
- إنتاج ثلاثة رسوم وتحليل إحصائي للطلبيات.
- تقدير مشتريات العملاء بالتحقق المتقاطع والمرجع البسيط.
- توليد تقرير Markdown وتحرير ثلاث توصيات.
