🏗️ تدريب النماذج اللغوية (LLMs) من الصفر

1.1 عائلة GPT — من GPT-2 إلى GPT-4

تمثل سلسلة GPT (Generative Pre-trained Transformer) العمود الفقري لثورة LLMs. طوّرتها OpenAI وكل إصدارة حقق قفزة نوعية في القدرات.

1.2 عائلة LLaMA — Meta AI

أحدثت LLaMA ثورة في المجال المفتوح لل LLMs. ركزت Meta على تدريب نماذج أصغر حجماً على بيانات أكثر، محققة أداءً ينافس GPT-3 بحجم أصغر بكثير.

تحسينات LLaMA المعمارية الأساسية

مقارنة SwiGLU vs ReLU vs GELU

1.3 Mixture of Experts (MoE)

تقنية MoE تسمح للنموذج أن يكون كبيراً جداً في العدد الإجمالي للمعاملات لكنه ينشّط جزءاً صغيراً منها فقط لكل token. هذا يقلل التكلفة الحسابية في الاستدلال بشكل كبير.

1.4 مقارنة: Encoder-only vs Decoder-only vs Encoder-Decoder

2.1 مصادر البيانات

أشهر مجموعات البيانات المفتوحة لتدريب LLMs:

2.2 تنظيف البيانات (Data Cleaning)

إزالة التكرار (Deduplication)

التكرار مشكلة خطيرة — تكرار البيانات 10 مرات يضاعف وقت التدريب بلا فائدة. أبرز التقنيات:

فلترة الجودة (Quality Filtering)

ليست كل صفحات الويب مفيدة. خطوات الفلترة الأساسية:

• إزالة المحتوى غير المرغوب: نصوص قصيرة جداً (< 50 كلمة)، صفحات خطأ (404, 500)، محتوى مكرر بنسبة > 80%
• إزالة PII: عناوين البريد، أرقام هواتف، بطاقات ائتمان، عناوين IP (باستخدام regex + نماذج NER)
• فلترة اللغة: fastText أو langid.py لتحديد اللغة. عادة يُحتفظ باللغات عالية الموارد فقط
• فلترة المحتوى الضار: كلمات ممنوعة، محتوى إباحي، عنف، خطاب كراهية (باستخدام blocklists + classifiers)
• تصنيف الجودة: تدريب مصنف (مثل BERT) لتصنيف الصفحات (مفيد / غير مفيد) استناداً إلى الإشارات (مثل طول الجملة، التنوع المعجمي، وجود العناوين)

2.3 الترميز (Tokenization)

الـ tokenizer هو أول ما يتعلمه النموذج — يحول النص الخام إلى أرقام. اختيار الـ tokenizer يؤثر على أداء النموذج وكفاءته.

أنواع Tokenizers

تحليل حجم المفردات

2.4 توزيع البيانات — ما هي البيانات المثالية؟

توزيع البيانات بين اللغات والمجالات يؤثر بشكل كبير على أداء النموذج. هنا توزيع بعض النماذج المعروفة:

3.1 Data Parallelism (DDP)

متى تستخدم: عندما يتسع النموذج بالكامل في GPU واحدة وتريد تسريع التدريب باستخدام عدة GPUs.

كيف تعمل: كل GPU تحتفظ بنسخة كاملة من النموذج. نقسم batch الكلي على عدد GPUs. بعد كل forward/backward، نجمّع التدرجات (gradients) ونتشاركها عبر all-reduce. كل GPU تحدِّث معاملاتها بشكل متطابق.

3.2 Tensor / Model Parallelism

متى تستخدم: عندما لا يتسع النموذج في GPU واحدة. نقسم الطبقات نفسها عبر GPUs.

3.3 Pipeline Parallelism

الفكرة: نقسم الطبقات (layers) إلى مجموعات، كل مجموعة تُوضع على GPU مختلفة. البيانات تتدفق عبر "خط أنابيب" من GPU إلى أخرى.

مشكلة الـ Bubble: في Pipeline Parallelism، بعض GPUs تبقى خاملة في بداية ونهاية كل ميكروباتش — وهذا يقلل الكفاءة. 1F1B يقلل هذه المشكلة بشكل كبير.

3.4 ZeRO Optimization (DeepSpeed)

تقنية ثورية من Microsoft DeepSpeed توزع حالة المحسن (optimizer states)، التدرجات (gradients)، والمعاملات (parameters) عبر GPUs بدلاً من تكرارها.

3.5 3D Parallelism — الجمع بين الثلاثة

لتدريب نماذج عملاقة جداً (مثل 175B, 405B, 1.8T)، نستخدم الأنواع الثلاثة معاً:

3.6 Fully Sharded Data Parallelism (FSDP)

FSDP هو تطبيق PyTorch الأصلي لمفهوم ZeRO-3. يوزع المعاملات والتدرجات وحالات المُحسِّن عبر جميع GPUs. الفرق الرئيسي أن FSDP متكامل مع PyTorch Distributed مباشرة.

3.7 Megatron-LM من NVIDIA

إطار عمل NVIDIA المتخصص في تدريب النماذج العملاقة. يستخدم تقنيات خاصة مثل:

• Tensor Parallelism بكفاءة عالية باستخدام NVLink داخل الـ Node
• Sequence Parallelism: توزيع بعد التسلسل (sequence dimension) عبر GPUs — يقلل ذاكرة activations بنسبة ~50%
• Selective Activation Recomputation: إعادة حساب بعض activations بدلاً من تخزينها — يوفر ذاكرة مقابل 5% overhead حسابي
• Asynchronous Distributed Optimizer: توازي عمليات تحديث المُحسِّن مع الحساب

4.1 جدول تكاليف تدريب النماذج المختلفة

4.2 تفصيل التكاليف (لنموذج 70B)

4.3 استئجار GPU — مقارنة المزودين

4.4 نصائح لخفض التكاليف

5.1 DeepSpeed — Microsoft

مكتبة التحسين الرائدة لتدريب LLMs. توفر ZeRO، MoE، Flash Attention، وغيرها.

مثال تكوين DeepSpeed ZeRO-3

# ds_config.json — تكوين DeepSpeed لنموذج 13B
{
  "bf16": { "enabled": true },
  "zero_optimization": {
    "stage": 3,
    "offload_optimizer": {
      "device": "cpu",
      "pin_memory": true
    },
    "offload_param": {
      "device": "cpu",
      "pin_memory": true
    },
    "overlap_comm": true,
    "reduce_scatter": true,
    "contiguous_gradients": true
  },
  "gradient_accumulation_steps": 8,
  "gradient_clipping": 1.0,
  "train_batch_size": 512,
  "train_micro_batch_size_per_gpu": 4,
  "wall_clock_breakdown": false
}

5.2 Megatron-LM — NVIDIA

متخصص في النماذج فائقة الضخامة. يُستخدم مع DeepSpeed في معظم مشاريع LLM الكبيرة.

5.3 Hugging Face Accelerate

أسهل طريقة للبدء في التدريب الموزع. يغلف تعقيد PyTorch Distributed في بضعة أسطر من الكود.

from accelerate import Accelerator
from transformers import AutoModelForCausalLM, AutoTokenizer, get_scheduler
from datasets import load_dataset
import torch

# تهيئة Accelerator
accelerator = Accelerator(
    mixed_precision="bf16",
    gradient_accumulation_steps=4
)

# تحميل النموذج والبيانات
model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-2-7b-hf")
tokenizer = AutoTokenizer.from_pretrained("meta-llama/Llama-2-7b-hf")
optimizer = torch.optim.AdamW(model.parameters(), lr=3e-5)

# تجهيز الأجهزة (DDP تلقائي)
model, optimizer, dataloader = accelerator.prepare(
    model, optimizer, dataloader
)

# حلقة التدريب
model.train()
for batch in dataloader:
    with accelerator.accumulate(model):
        outputs = model(**batch)
        loss = outputs.loss
        accelerator.backward(loss)
        optimizer.step()
        optimizer.zero_grad()

5.4 Ray للتدريب الموزع

Ray إطار عام للحوسبة الموزعة، و Ray Train (سابقاً Ray SGD) متخصص في تدريب نماذج التعلم العميق. يُستخدم في الشركات الكبيرة لإدارة آلاف GPUs.

• Ray Train: تدريب موزع مع Fault Tolerance مدمج
• Ray Tune: تحسين الـ Hyperparameters على نطاق واسع
• Ray Cluster: إدارة مجموعة GPUs ديناميكياً (auto-scaling)
• Ray Serve: نشر النموذج المُدرَّب كـ API

5.5 Weights & Biases (W&B)

أداة تتبع التجارب القياسية في الصناعة. ضرورية لأي مشروع تدريب LLM.

5.6 Mixed Precision Training

تقنية أساسية لتوفير الذاكرة وتسريع التدريب دون التأثير على جودة النموذج.

6.1 Supervised Fine-Tuning (SFT)

الخطوة الأولى والأهم بعد التدريب المسبق. الهدف: تدريب النموذج على اتباع التعليمات (instruction following).

نصائح SFT عملية

• الجودة >> الكمية: 1000 مثال ممتاز أفضل من 1M مثال رديء (كما أثبت LIMA)
• التنوع أهم من الكمية: غطِّ مجالات متعددة (منطق، كتابة، كود، ترجمة، تلخيص)
• استخدم Chat Template: أنشئ تنسيق محادثة مناسب (مثل ChatML، Llama Chat)
• معدل التعلم: lr ~2e-5 مع cosine decay، استخدم LoRA إذا كانت الموارد محدودة
• حقن النظام (System Prompt): درّب النموذج على احترام system prompt واتباعه

6.2 Reinforcement Learning from Human Feedback (RLHF)

تقنية OpenAI الرائدة لجعل LLMs مفيدة وآمنة. تتكون من 3 مراحل:

مقارنة طرق المواءمة (Alignment)

6.3 Direct Preference Optimization (DPO)

بديل بسيط لـ RLHF دون الحاجة إلى نموذج مكافأة منفصل. حوَّل RLHF إلى مشكلة تصنيف مباشرة.

6.4 التقييم — المقاييس القياسية (Benchmarks)

لا يمكنك تحسين ما لا تقيسه. هذه هي المعايير القياسية لتقييم LLMs:

نتائج نموذجية على المعايير (LLaMA 3 8B vs 70B)

7.1 مواصفات المشروع

7.2 الخطوات التفصيلية

المرحلة 1: إعداد البيئة والبنية التحتية

# 1. إعداد العقد (Nodes) — 8 عقد × 8 GPU H100
# عبر CoreWeave Kubernetes أو Slurm

# 2. تثبيت الحزم المطلوبة
pip install torch==2.4.0 --index-url https://download.pytorch.org/whl/cu124
pip install deepspeed==0.14.0 transformers datasets wandb
pip install flash-attn --no-build-isolation
pip install mpi4py ninja

# 3. إعداد تخزين موزع (مثلاً: GPFS, Lustre, أو S3 مع caching محلي)
# البيانات: /mnt/data/pretrain/ (حجم ~4 TB)
# Checkpoints: /mnt/checkpoints/ (حجم ~500 GB)

المرحلة 2: إعداد البيانات

# 4. تحميل وتنظيف البيانات باستخدام datatrove (أداة مفتوحة المصدر)
pip install datatrove

# مثال: تشغيل pipeline تنظيف على 100 عقدة
python -m datatrove \
  --data_input s3://my-bucket/common-crawl/ \
  --data_output /mnt/data/pretrain/cleaned/ \
  --execution slurm \
  --slurm_nodes 100 \
  --steps \
    language_filter(language=ar,en) \
    quality_filter(min_words=50, max_words=20000) \
    minhash_dedup(ngram_size=5, threshold=0.8) \
    pii_removal()

# 5. تدريب Tokenizer (BPE, vocab_size=64000)
python train_tokenizer.py \
  --data /mnt/data/pretrain/cleaned/ \
  --vocab_size 64000 \
  --output /mnt/models/tokenizer.json
# يستخدم huggingface tokenizers في training على عينة 2% من البيانات

# 6. ترميز البيانات مسبقاً (pre-tokenize)
python pre_tokenize.py \
  --data /mnt/data/pretrain/cleaned/ \
  --tokenizer /mnt/models/tokenizer.json \
  --output /mnt/data/pretrain/tokenized/ \
  --num_workers 512

المرحلة 3: إعداد النموذج

import torch.nn as nn
from transformers import PreTrainedModel, PretrainedConfig
import math

class LLaMAConfig(PretrainedConfig):
    model_type = "llama"
    def __init__(self, vocab_size=64000, hidden_size=4096,
                 intermediate_size=11008, num_hidden_layers=32,
                 num_attention_heads=32, num_key_value_heads=8,
                 max_position_embeddings=8192,
                 rms_norm_eps=1e-5, rope_theta=500000,
                 **kwargs):
        super().__init__(**kwargs)
        # ... تعيين كل الخاصيات

class LLaMAModel(PreTrainedModel):
    config_class = LLaMAConfig
    def __init__(self, config):
        super().__init__(config)
        self.embed_tokens = nn.Embedding(config.vocab_size, config.hidden_size)
        self.layers = nn.ModuleList([
            TransformerLayer(config) for _ in range(config.num_hidden_layers)
        ])
        self.norm = RMSNorm(config.hidden_size, eps=config.rms_norm_eps)
        self.lm_head = nn.Linear(config.hidden_size, config.vocab_size, bias=False)

المرحلة 4: تشغيل التدريب

# ملف التشغيل الرئيسي — ds_pretrain.py
import torch
import deepspeed
from config import LLaMAConfig, LLaMAModel
from data import create_dataloader

# إعداد التكوين
config = LLaMAConfig()
model = LLaMAModel(config)
model = model.bfloat16()

# DeepSpeed ZeRO-3 + AdamW
ds_config = {
    "bf16": {"enabled": true},
    "zero_optimization": {"stage": 3, "overlap_comm": true},
    "train_micro_batch_size_per_gpu": 4,
    "gradient_accumulation_steps": 8,  # batch إجمالي = 4 × 8 × 64 = 2048
    "optimizer": {"type": "AdamW", "params": {"lr": 3e-4, "betas": [0.9, 0.95]}},
    "scheduler": {"type": "WarmupCosine", "params": {"warmup_num_steps": 2000}},
    "gradient_clipping": 1.0,
    "wandb": {"enabled": true, "project": "llama-7b-pretrain"}
}

# تهيئة DeepSpeed
model_engine, optimizer, _, _ = deepspeed.initialize(
    model=model,
    model_parameters=model.parameters(),
    config=ds_config
)

# حلقة التدريب
dataloader = create_dataloader(tokenized_data_path, model_engine.local_rank)
model_engine.train()
train_iterator = iter(dataloader)

for step in range(total_steps):
    batch = next(train_iterator)
    outputs = model_engine(**batch)
    loss = outputs.loss
    model_engine.backward(loss)
    model_engine.step()

    if step % 500 == 0:
        if model_engine.global_rank == 0:
            print(f"Step {step}, Loss: {loss.item():.4f}")
            wandb.log({"loss": loss.item()}, step=step)

    if step % 5000 == 0:
        model_engine.save_checkpoint("/mnt/checkpoints/", tag=f"step_{step}")

deepspeed \
  --num_gpus 8 \
  --num_nodes 8 \
  --master_addr $MASTER_ADDR \
  --master_port $MASTER_PORT \
  --hostfile hostfile.txt \
  ds_pretrain.py

المرحلة 5: ما بعد التدريب — SFT + DPO

# تدريب SFT على UltraChat + OpenAssistant
accelerate launch \
  --num_processes 64 \
  --use_deepspeed \
  --deepspeed_config_file ds_config_sft.json \
  train_sft.py \
  --model_path=/mnt/checkpoints/step_340000 \
  --data_path=openassistant/ultrachat_200k \
  --output_dir=/mnt/models/sft/ \
  --learning_rate=2e-5 \
  --num_train_epochs=2 \
  --per_device_train_batch_size=2 \
  --gradient_accumulation_steps=16

# تدريب DPO على بيانات تفضيل (Anthropic HH / UltraFeedback)
accelerate launch \
  --num_processes 64 \
  --use_deepspeed \
  --deepspeed_config_file ds_config_dpo.json \
  train_dpo.py \
  --model_path=/mnt/models/sft/ \
  --data_path=argilla/ultrafeedback-binarized-preferences \
  --output_dir=/mnt/models/dpo/ \
  --beta=0.1 \
  --learning_rate=1e-6 \
  --num_train_epochs=1

المرحلة 6: التقييم والتحقق

# تقييم باستخدام LM Evaluation Harness
pip install eval-harness

lm_eval --model hf \
  --model_args pretrained=/mnt/models/dpo/,dtype=bfloat16 \
  --tasks mmlu,gsm8k,hellaswag,winogrande,human_eval \
  --batch_size 4 \
  --output_path /mnt/eval/results.json

# تقييم إضافي: TruthfulQA, BBH, MATH
lm_eval --model hf \
  --model_args pretrained=/mnt/models/dpo/,dtype=bfloat16 \
  --tasks truthfulqa,bbh,match \
  --num_fewshot 5 \
  --output_path /mnt/eval/results_extended.json

7.3 الجدول الزمني المتوقع

7.4 أسباب النجاح والفشل — دروس مستفادة