عمليات الانتباه المتقاطع

خطوات الاستخدام

1. فهم الانتباه المتقاطع (Cross-Attention): في نموذج المحول (Transformer)، يحدث الانتباه المتقاطع بين المشفر (Encoder) وفك التشفير (Decoder). يقوم فك التشفير باستخدام تمثيلات المشفر كقيم (Values) ومفاتيح (Keys)، بينما يستخدم استعلامات (Queries) من حالته المخفية. الهدف هو السماح لفك التشفير بالتركيز على أجزاء مختلفة من تسلسل الإدخال. يتم حساب مصفوفة الانتباه عبر: Attention(Q, K, V) = softmax(QK^T / √d_k) V، حيث d_k هو بُعد المفاتيح (عادةً dModel).

2. حساب عدد عمليات الفاصلة العائمة (FLOPs) لحساب QK^T: هذه هي الخطوة الأكثر تكلفة. حجم كل من Q و K: decSeqLen × dModel و encSeqLen × dModel على التوالي. ضرب المصفوفات ينتج مصفوفة بحجم decSeqLen × encSeqLen. عدد عمليات الضرب والجمع لكل عنصر: dModel ضرب و (dModel-1) جمع، ولكن في FLOPs نعد كل عملية ضرب وجمع كعملية واحدة. العدد التقريبي: 2 * decSeqLen * encSeqLen * dModel (لأن كل عنصر يتطلب dModel ضرب و dModel جمع).

3. حساب FLOPs لعملية softmax وتطبيقها على V: عملية softmax تحتوي على أسس وجمع وتقسيم، ولكن عملياتها صغيرة نسبيًا. بعد softmax، لدينا مصفوفة attention weights بحجم decSeqLen × encSeqLen. ثم ضرب هذه المصفوفة مع V (حجم encSeqLen × dModel) ينتج مخرجات بحجم decSeqLen × dModel. عدد FLOPs لهذه الضرب: 2 * decSeqLen * encSeqLen * dModel (مماثل للخطوة السابقة).

الأسئلة الشائعة

الانتباه الذاتي يحسب بين كل زوج من العناصر في نفس التسلسل، لذا تعقيده O(n^2 * d) حيث n هو طول التسلسل. أما الانتباه المتقاطع فيحسب بين تسلسلين مختلفين (المشفر وفك التشفير)، لذا تعقيده O(encSeqLen * decSeqLen * d). في معظم التطبيقات، يكون encSeqLen أكبر من decSeqLen (خاصة في الترجمة الآلية حيث جملة الإدخال أطول من المخرجات)، مما يجعل الانتباه المتقاطع مكلفًا. لاحظ أن الانتباه المتقاطع يحتوي على مصفوفتين للضرب: QK^T (من decSeqLen × d و encSeqLen × d) ثم attention مع V (decSeqLen × encSeqLen مع encSeqLen × d). بينما الانتباه الذاتي له نفس البنية لكن مع n واحدة. لذا إذا كان encSeqLen = decSeqLen = n، فإن FLOPs متساوية تقريبًا.

هناك عدة طرق: (1) استخدام تشويش الانتباه (Sparse Attention) مثل Longformer أو BigBird التي تحسب الانتباه فقط على جزء من أزواج المفاتيح. (2) تقليل بُعد النموذج (dModel) مع الحفاظ على الأداء عبر تقنيات مثل MoE (خبراء مختلطون). (3) استخدام تحويلات خطية منخفضة الرتبة (Low-rank) مثل Linformer. (4) تقطيع تسلسل الإدخال إلى أجزاء (Chunking) ومعالجة كل جزء على حدة. (5) استخدام تقنيات التقطير (Distillation) لتدريب نموذج أصغر. كل هذه الطرق تهدف إلى تقليل العامل decSeqLen × encSeqLen × dModel.

في المحول الأصلي (Vaswani et al.)، يتم تقسيم الانتباه إلى رؤوس متعددة (Multi-head)، حيث كل رأس له بُعد d_k = dModel / num_heads. ومع ذلك، مجموع FLOPs عبر جميع الرؤوس مساوٍ للحساب باستخدام dModel. على سبيل المثال، إذا كان هناك h رأسًا، فكل رأس يحتوي على استعلامات بحجم decSeqLen × d_k، ومفاتيح encSeqLen × d_k، وضربهم يعطي decSeqLen × encSeqLen × 2 d_k، ثم ضرب مع V: decSeqLen × encSeqLen × 2 d_k. المجموع عبر h رأسًا: h * (4 * decSeqLen * encSeqLen * d_k) = 4 * decSeqLen * encSeqLen * (h * d_k) = 4 * decSeqLen * encSeqLen * dModel. لذا الصيغة صحيحة بغض النظر عن عدد الرؤوس.

عمليات الانتباه المتقاطع

أدخل القيم

خطوات الاستخدام

أمثلة محلولة

أمثلة محسوبة

الأسئلة الشائعة

أدخل القيم

خطوات الاستخدام

1إذا كان طول تسلسل المشفر 512، وطول تسلسل فك التشفير 256، وبُعد النموذج 512، فما هو عدد FLOPs للانتباه المتقاطع؟

2لدينا نموذج مع encSeqLen=2048, decSeqLen=1024, dModel=1024. احسب FLOPs للانتباه المتقاطع وقارنه مع انتباه ذاتي في فك التشفير (where Q=K=V حجمها decSeqLen).

أمثلة محسوبة

الأسئلة الشائعة