عمليات الطبقة المتصلة بالكامل

خطوات الاستخدام

أدخل عدد الخلايا العصبية في الطبقة السابقة (inputNeurons). هذا العدد يمثل أبعاد متجه المدخلات الذي يتم تغذيته إلى الطبقة المتصلة بالكامل. كل خلية عصبية في الطبقة السابقة ترتبط بكل خلية عصبية في الطبقة الحالية، مما يحدد عدد عمليات الضرب المطلوبة.

أدخل عدد الخلايا العصبية في الطبقة الحالية (outputNeurons). هذا العدد يمثل أبعاد متجه المخرجات، وهو عدد الخلايا العصبية في الطبقة الحالية. كل خلية عصبية مخرجة تتطلب عملية جمع لكل مدخل بعد عملية الضرب.

يتم حساب FLOPs باستخدام الصيغة: FLOPs = 2 × inputNeurons × outputNeurons. يعود السبب في الضرب في 2 إلى أن كل خلية عصبية مخرجة تتطلب عملية ضرب (بين المدخل والوزن) ثم عملية جمع (لتجميع النتائج). هذه العملية تُعرف باسم الضرب-الجمع (Multiply-Accumulate) وتُحتسب على أنها عمليتان للفاصلة العائمة.

الأسئلة الشائعة

FLOPs (عدد عمليات الفاصلة العائمة) هو مقياس للعمل الحسابي الكلي المطلوب لأداء مهمة معينة، مثل تمرير بيانات عبر طبقة عصبية. يُعبر عنه بعدد العمليات، وهو لا يعتمد على الوقت. أما FLOPS (عمليات الفاصلة العائمة في الثانية) فهو مقياس لأداء الحاسوب أو المعالج، ويشير إلى عدد العمليات التي يمكن تنفيذها في الثانية الواحدة. على سبيل المثال، إذا كانت طبقة تتطلب 1e6 FLOPs ومعالج يمكنه تنفيذ 1e9 FLOPS، فإن الوقت المستغرق سيكون 1e6 / 1e9 = 1 مللي ثانية. من المهم عدم الخلط بينهما: FLOPs هي كمية العمل، بينما FLOPS هي معدل الأداء.

في الطبقة المتصلة بالكامل، كل خلية عصبية مخرجة تحسب مجموعًا مرجحًا لجميع المدخلات. يتطلب ذلك عملية ضرب واحدة بين كل مدخل والوزن المقابل، ثم عملية جمع واحدة لتجميع حاصل الضرب مع القيم الأخرى. وبالتالي، لكل خلية مخرجة، هناك عدد من عمليات الضرب يساوي عدد المدخلات، وعدد من عمليات الجمع يساوي عدد المدخلات أيضًا. وبالتالي، إجمالي العمليات لكل خلية مخرجة هو 2 × عدد المدخلات. إذا كان لدينا عدد من الخلايا المخرجة يساوي outputNeurons، فإن الإجمالي هو 2 × inputNeurons × outputNeurons. هذا هو الأساس الرياضي الدقيق. بعض الحسابات المبسطة قد تحسب جمعًا واحدًا لكل خلية مخرجة (باعتبار أن الجمع يتم بين جميع حاصل الضرب)، ولكن الأدق هو اعتبار كل عملية ضرب-جمع كعمليتين.

عمليات الانحياز (bias) في الطبقة المتصلة بالكامل هي قيم تضاف إلى كل خلية عصبية مخرجة بعد عملية الجمع الموزون. هذه العملية هي عملية جمع بسيطة واحدة لكل خلية مخرجة. في الصيغة الشائعة 2 × inputNeurons × outputNeurons، لا يتم تضمين عمليات الانحياز عادةً، لأن عددها صغير جدًا مقارنة بعمليات الضرب-الجمع. إذا أردنا أن نكون دقيقين، يمكن إضافة outputNeurons عملية جمع إضافية، لتصبح FLOPs = 2 × inputNeurons × outputNeurons + outputNeurons. لكن في الممارسة، غالبًا ما يتم تجاهلها لأن تأثيرها ضئيل. على سبيل المثال، طبقة 256 × 128: 2×256×128 = 65536، مع الانحياز +128 = 65664، أي زيادة بنسبة 0.2% فقط. لذلك، في معظم الحسابات، يُكتفى بالصيغة الأساسية.

حجم الدفعة (batch size) هو عدد العينات التي يتم معالجتها في وقت واحد. في الطبقة المتصلة بالكامل، يتم إجراء نفس العمليات لكل عينة في الدفعة. لذلك، إذا كان FLOPs لعينة واحدة هو 2 × inputNeurons × outputNeurons، فإن FLOPs للدفعة بأكملها يساوي 2 × inputNeurons × outputNeurons × batch size. هذا يعني أن FLOPs يزداد خطيًا مع حجم الدفعة. على سبيل المثال، طبقة 784 × 256: FLOPs للعينة = 401408. مع batch size=64، يصبح 401408 × 64 = 25,690,112 عملية. هذه المعلومة مهمة عند مقارنة نماذج مختلفة أو عند تحسين استخدام الموارد الحسابية، حيث أن زيادة حجم الدفعة يزيد من FLOPs الكلية ولكنه قد يحسن كفاءة المعالجة المتوازية.

عمليات الطبقة المتصلة بالكامل

أدخل القيم

خطوات الاستخدام

أمثلة محلولة

أمثلة محسوبة

الأسئلة الشائعة

أدخل القيم

خطوات الاستخدام

1طبقة متصلة بالكامل بها 256 مدخل (inputNeurons=256) و 128 مخرج (outputNeurons=128). ما هو عدد FLOPs المطلوب لتنفيذ هذه الطبقة؟

أمثلة محسوبة

الأسئلة الشائعة