خطوات الاستخدام
الخطوة 1: فهم ملف robots.txt: يُستخدم هذا الملف النصي البسيط لإرشاد روبوتات محركات البحث حول الصفحات التي يمكنهم زيارتها (Allow) والتي يجب تجنبها (Disallow)، بالإضافة إلى تحديد فترة التأخير بين الزيارات (Crawl-delay). يتم وضع الملف في جذر الموقع (مثل example.com/robots.txt).
الخطوة 2: إدخال محتوى ملف robots.txt: انسخ المحتوى الكامل للملف والصقه في حقل الإدخال المخصص. تأكد من عدم وجود أخطاء إملائية أو تنسيق غير صحيح لأن الأداة ستحلله بناءً على معايير بروتوكول استبعاد الروبوتات (REP).
الخطوة 3: فهم القواعد: كل قاعدة تتكون من سطر يبدأ بـ 'User-agent' لتحديد الروبوت المستهدف، يليه سطر أو أكثر من القواعد (Disallow, Allow) أو توجيهات مثل 'Crawl-delay'. الأداة تحسب كل توجيه Allow وDisallow وCrawl-delay على حدة، متجاهلة التعليقات (الأسطر التي تبدأ بـ #) والأسطر الفارغة.