كيف تنشئ ملف robots.txt لموقعك؟

إنشاء ملف robots.txt لموقعك هو عملية بسيطة وسهلة، تتطلب فقط بعض الخطوات الأساسية. هذه الخطوات هي:

• افتح محرر نصوص على جهاز الكمبيوتر الخاص بك، مثل Notepad أو TextEdit أو غيرها.

• اكتب في المحرر النصي القواعد والتعليمات التي تريد أن تضعها في ملف robots.txt الخاص بك. هذه القواعد والتعليمات تتبع بنية وصياغة محددة، تسمى بالـ syntax أو النحو. النحو الأساسي لملف robots.txt هو:

User-agent: <name of crawler>
Disallow: <path or URL>
Allow: <path or URL>

• User-agent هو اسم البرنامج الزاحف الذي تستهدفه بالقاعدة. يمكنك استخدام النجمة (*) للاشارة إلى جميع البرامج الزاحفة، أو استخدام اسم محدد للاشارة إلى برنامج زاحف معين، مثل Googlebot أو Bingbot أو غيرها.

• Disallow هو المسار أو الرابط الذي تريد منع البرنامج الزاحف من الوصول إليه أو الزحف إليه. يمكنك استخدام الشرطة المائلة (/) للاشارة إلى المجلد الرئيسي لموقعك، أو استخدام مسار محدد للاشارة إلى صفحة أو مجلد أو ملف معين، مثل /admin أو /images أو /robots.txt أو غيرها.

• Allow هو المسار أو الرابط الذي تريد السماح للبرنامج الزاحف بالوصول إليه أو الزحف إليه. يمكنك استخدام هذا الأمر لتجاوز قاعدة Disallow مسبقة، أو لتحديد صفحات أو مجلدات أو ملفات معينة داخل مسار أو رابط محظور. مثلاً، يمكنك كتابة:

User-agent: *
Disallow: /images
Allow: /images/logo.png

هذا يعني أنك تمنع جميع البرامج الزاحفة من الزحف إلى مجلد الصور على موقعك، باستثناء صورة الشعار التي تسمح لها بالزحف إليها.

• يمكنك كتابة أكثر من قاعدة واحدة في ملف robots.txt الخاص بك، ولكن يجب أن تفصل بين كل قاعدة وأخرى بسطر فارغ. مثلاً، يمكنك كتابة:

User-agent: *
Disallow: /admin
Disallow: /images
Allow: /images/logo.png
User-agent: Googlebot
Disallow: /contact
Allow: /contact/google

هذا يعني أنك تمنع جميع البرامج الزاحفة من الزحف إلى مجلد الإدارة ومجلد الصور على موقعك، باستثناء صورة الشعار التي تسمح لها بالزحف إليها، وأنك تمنع برنامج Googlebot من الزحف إلى صفحة الاتصال على موقعك، باستثناء صفحة الاتصال الخاصة بجوجل التي تسمح لها بالزحف إليها.

• احفظ الملف النصي باسم robots.txt وبصيغة UTF-8. ثم ارفع الملف إلى المجلد الرئيسي لموقعك على السيرفر الخاص بك، بحيث يكون متاحًا على الرابط .

• اختبر ملف robots.txt الخاص بك وتأكد من أنه يعمل بشكل صحيح ولا يحتوي على أخطاء أو مشاكل. يمكنك استخدام أدوات مجانية متاحة على الإنترنت لفحص وتحليل وتصحيح ملف robots.txt الخاص بك، مثل Google Search Console أو Bing Webmaster Tools أو Robots.txt Tester أو غيرها.

ما هو الملف الصحيح لموقعك؟

لا يوجد ملف robots.txt واحد صحيح لكل موقع إلكتروني، بل يعتمد ذلك على نوع وطبيعة وهدف ومحتوى موقعك. لكن بشكل عام، يمكنك اتباع بعض المبادئ والممارسات الجيدة لإنشاء وتحسين ملف robots.txt الخاص بك، مثل:

• كن واضحًا ودقيقًا ومحددًا في كتابة قواعد وتعليمات ملف robots.txt الخاص بك. تجنب الكتابة الغامضة أو العامة أو الخاطئة أو المتناقضة أو المتضاربة أو المتكررة أو الزائدة أو الناقصة أو الغير ضرورية. احرص على أن تكون قواعد وتعليمات ملف robots.txt الخاص بك متوافقة مع النحو والمعايير المتفق عليها لملف robots.txt.

• كن حذرًا ومتحفظًا في استخدام قواعد وتعليمات ملف robots.txt الخاص بك. تذكر أن ملف robots.txt هو ملف توجيهي وليس ملف إلزامي أو ملزم. هذا يعني أن بعض البرامج الزاحفة قد لا تحترم أو تتبع أو تطبق قواعد وتعليمات ملف robots.txt الخاص بك، خاصة إذا كانت تعتبرها غير مشروعة أو غير موثوقة أو غير مفيدة أو غير مرغوبة. لذلك، لا تعتمد على ملف robots.txt كوسيلة وحيدة أو نهائية لحماية أو إخفاء محتوى موقعك. بل استخدم ملف robots.txt كوسيلة إضافية أو مساعدة لتوجيه وتحسين الزحف والفهرسة لمحتوى موقعك. واستخدم وسائل أخرى لضمان أمن وخصوصية موقعك، مثل التشفير أو التصريح أو التحقق أو الحظر أو الإبلاغ أو غيرها.