يظهر احياناً في نتائج الموقع على ادوات مشرفي المواقع على جوجل ان هناك مشكلة في موقعك وهو
- اقتباس :
خلال الـ 24 ساعة الماضية، واجه Googlebot 1 من الأخطاء أثناء محاولة الدخول إلى ملف robots.txt. لضمان أنه لم يتم الزحف إلى أية صفحات مدرجة في ذلك الملف، تم تأجيل عملية الزحف. والنسبة الإجمالية لأخطاء ملف robots.txt لموقعك على الويب تبلغ 50.0%.
يمكنك الاطلاع على مزيد من التفاصيل حول هذه الأخطاء في أدوات مشرفي المواقع.
الموضوع طبيعي جداً فملف report.txt يقوم بمنع عناكب البحث من الدخول الى الصفحات التي يمنع دخولها لها لحفظ خصوصية موقعك ولزيادة الحماية