مولّد robots.txt
ولّد ملف robots.txt صحيحًا يخبر محركات البحث بأي المسارات يمكنها الزحف. أضف قواعد السماح والمنع، وتأخير الزحف، ورابط خريطة موقعك، ثم انسخ الملف النهائي إلى جذر موقعك.
ماذا يعني هذا
robots.txt ملف نصي في جذر موقعك يطلب بأدب من الزاحفين تجاوز مناطق معينة، مثل صفحات الإدارة أو المجلدات الخاصة. ليس حدودًا أمنية — يؤثر فقط في الروبوتات المتعاونة.
كيف نحسبها
المعادلة
الصيغة: User-agent: name، ثم أسطر Allow/Disallow لكل قاعدة، ثم Sitemap: URL. النجمة تطابق كل الروبوتات.مثال محلول
امنع فهرسة صفحات الإدارة.
- 1أدخل المسارات المراد منعها، مثل /admin.
- 2أضف رابط خريطة موقعك.
- 3انسخ robots.txt إلى جذر موقعك.
الافتراضات المهمة
- يجب أن تكون روابط خريطة الموقع مطلقة، تبدأ بـhttps://.
الأسئلة الشائعة
هل يمنع robots.txt الفهرسة؟
يمنع الزحف لا الفهرسة. قد تظهر صفحة مرتبطة من مكان آخر؛ للتحكم الصارم استخدم وسم noindex أيضًا.
ماذا تعني النجمة؟
User-agent: * يطبق قواعدك على كل روبوتات محركات البحث.
أدوات ذات صلة
مولّد وسوم الميتا
ولّد وسوم الميتا وOpen Graph كاملة لصفحتك.
مولّد خريطة الموقع
ولّد خريطة موقع XML من روابطك.
مولّد بيانات المخطط المنظم
ولّد بيانات schema بنمط JSON-LD للمقالات والمنتجات والأعمال.
مولّد رمز QR
أنشئ رمز QR قابلًا للتنزيل لأي رابط أو نص، مع ألوان وحجم.
مولّد كلمات المرور
أنشئ كلمات مرور قوية وعشوائية بطول ومجموعات أحرف قابلة للتعديل.
مولّد نص Lorem Ipsum
ولّد فقرات أو جملًا أو كلمات تجريبية للنماذج والتصميمات.