Robots.txt

التقنيةتحسين محركات البحث SEO

تهيئة الموقع تقنيا لمحركات البحث عن طريق خارطة الموقع وملف Robots.txt

يعتبر بمثابة ملف تعليمات لعناكب محركات البحث، بحيث نشرح للعناكب ما هي الصفحات التي يمكنهم الوصول إليها، وما هي الصفحات التي نطلب منهم بأن لا يقوموا بالوصول إليها و أرشفتها ضمن فهرس محرك البحث.