Robots.txt

يعتبر بمثابة ملف تعليمات لعناكب محركات البحث، بحيث نشرح للعناكب ما هي الصفحات التي يمكنهم الوصول إليها، وما هي الصفحات التي نطلب منهم بأن لا يقوموا بالوصول إليها و أرشفتها ضمن فهرس محرك البحث.