تهيئة الموقع تقنيا لمحركات البحث عن طريق خارطة الموقع وملف Robots.txt
يعتبر بمثابة ملف تعليمات لعناكب محركات البحث، بحيث نشرح للعناكب ما هي الصفحات التي يمكنهم الوصول إليها، وما هي الصفحات التي نطلب منهم بأن لا يقوموا بالوصول إليها و أرشفتها ضمن فهرس محرك البحث.
