تهيئة الموقع تقنيا لمحركات البحث عن طريق خارطة الموقع وملف Robots.txt

ما هو ملف Robots.txt؟

يعتبر بمثابة ملف تعليمات لعناكب محركات البحث؛ حيث أن العناكب عبارة عن روبوتات تقوم بالزحف على محركات البحث لمعرفة ما هي محتويات الويب، وتخزينها في قاعدتها الخاصة، ممّا يساعد في فهم فهرسة محركات البحث، حيث أن هذه العناكب تقوم بالتجول في محرك البحث لمعرفة إن كان هنا، بحيث نشرح للعناكب ما هي الصفحات التي يمكنهم الوصول إليها، وما هي الصفحات التي نطلب منهم بأن لا يقوموا بالوصول إليها و أرشفتها ضمن فهرس محرك البحث.

على سبيل المثال، صفحات المدير للموقع لا نفضل أن تكون ضمن نتائج البحث فلا فائدة من ذلك، أو إذا كان يوجد لدينا بعض الصفحات التي تعتبر سرية نوعاً ما، وتخص مجموعة من المستخدمين ولا تكون متاحة للعموم.

مثال على ملف Robots.txt:

• من مستعرض الإنترنت نقوم بكتابة (www.e3arabi.com/robots.txt)، وهنا سنلاحظ أن هذا الملف متاح للعموم، وهذا الملف عادةً يكون على المجلد الرئيسي للموقع.

• محتوى هذا الملف كما نلاحظ من الشاشة أدناه (User-agent: *) يعني أننا نقوم بالترحيب بكل العناكب في هذا الموقع ونستخدم هنا (Disallow: /wp-admin/) يعني أننا نطلب من العناكب أن لا تقوم بالأرشفة أو الوصول إلى هذا المجلد (Admin)، وهو ملف المدير.

ملاحظة: يمكننا أن نضيف سطر يشرح لعناكب محركات البحث عن مكان وجود خارطة الموقع (Site map) خاصةً إذا لم تكن في المكان المتعارف عليه (Sitemap: /wp-sitemap.xml) كما هو موضح في الشاشة أدناه.

• للمزيد من المعلومات عن ملف (Robots.txt)، يمكننا زيارة الموقع (www.robots.txt.org) حيث نتعلم المزيد عن هذا الملف ونشاهد بعض الأمثلة عليه، وماهي أفضل الممارسات عند إنشاء هذا الملف.

ملاحظة: البرنامج الوحيد الذي يلزمنا لإنشاء هذا الملف هو الـ (Notepad).

• وبعد القيام بإنشاء هذا الملف نطلب من مطور الموقع أن يقوم بتحميله على الموقع، كما ذكرنا في المجلد الرئيسي للموقع.

ما هو Sitemap.xml؟

هي خارطة الموقع أي مجموع الروابط الموجودة في الموقع، التي تساعد عناكب محركات البحث على الوصول إلى جميع صفحات الموقع الخاص بنا.

مثال على خارطة الموقع Sitemap.xml:

• من مستعرض الإنترنت نقوم بكتابة (/sitemap.xml)، وكما نلاحظ فهي متاحة بشكل عام.

• سنجد تفاصيل الصفحات على هذا الموقع كما نلاحظ من الشاشة أدناه.

• هذا الملف يساعد عناكب محركات البحث على فهم جميع الصفحات المتوفرة.

ملاحظة: نستطيع أن نحدد الـ (change frequency) أي ما هي الفترة التي ننصح بها عناكب محركات البحث بزيارة هذه الصفحة مرة أخرى.

• للمزيد من المعلومات عن الـ (Sitemaps) نقوم بزيارة موقع (https://www.sitemaps.org/)، ومنها نستطيع أن نتعلم المزيد من التفاصيل عن خارطة الموقع، وما هي المقاييس الخاصة بها والبروتوكولات الخاصة بها.

• بعد إنشاء هذا الملف نرسله لمطور الموقع لكي يقوم بتحميله على الموقع، وكما يمكننا إضافة الـ (sitemap) عن طريق (Google search console).