كيف تقوم محركات البحث بعمليات الزحف، الفهرسة والترتيب

تقوم محركات البحث بالزحف إلى مواقع الانترنت باستخدام برامج روبوت تسمى العناكب. وتتبع برامج زحف الويب هذه الروابط بشكل فعال من صفحة إلى أخرى للعثور على محتوى جديد لإضافته إلى فهرس البحث. وعند استخدام محرك بحث ، يتم استخراج النتائج ذات الصلة من الفهرس وترتيبها باستخدام خوارزمية. لذلك إذا كنت ترغب في الحصول على مرتبة أعلى في محركات البحث للحصول على مزيد من الزوار إلى موقع الويب الخاص بك ، فأنت بحاجة إلى فهم أساسي لكيفية قيام محركات البحث بالعثور على المحتوى وفهرسته وترتيبه.

أساسيات محرك البحث

قبل أن ندخل في الأمور التقنية ، أولاً لابد أن تفهم طبيعة محركات البحث ، ولماذا توجد؟ ، ولماذا معرفة تلك التفاصيل مهمة لأصحاب ومديري المواقع.

• ما هي محركات البحث؟
• ما هو الهدف من محركات البحث؟
• لماذا يجب أن تهتم بطريقة عمل محركات البحث؟

ما هي محركات البحث؟

محركات البحث هي أدوات تبحث عن محتوى الأنترنت الذي يطابق ما يبحث عنه المستخدم ويصنفه. يتكون كل محرك بحث من جزأين رئيسيين:

1. فهرس البحث. وهي مكتبة رقمية للمعلومات حول مواقع الأنترنت.
2. خوارزمية البحث. وهي برامج الكمبيوتر التي ترتب نتائج البحث.

ومن أشهر محركات البحث Google و Bing و DuckDuckGo.

ما هو الهدف من محركات البحث؟

يهدف كل محرك بحث إلى تقديم أفضل النتائج وأكثرها صلة لما يبحث عنه المستخدمين. وكلما كانت نتائج محرك البحث دقيقة زادت الثقه الباحثين في ذلك المحرك وتم الاعتماد عليه بشكل أكبر.

كيف تربح محركات البحث؟

محركات البحث لها نوعان من نتائج البحث

• النتائج المجانية وهي التي تظهر من فهرس البحث للمواقع التي تعتمد علي سيو بشكل جيد .
• النتائج المدفوعة من المعلنين حيث يدفع صاحب الموقع اموالاً لاعلانات جوجل حتي يظهر موقعه أعلي النتائج المجانية. وفي كل مرة يضغط فيها شخص ما على نتيجة بحث مدفوعة ، يدفع المعلن لمحرك البحث. يُعرف هذا باسم إعلان الدفع بالنقرة (PPC) . وكلما زاد عدد المستخدمين كانت هناك نقرات أكثر على الإعلانات وتحقيق مزيد من الأرباح.

لماذا يجب أن تهتم بطريقة عمل محركات البحث؟

سيساعدك فهم طريقة عثور محركات البحث على المحتوى وفهرسته وترتيبه على العمل علي تحسين ترتيب موقعك في نتائج البحث للكلمات الرئيسية ذات الصلة والشائعة. وكلما استطعت الحصول على مرتبة عالية في نتائج البحث ، فبالتأكيد سوف يحصل موقعك على زيارات أكثر.

ما هو محرك البحث الأكثر شهرة؟

محرك بحث جوجل. لديه 92٪ من حصة السوق ثم يأتي خلفه بفارق شاسع جداً محرك بحث بنج Bing بـ 2.5% ثم ياهو Yahoo بنسبة 1.5% . Google هو محرك البحث الذي يهتم به معظم محترفي تحسين محركات البحث “سيو Seo” ومالكي المواقع لأنه لديه القدرة على إرسال الزوار أكثر من أي محرك بحث آخر.

كيف تبني محركات البحث فهارسها

تحتوي معظم محركات البحث المعروفة مثل Google و Bing على تريليونات من الصفحات في فهارس البحث الخاصة بها. لذا قبل أن نتحدث عن خوارزميات الترتيب ، لابد أن نتعمق أكثر في الآليات المستخدمة لبناء فهرس ويب والحفاظ عليه. والصورة التالية توضح العملية الأساسية لفهرسة المواقع والصفحات في محرك البحث جوجل Google :

وتتم فهرسة جوجل للمواقع والصفحات من خلال عدة خطوات:

1. اكتشاف الروابط URL
2. زحف روبوت جوجل
3. معالجة وعرض البيانات
4. الفهرسة

1. اكتشاف الروابط URL

يبدأ كل شيء بقائمة معروفة من عناوين URL. يكتشف Google هذه من خلال عمليات مختلفة ، ولكن أهم ثلاثة عمليات هي:

• الروابط الخلفية” الباك لينك”
• خرائط المواقع
• إرسال URL في جوجل كونسول

1. الروابط الخلفية” الباك لينك”

لدى Google بالفعل فهرس يحتوي على تريليونات من صفحات الأنترنت. فإذا حصلت علي باك لينك  لموقعك من خلال اضافة رابط للموقع الخاص بك داخل أحد الصفحات التي تم فهرستها بالفعل فان ذلك يساعد علي سرعة فهرسة موقعك . وتستطيع رؤية الروابط الخلفية  لموقع الويب الخاص بك مجانًا “فحص الباك لينك مجاناً من خلال اتشرفس ” باستخدام  Ahrefs Backlink Checker الذي يوفر لك تلك الميزة بامكانيات محدودة للحساب المجاني وفي الصورة التالية مثال لفحص باك لينك محرك البحث جوجل.

2. خرائط المواقع

تحدد خرائط المواقع جميع الصفحات المهمة على موقعك. لذلك فان إرسال ملف  Sitemap إلى Google ، أمر ضروري جدا وهام وخريطة الموقع هو ملف على موقعك الإلكتروني مهمته إعلام محرّكات البحث بالصفحات الجديدة أو التي تم تغييرها في موقعك وإذا كان موقعك علي استضافة مُدارة مثل Blogger،فأنت لن تحتاج إلي إنشاء خريطة موقع لإن ذلك يتم بشكل تلقائي .

3. إرسال URL في جوجل كونسول

تسمح Google أيضًا بإرسال عناوين URL الفردية عبر Google Search Console وتلك الميزة التي توفرها خدمة جوجل سيرش كونسول المجانية تسمي الأرشفة اليدوية ويمكك إرسال عنوان URL الخاص بك إلى أداة فحص الروابط كما يلي.

2. زحف روبوت جوجل

الزحف هو المكان الذي يقوم فيه روبوت كمبيوتر يسمى العنكبوت  Googlebot بزيارة وتنزيل الصفحات المكتشفة. من المهم ملاحظة أن Google لا يزحف دائمًا إلى الصفحات بالترتيب الذي يكتشفها فيه. حيث تضع Google عناوين URL في قائمة انتظار للزحف بناءً على بعض العوامل ، بما في ذلك:

• تصنيف الصفحات PageRank لعنوان URL
• كم مرة تم تغير عنوان URL
• هل هذه الصفحة جديدة أم لا

هذا مهم لأنه يعني أن محركات البحث قد تقوم بالزحف إلى بعض صفحاتك وفهرستها قبل الآخرين. إذا كان لديك موقع كبير ، فقد يستغرق الأمر بعض الوقت حتى تتمكن محركات البحث من الزحف إليه بالكامل.

3. معالجة وفهم البيانات

المعالجة هي المكان الذي يعمل فيه Google على فهم المعلومات الأساسية واستخراجها من الصفحات التي تم الزحف إليها. لا يوجد شخص خارج Google يعرف كل التفاصيل حول هذه العملية ، ولكن الأجزاء المهمة أن نعرفها هي استخراج الروابط وتخزين المحتوى للفهرسة. ويجب على Google عرض الصفحات لمعالجتها بالكامل ، حيث تقوم Google بتشغيل كود أو شفرة الصفحة لفهم كيفية ظهورها للمستخدمين ومع ذلك ، تحدث بعض المعالجة قبل العرض وبعده.

4. الفهرسة

الفهرسة هي المكان الذي تتم فيه إضافة المعلومات المعالجة من الصفحات التي تم الزحف إليها إلى قاعدة بيانات كبيرة تسمى فهرس البحث. هذه في الأساس مكتبة رقمية تضم تريليونات من صفحات الويب التي تأتي منها نتائج بحث Google. هذه نقطة مهمة. عندما تبحث في محرك بحث ، فأنت لا تبحث مباشرة في الإنترنت عن نتائج مطابقة. أنت تبحث في فهرس صفحات الأنترنت الخاص بمحرك البحث. فإذا لم تكن تلك الصفحة موجودة في فهرس البحث ، فلن يجدها مستخدمو محرك البحث. هذا هو سبب أهمية فهرسة موقع الويب الخاص بك في محركات البحث الرئيسية مثل Google و Bing.

في الدرس القادم : كيف ترتب محركات البحث الصفحات وتخصص النتائج
هناك أكثرمن 200 عامل لترتيب نتائج البحث في جوجل Google وسوف نتعرض لأهم العوامل الرئيسية لأن كل العوامل ليست معروفه علي وجه التحديد .