כיצד עוזרים לגוגל לסרוק את האתר ולאנדקס אותו?

אחד השיעורים שאני אוהבת יותר להעביר לסטודנטים שלי, הוא השיעור שעוסק בפקטורים לדירוג האתר. שנים אני מעבירה את השיעור הזה ונראה כאילו הבסיס הוא אותו בסיס, החשיבה אותה חשיבה.

האלגוריתם משתנה, הוא מתפתח, מתאים עצמו לטכנולוגיות החדשות לקדמה, למסכים למניפולציות שמנסים לעשות עליו, אך הבסיס הוא אותו בסיס מאחר האלגוריתם מדמה מחשבה של אדם. מה חשוב לנו? מה מציק לנו ? והכי חשוב, מה יניע אותנו לפעולה ?

לא רק בגלישה או בחיפוש באינטרנט, גם ביום יום שלנו, בכל תהליך קבלת החלטות.

אז מה הדבר הראשון שעולה בראשכם כשאתם חושבים על דירוג אתר ? תוכן ? או אולי קישורים נכנסים ?

שניהם גורמים מכריעים למיקום אתר בתוצאות החיפוש מאחר והם מצביעים על אתר מומחה שנותנים בו אמון, אך הם ודאי לא היחידים.

למעשה, שני גורמים נוספים שרוב בעלי האתרים מעולם לא שמעו עליהם אך הם ממלאים תפקיד משמעותי ב- SEO הם זחילה (crawlability) ואינדוקס (indexing).

הם כל כך חשובים שאפילו בעיות קטנות באינדקס או בסריקה יכולות לגרום לירידה בדירוג האתר ולא משנה איזה תוכן נהדר או כמה קישורים נכנסים יש לאתר.

מהי רמת אינדוקס גבוהה ?

כדי להבין מונחים אלה, נתחיל במבט על איך מנועי חיפוש מגלים דפים ומוסיפים אותם לאינדקס.

כדי ללמוד על כל דף חדש (או מעודכן), מנועי החיפוש עושים שימוש בסורקי רשת, "בוטים" שמטרתם לעקוב אחר קישורים באינטרנט ולאנדקס תוכן אינטרנטי חדש בעזרת האלגוריתם של גוגל.

וזה מה שגוגל אומרת:

"הבוטים שלנו סורקים את דפי האינטרנט ועוקבים אחר קישורים בדפים אלה, בדיוק כמו שהגולש עושה באתרי האינטרנט. הם עוברים מקישור לקישור ומחזירים נתונים על דפי אינטרנט אלה לשרתים של גוגל. "

מאט כץ, לשעבר מהנדס בכיר ודובר בגוגל, פרסם סרטון מעניין המסביר את התהליך בפירוט, תוכלו לצפות בו בסרטון למטה(הסרטון ישן אך כפי שציינתי השיטה היא אותה שיטה):

בקיצור, יכולות הסריקה והזחילה קשורים ביכולתו של מנוע חיפוש לגשת לדפים באתר, לאנדקס אותם ולהוסיף אותם למסדי הנתונים של גוגל.

אם לאתר אין בעיות סריקה, סורקי אתרים יכולים לגשת לכל התוכן שלו בקלות על ידי ביצוע קישורים בין הדפים.

עם זאת, קישורים שבורים ובעיות נוספות עלולים לגרום לבעיות בזחילה - חוסר היכולת של מנוע החיפוש לגשת לתוכן ספציפי באתר.

לעומת זאת, "אינדקסיות" מתייחסת ליכולת של מנוע החיפוש לנתח ולהוסיף דף לאינדקס שלו.

יכול להיות שגוגל תוכל לסרוק אתר, אך לא בהכרח שהיא תוכל להוסיף לאינדקס את כל העמודים שלו, בדרך כלל בגלל בעיות באינדקס.

יכולות סריקה ואינדוקס גבוהות ישפרו בוודאות את דירוג האתר

מה משפיע על רמת האינדוקס והזחילה ?

מבנה האתר

אחד התהליכים הראשונים שאנו עושים בתהליך קידום האתר הוא אופטימיזציית מבנה שממלאת תפקיד מכריע ביכולת הסריקה שלו. כיצד מוצגים התכנים, אופן הצפת התכנים, מיקומם, האם האתר כולל דפים שאינם מקושרים לשום מקום, האם קיימת פג'ינציה (עימוד) ובעיות נוספות שיכולות להשפיע גם על יכולות הסריקה של מנוע החיפוש וגם על תקציב הזחילה שעימו מגיע המנוע לסרוק את האתר.

מבנה קישור פנימי

העכביש של גוגל עובד מאתר לאתר ומדף לדף ע"י קישורים חיצוניים ופנימיים.

מבנה קישורים פנימי טוב, יאפשר לו להגיע במהירות לדפים האלה בעומק מבנה האתר שלך. עם זאת, מבנה לקוי עשוי לשלוח אותו למבוי סתום, וכתוצאה מכך סורק אינטרנט יחסר חלק מהתוכן של האתר.

קשרי שרת לקוח

לא רבים יודעים אך בתהליך הגלישה שלנו אנו למעשה מבקשים מהשרת המאחסן בקשה והוא תמיד משיב. לעיתים התשובה היא האתר שביקשנו ולעיתים דפים שנראים יותר כמו מודעות אבל.

אנו קוראים לתהליך הזה http response header והוא מכיל סדרות רבות של תשובות, אחת מהן למשל מתרחשת בגלל תחזוקה שוטפת לקויה של התוכן ואי הבנה של חשיבות הקישורים. כך נוצר מצב שבעלי אתרים מוחקים או משנים מיקום לתכנים שכתובתם אונדקסה ומייצרים שגיאות 404 המייצרות בעיות סריקה, או מחליטים לאחסן את האתרים שלהם בשרתים בעייתיים ויוצרים שגיאות 500 או משנים מיקומים וכתובות באתר ללא שימוש בהפניות 301.

טכנולוגיה

גם עודף טכנולוגיה או שימוש בטכנולוגיה שאינה נתמכת יכול לגרום לבעיות סריקה.

לדוגמה, מכיוון שסורקי סריקה אינם יכולים לעקוב אחר טפסים, יכולת הסריקה של דף התודה או דף ההצלחה למשל, תהיה בעייתית. טכנולוגיות ושפות שונות כמו Java script או Ajax עשויות לחסום תוכן גם מסורקי אתרים.

חסימת גישה לסורקי אינטרנט

ותמיד יש את המקרים של חוסר תשומת לב, אתרים שבזמן הבניה שלהם התכנת או בעל האתר פשוט חסמו בקובץ robots.txt או אפילו בתגית nofollow במכוון את סורקי האתרים לאינדקס של מנועי החיפוש ופשוט .....שכחו מזה.

ההמלצות של עמית צוק להפיכת האתר לפשוט יותר לסריקה ?

שלחו Sitemap ל- Google

מפת האתר הוא קובץ קטן, השוכן בתיקיית השורש של האתר בשרת , המכיל קישורים ישירים לכל עמוד באתר ומגיש אותם למנוע החיפוש באמצעות Search Console של גוגל.

מפת האתר תגלה ל- Google על התוכן שלך ותתריע בפניו על כל העדכונים שביצעת אליו.

בצעו אופטימיזציית מבנה לאתר שלכם

מבנה נכון של האתר, המודולים שבו ומבנה הקישורים הפנימיים יעזור לגוגל לסרוק אותו וכך ישמור על דירוג האתר אך לא פחות חשוב, ייצר אתר שהתוכן שלו מוצף, עדכני ומניע לפעולה – קרי יותר המרות ועמידה ביעדים.

עדכנו תוכן באופן קבוע

תתפלאו לשמוע שעדכון תוכן קיים משפיע לעיתים יותר מאשר הוספת תוכן חדש.

הסיבה נעוצה בזה שתוכן (איכותי) קיים אונדקס כבר על ידי גוגל והוא בעל ותק, חלקו אף מייצר כבר המרות, לכן לעיתים (במיוחד אם מגובר באתר בעל 150 דפים ויותר) שווה לבדוק אילו דפים ותיקים שלנו זוכים להרבה חשיפות, מי מהם ירד בכמות החשיפות או ההקלקות בטווחי זמן שנקבע ולטפל בתכנים אלו אפילו על ידי שדרוג הכותרות שלהם.

הימנעו משכפול תוכן

אתרים שלהם דפים הכוללים תוכן זהה או דומים מאוד עלולים לגרום לאיבוד דירוגים ובנוסף להפחית את התדירות שבה הסורקים מבקרים באתר שלך.

בדקו ותקנו כל בעיית תוכן כפול באתר. עשו שימוש בעת הצורך בתג קנוניקל, אל תתעצלו, צרו כותרת, תגית מטה של תיאור שונים לכל דף.

אם מדובר בחנות צרו תיאור שונה לכל דף מוצר בחנות. זכרו – מנועי החיפוש מגיעים לאתר שלכם עם תקציב זחילה מוגבל – אל תבזבזו אותו.

כלים לניהול זחילה ואינדקס אם כל האמור לעיל נשמע מאיים, אל תדאג. ישנם כלים שיכולים לעזור לך לזהות ולתקן את בעיות הזחילה והמדד.

היי, לא לדאוג.....

עמית צוק עורכת מגזין קידום אתרים

נשמע כמו ג'יבריש ? יש שאלות נוספות, תרצו לקבל הסבר מקיף על נושא המאמר ? לקבל ייעוץ אישי, הדרכה ואפילו ליווי עסקי ? שמי עמית צוק ואני עורכת מגזין קידום אתרים, בעלת מעל ל 20 שנות ניסיון בפיתוח אתרים, קידום וניהול קמפיינים באינטרנט ובניית אסטרטגיות שיווקיות ופרסומיות באינטרנט.

צרו עימי קשר (מבטיחה לא לשלוח ספאם).....