סריקה (Crawling)

סריקה (Crawling) היא השלב שבו הרובוט של גוגל (Googlebot) עובר על האתר, נע מקישור לקישור וקורא את התוכן של כל דף. זה השלב הראשון בדרך להופעה בחיפוש: קודם גוגל צריך לגלות שהדף קיים ולקרוא אותו, ורק אחר כך הוא יכול לאנדקס ולדרג אותו. בלי סריקה, הדף פשוט לא קיים מבחינת גוגל.

איך זה עובד ומהו תקציב סריקה

לגוגל יש מיליארדי דפים לסרוק, ולכן הוא מקצה לכל אתר “תקציב סריקה” (Crawl Budget) — כמות המשאבים שהוא מוכן להשקיע בו. התקציב נגזר משני גורמים: קצב הסריקה שהשרת שלך יכול לעמוד בו, והביקוש לסריקה — עד כמה גוגל חושב שכדאי לחזור לדפים שלך (דפים פופולריים ומתעדכנים נסרקים תכוף יותר). באתר קטן זה כמעט לא בעיה; באתר חנות עם אלפי מוצרים זה יכול להיות ההבדל בין מוצרים שנמצאים בחיפוש לבין כאלה שנעלמים.

דוגמה

חנות עם 5,000 מוצרים מייצרת בלי משים 40,000 כתובות עם פרמטרים של סינון ומיון (צבע, מידה, סדר). אם הבוט מבזבז את התקציב על הכתובות הכפולות האלה, ייתכן שהוא לא יגיע בזמן ל-300 המוצרים החדשים שהעלית לעונה. חסימה של הכתובות המיותרות ב-robots.txt ומפת אתר (XML Sitemap) נקייה מפנות את התקציב לדפים שמביאים כסף.

טעות נפוצה

בעלי עסקים מבלבלים בין סריקה לאינדוקס. גם אם גוגל סרק דף, זה לא מבטיח שיכלול אותו בתוצאות. אני משתמש ב-Search Console כדי לראות בדיוק מה נסרק, מה נכנס למדד ומה נדחה — ולמה. שם מסתתרות רוב הבעיות השקטות של SEO טכני.

שאלות נפוצות

מה ההבדל בין סריקה לאינדוקס? סריקה = גוגל קרא את הדף. אינדוקס = גוגל החליט לכלול אותו במאגר התוצאות. דף יכול להיסרק ובכל זאת לא להיכנס לאינדקס אם גוגל מצא אותו דל ערך או כפול.

כל כמה זמן גוגל סורק אתר? אין לוח זמנים קבוע. אתרים פופולריים שמתעדכנים תכופות נסרקים כמה פעמים ביום; אתר קטן וסטטי עשוי להיסרק אחת לכמה ימים או שבועות.

איך יודעים אם גוגל סורק את האתר שלי? דרך Google Search Console — דוח “Crawl Stats” ודוח הכיסוי מראים בדיוק אילו דפים נסרקו, מתי, ומה נדחה.

איך משפרים תקציב סריקה? מסירים דפים כפולים ודלי ערך, מתקנים שגיאות שרת, שומרים על מבנה קישורים פנימי נקי ומגישים מפת אתר מעודכנת. באתר קטן זה כמעט לא רלוונטי — הנושא קריטי בעיקר לאתרים גדולים.