גוגל מקצה לכל אתר 'תקציב סריקה' לפי 2 גורמים: 1) Crawl Demand - כמה גוגל חושב שצריך לסרוק את האתר (לפי עדכון תוכן, פופולריות). 2) Crawl Rate Limit - כמה השרת שלך יכול לטפל בלי לקרוס. אתר עם שרת איטי + תוכן ישן - תקציב נמוך. אתר עם שרת מהיר + עדכונים תכופים - תקציב גבוה. נתון: גוגל סורק 80-90% מהאתרים פחות מ-1,000 עמודים ביום. אם יש לך 5,000 עמודים, ולוקח 5-6 ימים לסריקה מלאה - שינויים שלך לא נראים מיד.

1. robots.txt (בכתובת yoursite.com/robots.txt): מסמך טקסט קטן שאומר לגוגל איזה תיקיות לא לסרוק. דוגמה: `Disallow: /search/` - לא לסרוק תוצאות חיפוש פנימיות. `Disallow: /tag/` - לא לסרוק עמודי תגיות. 2. sitemap.xml (בכתובת yoursite.com/sitemap.xml): רשימה של כל העמודים החשובים שלך + תאריך עדכון אחרון + עדיפות. מודיע לגוגל איפה להתחיל. 3. noindex meta tag: בעמוד ספציפי, `<meta name="robots" content="noindex">`. אומר לגוגל 'אל תאנדקס אותי' גם אם תסרוק אותי. שילוב נכון: robots.txt חוסם תיקיות שלמות, noindex על עמודים בודדים, sitemap.xml מפנה לעמודים חשובים.

אתר e-commerce עם 3,400 מוצרים. הבעיה: גוגל סורק רק 720 עמודים ביום. 60% מ-Crawl Budget נשרף על: עמודי פילטרים (?color=blue&size=L), תוצאות חיפוש פנימיות (/search?q=...), עמודי תגיות ישנים (/tag/winter-2019/). תיקון: 1) הוסיף ל-robots.txt: Disallow על /search/, ?filter=, /tag/. 2) הוסיף noindex לעמודי תגיות לא רלוונטיים. 3) עדכן sitemap.xml עם רק 3,400 עמודי מוצר ו-67 עמודי קטגוריה. אחרי 8 שבועות: גוגל סורק 2,100 עמודים ביום (כמעט 3x). כיסוי אינדקס עלה מ-67% ל-94%. עמודי מוצר חדשים מאונדקסים תוך 2-4 ימים במקום 14-21 ימים. תנועה אורגנית עלתה 31%.

1. חסימה גורפת ב-robots.txt - חוסמים תיקיה שלמה שיש בה גם עמודים חשובים. תיקון: לבדוק לפני כל שינוי ב-robots.txt עם Google Search Console. 2. sitemap.xml עם עמודי 404 - גוגל מאבד אמון. תיקון: עדכון sitemap אוטומטי או חודשי, להוציא עמודים שמתו. 3. noindex על עמודים שצריכים להיות באינדקס - לפעמים סוכנות SEO מוסיפה noindex 'לבטוח' ושוכחת. תיקון: בדיקה ב-Google Search Console איזה עמודים מקבלים noindex.