תעבורת בוטים: מה שהשרת רואה ואנליטיקס לא מראה לכם

תעבורת בוטים מהווה היום את רוב הבקשות באינטרנט, ולא מיעוט שולי. בעל עסק שפותח את הלוגים של השרת רואה את זה מיד.

בואו נהיה כנים: רוב בעלי העסקים בישראל מסתכלים על Google Analytics ומניחים שזאת כל התמונה. אנליטיקס מונה בני אדם. השרת מטפל בכולם.

היום נעבור על מה שהמספרים מראים, ועל ההחלטה היחידה שכדאי לקבל החודש.

מה השתנה בשנה האחרונה

אז ככה. Cloudflare מפעילה חלק גדול מהתשתית של האינטרנט, ולכן היא רואה את התמונה הרחבה. בדוח שפרסמה ביולי 2026 היא מדווחת שיותר ממחצית מהבקשות באינטרנט כבר אינן אנושיות.

ורגע לפני שממשיכים, הבהרה שחוסכת בלבול. מדובר בבקשות HTTP, ולא במבקרים. סריקה אחת יכולה לייצר אלפי בקשות על אותו אתר. אנליטיקס לעומת זאת מסנן פעילות אוטומטית ומודד בני אדם. לכן שני המספרים לא סותרים, הם פשוט מודדים דברים שונים.

והנתון המעניין יותר הוא הכיוון. ביוני 2026, 52 אחוז מבקשות הסריקה הגיעו מבוטים שאוספים חומר לאימון מודלים. באביב 2025 המספר הזה עמד על 22 אחוז בלבד.

עוד 36 אחוז מהפעילות מגיעה מסורקים מעורבים, כאלה שמשרתים גם אימון וגם חיפוש. לעומת זאת, הסריקה לצורכי חיפוש בלבד מצטמצמת.

תעבורת בוטים מול מה שחוזר אליכם

וכאן מגיע החלק שכואב. Cloudflare מדדה גם את היחס בין סריקות להפניות. כלומר, כמה עמודים בוט סורק על כל מבקר אחד שהוא שולח בחזרה.

במדידה שלה מאוגוסט 2025, בענף המחשבים והאלקטרוניקה, היחסים נראו כך:

שימו לב שאלה נתוני 2025, והם מתארים ענף אחד ולא את כל האינטרנט. היחסים האלה תלויים גם בשיטת המדידה ובתקופה. אצלכם המספר המדויק יהיה אחר. סדר הגודל הוא מה שחשוב כאן.

והמשמעות המעשית ברורה. הבוטים שסורקים אתכם היום עושים זאת בעיקר כדי ללמוד, ולא כדי לשלוח אליכם מבקרים. זה מחדד את השאלה שכדאי לשאול. לא כמה הם לוקחים, אלא מה אתם מקבלים בתמורה.

החשבון האמיתי של תעבורת בוטים בעסק ישראלי

עכשיו לצד השני של המשוואה. Ahrefs בדקה 81,947 אתרים, ופרסמה ביוני 2025 שהתנועה מ-AI עומדת על 0.25 אחוז מכלל התנועה לאתר.

0.25 אחוז. זה הכול.

נכון, הנתון הזה צמח פי 9.7 בתוך שנה. הכיוון חד וברור. אבל הבסיס עדיין זעיר.

חשוב להגיד שזה ממוצע, ולא מספר קבוע. במחקר קודם של Ahrefs, על 3,000 אתרים, דווקא האתרים הקטנים קיבלו נתח גבוה יותר. 0.56 אחוז מהמבקרים באתרים עם פחות מאלף כניסות בחודש, מול 0.13 אחוז באתרים גדולים. באותו מחקר, 63 אחוז מהאתרים קיבלו לפחות מבקר אחד מצ'אטבוט.

תרגמו את זה לעסק ישראלי טיפוסי. אתר B2B עם 2,000 כניסות אנושיות בחודש מקבל בערך בין חמש לעשר כניסות מ-AI. בינתיים השרת שלו מטפל בבוטים כמו כל אתר אחר.

וזה בדיוק הפער שחשוב להבין. עלות הסריקה לא מתחשבת בגודל שלכם. לכן אתר ישראלי קטן משלם מחיר תשתית דומה, ומקבל בחזרה הרבה פחות.

מהניסיון שלנו בפרויקטים, הפער הזה מפתיע כמעט כל לקוח. בעל עסק רואה דוח אנליטיקס רגוע, ומניח שהשרת עובד קל. בפועל, החלק הגדול של העבודה שהשרת עושה בכלל לא מופיע בדוח הזה. זאת לא בעיה בפני עצמה, אבל זה הופך כל החלטה על אחסון לניחוש.

ארבעה צעדים לבדיקת תעבורת בוטים אצלכם

1. פתחו את הלוגים: בקשו מספק האחסון פילוח לפי user agent. חפשו את GPTBot, ClaudeBot ו-PerplexityBot.
2. השוו מול אנליטיקס: הפער בין מה שהשרת רושם למה שאנליטיקס מדווח הוא בדיוק תעבורת בוטים.
3. בדקו לאן הם מפנים: לפי ניתוח של Ahrefs על האתר שלה, 36 אחוז מהתנועה הגיעה לכלים חינמיים ו-23 אחוז לעמודי מוצר. לא לבלוג.
4. הגבילו קצב, אל תחסמו: אם הבוטים מעמיסים, הגדירו rate limit. חסימה גורפת היא הפתרון האחרון.

מתי כדאי פשוט להתעלם

וגם את זה צריך להגיד בכנות. אם האתר שלכם מארח עשרות עמודים ורץ על אחסון סביר, הסריקה לא תפיל אתכם.

הכאב מתחיל בשלושה מצבים בלבד: קטלוג גדול עם אלפי עמודים, אחסון שמחייב לפי נפח תעבורה, או אתר שכבר איטי מלכתחילה. בכל מקרה אחר, יש לכם דברים דחופים יותר לתקן. כתבנו על סדר העדיפויות הזה בפוסט על שיפור מהירות אתר.

ובעיקר, חסימה גורפת פוגעת בנראות שלכם. מי שחוסם את הסורקים שמזינים את מנועי התשובות, מוחק את עצמו מהמקום שבו לקוחות מחפשים היום. כתבנו על המגמה הזאת בפוסט על קידום אתרים ב-2026, שם המיקומים החזיקו והתנועה ירדה.

שאלות נפוצות על תעבורת בוטים

האם כדאי לחסום AI crawlers?

בדרך כלל לא, ובטח לא את כולם. חסימה של סורקי אימון מקלה על השרת, אבל היא גם מסלקת אתכם מהתשובות. ההיגיון הפרקטי פשוט: אפשרו לסורקים שמפנים אנשים, והגבילו את מי שרק לוקח.

איך מבדילים בוט אמיתי מזיוף?

לפי כתובת ה-IP, ולא לפי השם שהוא מצהיר עליו. כל ספק גדול מפרסם את טווחי הכתובות שלו. זיוף של user agent הוא טריוויאלי, ולכן השם לבדו לא מספיק.

מה עם robots.txt, זה מספיק?

זאת הצהרת כוונות, ולא מנגנון אכיפה. סורקים הגונים מכבדים אותה, ואחרים פשוט מתעלמים. לכן אם אתם באמת צריכים לעצור עומס, ההגבלה חייבת לשבת בשכבת השרת או ב-CDN.

הבוטים מאטים לי את האתר?

תלוי בנפח. סריקה אגרסיבית על קטלוג גדול מרגישה כמו עומס אמיתי. הפתרון הראשון הוא הגבלת קצב, ורק אחריו חסימה ממוקדת.

השורה התחתונה: הבוטים כבר מהווים את רוב הבקשות, ומה שחוזר מהם עדיין נמדד בשברירי אחוז. זאת לא סיבה לחסום, וזאת בהחלט סיבה למדוד. תפתחו את הלוגים החודש, תשוו אותם לאנליטיקס, ותדעו מה אתם משלמים ומה אתם מקבלים. ואם אתם רוצים שמישהו יבדוק את התשתית איתכם, זה בדיוק שירות בניית האתרים שלנו. מי שלא בודק, ממשיך לשלם על תנועה שהוא בכלל לא רואה.