A/B Testing על כותרות - איך לדעת מה ניצח
שיעור 6 מתוך 20
התשובה הקצרה
זה השיעור שבו אני הולך לסתור עצה נפוצה שכנראה שמעת. אומרים לך "תבדוק שתי כותרות, ואחרי כמה עשרות קליקים תעבור למנצחת". זו עצה שעולה כסף. הנה המספר שממחיש למה: אם כל גרסה קיבלה 200 חשיפות, ואחת הביאה 4 קליקים והשנייה 6 - הסיכוי לקבל פער כזה או גדול יותר גם כששתי הכותרות זהות לחלוטין הוא בערך 75%. כלומר, שלוש מתוך ארבע פעמים תכריז על מנצחת שהיא לא מנצחת. הבעיה היא לא שאתה לא בודק מספיק, היא שאתה מחליט מוקדם מדי. בשיעור הזה תקבל את גודל המדגם האמיתי שנדרש לכל גודל פער, וכלל החלטה שמתאים לעסק קטן שלעולם לא יגיע למספרים האלה.
מה בדיקה כזו באמת עושה - ומה היא לא
בדיקת A/B מציגה שתי גרסאות לשני חלקים דומים מהקהל ומודדת מה קרה. הכלים מובנים כבר: במטא יש כלי בדיקה ייעודי שגם מציג רמת מובהקות, בגוגל אפשר להריץ שתי מודעות באותה קבוצה, ובכל מערכת דיוור יש בדיקת שורת נושא. עד כאן הקל. החלק שאף אחד לא מסביר: הבדיקה לא אומרת לך מה נכון - היא נותנת שני מספרים, ואתה זה שמחליט אם הפער ביניהם אמיתי או מקרי. כל התוכן שלמטה עוסק בהחלטה הזו, כי שם נמצא הכסף.
טוען את המשך השיעור...