מה זה AB Test?
הדעות בנוגע ל – A\B Test שנויות במחלוקת, כאשר מחנה אחד (ואני לגמרי עמוק בתוכו) לא זז בלי לבחון גרסאות שונות, לנתח ולהסיק מסקנות באמצעות A/B Test ואילו המחנה השני טוען שהעלות מול תועלת (בחשיבה על גרסאות, יצירתן וכיוצ״ב) אינה משתלמת.
במאמר זה אני מעוניין להעמיק בנקודה הזו של A/B Test ולהמחיש למה אני חושב שזה מסוג הדברים הכי בינאריים שיש! (או שאתה עושה טוב או שעדיף שאל תעשה בכלל) ואם עושים אותו נכון הוא חד משמעית מתודת העבודה הכי חשובה לכל עסק שפועל במרחב הדיגיטל והאי קומרס.
נתחיל מנתון: ממוצע של מס׳ מחקרים בנושא אחוז המרה מראה כי פחות מ-25% מאנשי השיווק טוענים שהם מרוצים מאחוזי ההמרה שלהם (באתר, בניוזלטר, בהודעות Push, בפרסום דיגיטלי וכו׳). בפועל מהפרקטיקה והעבודה הצמודה שלנו עם גופים מובילים בארץ ובעולם אני יכול להעיד שהנתון הוא אף נמוך יותר, למען האמת לא נתקלתי באיש שיווק רציני שמרוצה מנתוני ההמרה שלו ולא חותר לשפר עוד, והרבה.
החדשות הרעות – התחרות על הקשב, הכסף, הנאמנות והסבלנות של הצרכן רק תחריף לאורך השנים.
החדשות הטובות – ישנם מגוון רחב של כלים וטכניקות CRO שנועדו לשפר אחוזי המרה ו-A/B Test , אם עושים אותו נכון, הוא אחד המרכזיים שבהם. ולפני שנצלול לסודות ה-A/B Test, אם תרצו (בינינו, מי לא?!) שישה טיפים שיעזרו לאתר האי-קומרס שלכם לצמוח ב-2020 – תוכלו למצוא אותן ממש כאן. אז בואו נצלול אל תוך סודות ה-A/B Test…
נתחיל בהתחלה – מהו מבחן A/B Test?
ההגדרה היבשה היא זו – ״השוואה בין גרסאות שונות של אותו רעיון שמטרתה לבחון איזו מין הגרסאות מניבה ביצועים טובים יותר ומביאה לעמידה טובה יותר ביעדים״.
בחינת ההגדרה כבר מעלה מספר שאלות:
2. לאיזה רעיונות נכון / לא נכון לעשות A/B Test?
3. מהם היעדים ואיך מגדירים אותם ובוחנים עמידה בהם?
במאמר הנוכחי אענה על השאלות הללו ועל רבות נוספות הקשורות ל-A/B Test, תחזיקו חזק >>>
האם A/B Test בהכרח ישפר לך את אחוזי ההמרה?
התשובה היא – לא בהכרח! מדוע? נניח שתכננתם לשלוח ניוזלטר לקהל הלקוחות שלכם שמונה, לצורך הדוגמה, 100,000 מדוורים.
רגע לפני שליחת הניוזלטר אחד העובדים הציע לבחון שתי חלופות נוספות, מלבד החלופה שתוכננה (לשם הנוחות נקרא לה ״חלופה א״).
החלטתם לערוך A/B Test ושלחתם לקבוצת מדגם של לקוחות את שלוש החלופות, בפועל לאחר מס׳ שעות של בחינת אחוזי פתיחה והקלקה (בהנחה שאלו היו ה-KPI’s שהגדרתם) עלה שדווקא חלופה א׳ (המקורית) היא המנצחת ובסופה של הבחינה שלחתם אותה לכולם. האם במקרה הזה ה-A/B Test שיפר לכם את אחוזי ההמרה? לא. האם הוא אפילו עיכב אתכם וגרם להתעסקות / עלות עבודה נוספת? כנראה שכן. האם בכל זאת הוא היה הכרחי? ברור שכן. וזו הנקודה הראשונה והחשובה שאני רוצה לחדד – A/B Test הוא לא כלי שמשתמשים בו ״כשנוח״ וזונחים כש״פחות מסתדר״ A/B Test הוא דרך חשיבה ותפיסת עבודה – ומי שמבין זאת לא מוותר עליו אף פעם.
היום ה-A/B Test לא עזר (ד״א – בפועל הוא עזר מאוד כי הוא חיזק אצלכם את ההבנה שחלופה א׳ היא טובה ונכונה) אבל מחר הוא יציל אתכם או ישנה לכם את התוצאות מן הקצה אל הקצה.
אוקי – אז אחרי שהבנו ש-A/B Test תמיד עוזר (גם לחזק את הבחירה הראשונית זו עזרה) וכי הוא צריך להיות חלק אינטגרלי מאופן החשיבה והפעולה של כולנו, בואו נדבר על איך עושים אותו נכון עם עשרת השלבים שלנו לביצוע A/B Test אפקטיבי ביותר:
אז מה הם 10 השלבים לביצוע A/B Test אפקטיבי?
1. זיהוי הבעיה
על אף שהיינו רוצים, לא ניתן ולא יעיל לבחון כל פיפס – האם ביצוע של A/B Test על השורה השלישית בפוטר של האתר שלכם הוא נכון לביצוע ויעיל והאם הוא יתרום כמו ביצוע A/B Test על הבאנר הראשי בעמוד הבית? כמובן שלא ולכן חייבים להחליט מה בוחנים ולמה מייצרים A/B Test ומה לא.
כלל האצבע שלי הוא פשוט – כל דבר שמשפיע באופן משמעותי על מסע הלקוח צריך להיבדק, כאשר הבדיקות הן מסע מתמשך בפני עצמו (נתייחס לזה בהמשך) ולא ״זבנג וגמרנו״, דוגמאות לנושאים שרצוי לבצע בהם A/B Test באופן קבוע באתרי אינטרנט:
6. קמפיינים פרסומיים רציפים (קמפיין של מס׳ ימים או אפילו שבועות לא מצדיק בדר״כ A/B Test בשל אורכו הקצר וחוסר היכולת להגיע למובהקות סטטיסטית)
7. פופ אפים משמעותיים באתר / אפליקציה (הרשמה, Upsale וכו׳)
8. תהליכי הרשמה בדגש על שדות – מסרים וכפתורים
מדובר ברשימה חלקית מאוד של הנושאים שרצוי לבצע בהם A/B Test אבל נשאלת השאלה המתבקשת, איך מתעדפים? הרי ברור שלא ניתן לבדוק הכל, כל הזמן והתשובה היא – התעדוף מתחיל מהבעיה. A/B Test הוא תולדה של רצון לשפר ורצון לשפר בדר״כ נובע מבעיה כלשהי (לדוגמה – אם אתם חושבים שיש לכם אחוזי המרה מדהימים בפופ אפ להרשמה לניוזלטר, כנראה שזה לא המקום שתרצו ״לרוץ״ ולבצע A/B Test) ולכן חשוב להבין קודם ״מה כואב לכם״ ואיפה אתם מזהים בעיה.
2. זיהוי אלמנטים המשפיעים על הבעיה
לאחר שהגדרתם את הבעיה, נניח: אחוז נרשמים נמוך לניוזלטר באתר המובייל שלכם
עליכם להגדיר מה הגורמים השונים שיכולים להשפיע על הנתון הזה, לדוגמה:
1. מיקום האלמנטים השונים שדרכם המשתמש יכול להירשם לניוזלטר
2. העיצוב, המסר, השפה של אותם אלמנטים
3. הביצועים הכלליים של אתר המובייל
4. התזמון בו ההצעה להירשם מופיעה בתוך מסע הלקוח
(להעמקה בשבע טעויות UX/UI שחשוב להימנע מהן באתר האי קומרס שלכם – קראו כאן) 3. תעדוף
לאחר שמיפיתם את הגורמים השונים שיכולים להשפיע, כל אחד מהם ״מועמד״ להיות מושא של מבחני A/B Test בפני עצמו, עליכם לתעדף – מאיפה מתחילים – בכללי אני מאוד אוהב להשתמש בנוסחה הפשוטה הזו
X – גודל הפוטנציאל הטמון לדעתכם בשינוי (מ-1 עד 9, כאשר 1 אומר אין פוטנציאל ו-9 שהפוטנציאל עצום)
Y – רמת הבעיתיות של המצב הנוכחי (מ-1 עד 9, כאשר 1 אומר שהמצב לא בעייתי ו-9 אומר שהוא בעייתי מאוד)
Z – רמת המורכבות לפתרון הבעיה (מ-1 עד 9, כאשר 1 אומר שהמורכבות לביצוע הניסוי היא נמוכה מאוד ו-9 אומר שהיא גבוהה מאוד)
X*Y/Z = ציון תעדוף
תתחילו ממה שציון התעדוף שלו הוא הגבוה ביותר, וכך הלאה.
4. הגדרת יעדים
אחרי התעדוף חשוב מאוד להגדיר יעדים נדרשים, משמע – החלטתם לתעדף נושא מסוים שאותו אתם רוצים לבחון? מעולה! מה אתם מצפים מהבחינה? בכמה הייתם רוצים להשתפר? מצפים לגידול בהמרות? מצפים לזמן שהייה גבוה יותר? חשוב מאוד לנסות ולייצר יעדים ריאליים מבוססי נתונים / באנצ׳מארקים.
אז לסיכום השלבים עד כאן, איך יודעים מה לבחון?
מזהים את בעיה >>> מזהים את הגורמים הדומיננטיים לטיפול בבעיה >>> מתעדפים על פי נוסחת התעדוף >>> מגדירים יעדים.
אוקי, אז הגדרתם את הבעיה, זיהיתם את האלמנטים הדומיננטיים לטיפול בבעיה ותעדפתם על אילו מהם נכון לייצר A/B Tests, עכשיו נשאלת השאלה, איך?! על מנת להבין איך לערוך את ה-A/B Test בצורה הטובה ביותר, עליכם לעבוד עם נתונים, לדוגמה: מפות חום (Heat Maps), צילומי משתמשים, אנליטיקס, סקרים ושאלונים, התנסות עצמית ועוד.
ככל שתקדישו יותר זמן לניתוח הנתונים הקיימים על אותם אלמנטים, כך תתבהר לכם התמונה על מה בתוך אותם אלמנטים נכון לבצע A/B Test – לדוגמה: אם אתם רואים פעם אחרי פעם שאנשים מגיעים לטופס הרשמה שלכם ו״נופלים״ אחרי מילוי שדה אחד או שניים מתוך חמשת השדות שאתם מבקשים מהם למלא, כנראה שיש Issue עם השדות ושווה להתחיל את הבדיקה שם, מצד שני אם אתם רואים שרוב המשתמשים סוגרים את הפופ אפ שלכם מיד עם קפיצתו – אז אולי שווה להתחיל מהמבנה והנראות שלו וכך הלאה.
5. קביעת השערה
אחרי שהגעתם להבנה במה נכון להתמקד, הגיע הזמן לבנות את השערת המבחן שלכם, חשוב לעשות זאת בצורה הכי מפורשת והכי מדויקת שניתן, לדוגמה:
בעיה – אחוז נרשמים במובייל לא מספק
אלמנטים שמשפיעים – מיקום הפופ אפים, UX-UI של הפופ אפים, ביצועי אתר המובייל, תזמון הפופ אפים
הוחלט לתעדף קודם את ה – UX-UI הפופ אפים (פוטנציאל גבוה, מצב לא טוב ומורכבות נמוכה)
היעד הוא – להגדיל את אחוז ההמרה של נרשמים לניוזלטר במובייל בלפחות 15%.
הוחלט להתמקד ב – שדות השונים הנדרשים למילוי
בהנחה שכמות השדות היא כבר במצב המינימלי ואין שדה שניתן לוותר עליו, השערת הבחינה (היפותזה) יכולה להיות –
שינוי סדר השדות יגדיל את אחוז ההמרה של הפופ אפ או לחלופין הוספת הסבר מילולי קצר ועדין לצד כל שדה המסביר על הסיבה שלשמה הוא נדרש תגדיל את אחוז ההמרה של הפופ אפ. רק אחרי שיש לכם השערה ויעדים אפשר לצאת לדרך.
אוקי, אז הגדרנו בעיה, זיהינו את האלמנטים הדומיננטיים שמשפיעים עליה, תעדפנו והבנו בדיוק (על בסיס Data) במה חשוב להתמקד באותם אלמנטים, הגדרנו יעדים וניסחנו השערה. כעת – הגיע הזמן להתחיל לבנות את ה-Test עצמו, וגם כאן – חשוב מאוד להיות מתודיים ועקביים, כמה דגשים משמעותיים לתהליך יצירת ה-A/B Test עצמו:
- שימו לב שאתם מבצעים A/B Test ולא A/A Test או A.1/A.2 Test
7. יוצאים לדרך
ברגע שהחלטנו במה מתמקדים, צריך לצאת לדרך – יש לנו השערה, יש לנו פוקוס ואנחנו מתחילים בניסוי. אם התחלנו להתמקד ב-CTA בטופס נחיתה מסוים, אנחנו עושים שתי וריאציות שונות של אותו CTA. פעמים רבות אנשי שיווק משקיעים בעריכת A/B Test כאשר בפועל הוריאציות שנבדקות אינן שונות זו מזו כמעט כלל, חשוב מאוד לוודא שהוריאציות הנבחנות שונות זו מזו בצורה שכל אחת מהן (להערכתכם כמובן) יכולה להשפיע בצורה שונה על היעדים. אם בחרתם לבחון צבע של כפתור ושמתם שני גוונים דומים של תכלת או שבחרתם לבחון תזמון פופ אפ והתזמונים שנבחנים הם 2.5 שניות אחרי הגעה לעמוד או 2.55 שניות – אז חבל על הזמן שלכם, זה לא A/B Test זה A/A Test וגם אם יהיו ממצאים הם ככה״נ יהיו סטייה סטטיסטית ולא הרבה מעבר לכך.
8. סבלנות
למרבה הצער אנשי שיווק רבים נוטים לייצר A/B Test על סמך ״תחושת הבטן״ או ״ההבנה״ שלהם במקום על לבסס אותם על נתונים וניתוח מעמיק, מה שבדר״כ הופך את תהליך ה-A/B Test לפחות יעיל. על מנת להחליט איך מבצעים את הבחינה, אליכם לשאול את עצמכם מהם היעדים (KPI’s) של אותו אלמנט שעליו אתם עורכים את ה-A/B Test ומה הגורמ/ים שמשפיעים עליו בצורה המשמעותית ביותר, לדוגמה – נניח שאנחנו מבצעים A/B Test לשמות וסדר השדות בטופס הרשמה. ה-KPI’s במקרה כזה יהיה ככה״נ אחוזי המרה גבוהים יותר.
הגורמים שישפיעו כאן בדר״כ הם – כמות השדות, שמות השדות, התנהגות השדות (הודעות שגיאה, מקלדות), נראות השדות, סדר השדות, כפתור ה-Submit (צבע, טקסט, מיקום). נניח שתעדפתם להתחיל מכמות השדות (הפוטנציאל גדול מאוד והמורכבות יחסית קטנה), היעד שעצבתם הוא לשפר את אחוזי ההמרה בלפחות 5% כתוצאה מהמהלך וההיפותזה היא שהורדת שני שדות (יום הולדת ואימות אי מייל) תביא את היעד הנכסף. כעת כל מה שנותר לכם לעשות הוא לשחרר את ה-Test ולהמתין בסבלנות לתוצאה מנצחת.
9. ניתוח תוצאות
אני רוצה להתעכב על המשמעות של תוצאה מנצחת דרך מונח שחשוב מאוד להכיר והוא – מובהקות סטטיסטית, מובהקות סטטיסטית (בשפה חופשית) מייצגת את הסיכוי לטעות ולכן חשוב מאוד שתקפידו לסיים A/B Test רק לאחר שאתם מגיעים למובהקות סטטיסטית יחסית גבוהה (90% ומעלה זה מעולה). נניח שביצעת A/B Test ותוצאה B מנצחת ומניבה תוצאות טובות יותר, אך המובהקות הסטטיסטית של ה״ניצחון״ היא 62%, המשמעות היא שיש סיכוי של כמעט 40% ש-B היא לא באמת מנצחת. לא אכנס עכשיו לנבכי הסטטיסטיקה, אבל רק אומר שהמובהקות הסטטיסטית מושפעת ממשך זמן ומגודל המדגם, ולכן כדי להגיע למובהקות גבוהה כל שעליכם לעשות הוא להמתין בסבלנות עד שמספיק אנשים יגיעו לניסוי. לשמחת כולנו מרבית כלי ה-A/B Test מספקים את המובהקות הסטטיסטית כחלק מניתוח התוצאות (לרוב יקבע Probability to beat the baseline).
10. ישום והחלטה האם עוברים לרכיב הבא או ממשיכים מכאן לניסוי נוסף
אז אחרי שהגעתם למובהקות סטטיסטית מספקת ותוצאה מנצחת – זה הזמן לתחקר את התוצאות, ליישם את המנצחת (בהנחה שהיא לא מצב המקור) ולהמשיך הלאה – לא תמיד השלב הבא יהיה מעבר לניסוי על גורם / רכיב אחר, לעיתים השלב הבא יהיה המשך בחינת הרכיב הנוכחי רק שכעת ״מצב המוצא״ יהיה השינוי החדש והמתמודד יהיה משהו חדש.
לסיכום:
אם מעולם לא התנסיתם במבחן A\B – זה הזמן להתחיל! ויפה שעה אחת קודם…
זכרו את התהליך והדגשים הבאים:
1. מזהים בעיה
2. מחפשים את הגורמים השונים שמשפיעים עליה
3. מתעדפים
4. מגדירים יעדים
5. מעלים השערה (היפותזה)
6. מחליטים במה להתמקד
7. יוצאים לדרך
8. מחכים בסבלנות
9. מנתחים את התוצאות
10. מיישמים במידת הצורך ומחליטים האם לעבור לרכיב הבא או להמשיך ב-A/B Test על הרכיב/ים הנוכחי/ם
דגשים:
לעבוד עם דאטה
להתאזר בסבלנות
לתעדף על פי שקלול ולא על פי ״הרגשה״
לא להתייאש גם אם ה-A/B Test שלכם מחזיר לכם שוב ושוב שגרסת המקור היא המנצחת, בסופו של יום תצליחו וזה יהיה מספק בטירוף!
רוצים לשמוע עוד על הנושא? מוזמנים לצפות בסרטון הקצר הזה
לכל המאמרים בנושא אי-קומרס באתר >>
שאלות ותשובות
מה הוא AB Test?
ההגדרה היבשה היא זו – ״השוואה בין גרסאות שונות של אותו רעיון שמטרתה לבחון איזו מין הגרסאות מניבה ביצועים טובים יותר ומביאה לעמידה טובה יותר ביעדים״. בחינת ההגדרה כבר מעלה מספר שאלות: 1. כמה גרסאות צריך? 2. לאיזה רעיונות נכון / לא נכון לעשות A/B Test? 3. מהם היעדים ואיך מגדירים אותם ובוחנים עמידה בהם? במאמר הנוכחי אענה על השאלות הללו ועל רבות נוספות הקשורות ל-A/B Test, תחזיקו חזק >>>
האם בהכרח AB Test משפר את יחסי ההמרה?
התשובה היא - לא בהכרח! מדוע? נניח שתכננתם לשלוח ניוזלטר לקהל הלקוחות שלכם שמונה, לצורך הדוגמה, 100,000 מדוורים. רגע לפני שליחת הניוזלטר אחד העובדים הציע לבחון שתי חלופות נוספות, מלבד החלופה שתוכננה (לשם הנוחות נקרא לה ״חלופה א״). החלטתם לערוך A/B Test ושלחתם לקבוצת מדגם של לקוחות את שלוש החלופות, בפועל לאחר מס׳ שעות של בחינת אחוזי פתיחה והקלקה (בהנחה שאלו היו ה-KPI's שהגדרתם) עלה שדווקא חלופה א׳ (המקורית) היא המנצחת ובסופה של הבחינה שלחתם אותה לכולם. האם במקרה הזה ה-A/B Test שיפר לכם את אחוזי ההמרה? לא. האם הוא אפילו עיכב אתכם וגרם להתעסקות / עלות עבודה נוספת? כנראה שכן. האם בכל זאת הוא היה הכרחי? ברור שכן. וזו הנקודה הראשונה והחשובה שאני רוצה לחדד - A/B Test הוא לא כלי שמשתמשים בו ״כשנוח״ וזונחים כש״פחות מסתדר״ A/B Test הוא דרך חשיבה ותפיסת עבודה - ומי שמבין זאת לא מוותר עליו אף פעם. היום ה-A/B Test לא עזר (ד״א - בפועל הוא עזר מאוד כי הוא חיזק אצלכם את ההבנה שחלופה א׳ היא טובה ונכונה) אבל מחר הוא יציל אתכם או ישנה לכם את התוצאות מן הקצה אל הקצה.
איך אני יודע מה למדוד בAB Test?
על אף שהיינו רוצים, לא ניתן ולא יעיל לבחון כל פיפס – האם ביצוע של A/B Test על השורה השלישית בפוטר של האתר שלכם הוא נכון לביצוע ויעיל והאם הוא יתרום כמו ביצוע A/B Test על הבאנר הראשי בעמוד הבית? כמובן שלא ולכן חייבים להחליט מה בוחנים ולמה מייצרים A/B Test ומה לא. כלל האצבע שלי הוא פשוט – כל דבר שמשפיע באופן משמעותי על מסע הלקוח צריך להיבדק, כאשר הבדיקות הן מסע מתמשך בפני עצמו (נתייחס לזה בהמשך) ולא ״זבנג וגמרנו״, דוגמאות לנושאים שרצוי לבצע בהם A/B Test באופן קבוע באתרי אינטרנט: 1. עמוד בית 2. עמוד מוצר 3. עמודי עגלה וצ׳ק אאוט 4. ניוזלטרים 5. הודעות Push 6. קמפיינים פרסומיים רציפים (קמפיין של מס׳ ימים או אפילו שבועות לא מצדיק בדר״כ A/B Test בשל אורכו הקצר וחוסר היכולת להגיע למובהקות סטטיסטית) 7. פופ אפים משמעותיים באתר / אפליקציה (הרשמה, Upsale וכו׳) 8. תהליכי הרשמה בדגש על שדות – מסרים וכפתורים מדובר ברשימה חלקית מאוד של הנושאים שרצוי לבצע בהם A/B Test אבל נשאלת השאלה המתבקשת, איך מתעדפים? הרי ברור שלא ניתן לבדוק הכל, כל הזמן והתשובה היא – התעדוף מתחיל מהבעיה. A/B Test הוא תולדה של רצון לשפר ורצון לשפר בדר״כ נובע מבעיה כלשהי (לדוגמה – אם אתם חושבים שיש לכם אחוזי המרה מדהימים בפופ אפ להרשמה לניוזלטר, כנראה שזה לא המקום שתרצו ״לרוץ״ ולבצע A/B Test) ולכן חשוב להבין קודם ״מה כואב לכם״ ואיפה אתם מזהים בעיה.
איך אני מזהה את האלמנטים שמשפיעים על הבעיה?
לאחר שהגדרתם את הבעיה, נניח: אחוז נרשמים נמוך לניוזלטר באתר המובייל שלכם עליכם להגדיר מה הגורמים השונים שיכולים להשפיע על הנתון הזה, לדוגמה: 1. מיקום האלמנטים השונים שדרכם המשתמש יכול להירשם לניוזלטר 2. העיצוב, המסר, השפה של אותם אלמנטים 3. הביצועים הכלליים של אתר המובייל 4. התזמון בו ההצעה להירשם מופיעה בתוך מסע הלקוח ועוד ועוד… UX/UI שחשוב
איך להגדיר יעדים ב AB Test?
אחרי התעדוף חשוב מאוד להגדיר יעדים נדרשים, משמע – החלטתם לתעדף נושא מסוים שאותו אתם רוצים לבחון? מעולה! מה אתם מצפים מהבחינה? בכמה הייתם רוצים להשתפר? מצפים לגידול בהמרות? מצפים לזמן שהייה גבוה יותר? חשוב מאוד לנסות ולייצר יעדים ריאליים מבוססי נתונים / באנצ׳מארקים. אז לסיכום השלבים עד כאן, איך יודעים מה לבחון? מזהים את בעיה >>> מזהים את הגורמים הדומיננטיים לטיפול בבעיה >>> מתעדפים על פי נוסחת התעדוף >>> מגדירים יעדים. אוקי, אז הגדרתם את הבעיה, זיהיתם את האלמנטים הדומיננטיים לטיפול בבעיה ותעדפתם על אילו מהם נכון לייצר A/B Tests, עכשיו נשאלת השאלה, איך?! על מנת להבין איך לערוך את ה-A/B Test בצורה הטובה ביותר, עליכם לעבוד עם נתונים, לדוגמה: מפות חום (Heat Maps), צילומי משתמשים, אנליטיקס, סקרים ושאלונים, התנסות עצמית ועוד. ככל שתקדישו יותר זמן לניתוח הנתונים הקיימים על אותם אלמנטים, כך תתבהר לכם התמונה על מה בתוך אותם אלמנטים נכון לבצע A/B Test – לדוגמה: אם אתם רואים פעם אחרי פעם שאנשים מגיעים לטופס הרשמה שלכם ו״נופלים״ אחרי מילוי שדה אחד או שניים מתוך חמשת השדות שאתם מבקשים מהם למלא, כנראה שיש Issue עם השדות ושווה להתחיל את הבדיקה שם, מצד שני אם אתם רואים שרוב המשתמשים סוגרים את הפופ אפ שלכם מיד עם קפיצתו – אז אולי שווה להתחיל מהמבנה והנראות שלו וכך הלאה.
איך לנתח תוצאות בAB Test?
אני רוצה להתעכב על המשמעות של תוצאה מנצחת דרך מונח שחשוב מאוד להכיר והוא – מובהקות סטטיסטית, מובהקות סטטיסטית (בשפה חופשית) מייצגת את הסיכוי לטעות ולכן חשוב מאוד שתקפידו לסיים A/B Test רק לאחר שאתם מגיעים למובהקות סטטיסטית יחסית גבוהה (90% ומעלה זה מעולה). נניח שביצעת A/B Test ותוצאה B מנצחת ומניבה תוצאות טובות יותר, אך המובהקות הסטטיסטית של ה״ניצחון״ היא 62%, המשמעות היא שיש סיכוי של כמעט 40% ש-B היא לא באמת מנצחת. לא אכנס עכשיו לנבכי הסטטיסטיקה, אבל רק אומר שהמובהקות הסטטיסטית מושפעת ממשך זמן ומגודל המדגם, ולכן כדי להגיע למובהקות גבוהה כל שעליכם לעשות הוא להמתין בסבלנות עד שמספיק אנשים יגיעו לניסוי. לשמחת כולנו מרבית כלי ה-A/B Test מספקים את המובהקות הסטטיסטית כחלק מניתוח התוצאות (לרוב יקבע Probability to beat the baseline).
