"מוכנים להשתתף בניסוי?" על הקשר בין ניתוח דאטה לטיול בנגב

הקדמה

אתחיל ואומר, שהקשר בין ניתוח דאטה וטיולים אמנם נראה לכאורה קלוש, אבל הוא קיים כמעט בכל דבר שבו אנחנו נתקלים.
הסיפור הבא ימחיש בדיוק איך…

אז כמו כל עם ישראל, גם אני יצאתי לטיול בפסח האחרון.

כאשר חיפשתי רעיונות היכן לטייל, נזכרתי בהזדמנות מאוד מעניינת, שצצה רק בחגים;

במהלך חול המועד, ובהתאם למצב הבטחוני, צה"ל פותח לנסיעת כלי רכב אזרחיים את כביש 10.

מדובר בכביש הסמוך לגבול עם מצריים, ולמרות שהוא אחד הכבישים הנידחים ביותר שיש בישראל – הוא גם אחד היפים שבהם.

אז עבדכם הנאמן לקח את המשפחה – ויצאנו לדרך.

 

חשמל באוויר

הקטע הצפוני שבו אפשר להתחיל לנסוע בכביש 10 הוא באיזור ניצנה.

לניצנה ניתן להגיע מהמרכז בצורה המהירה ביותר דרך באר שבע, ולאחר מכן כביש 40 לכיוון מצפה רמון.

באיזור צומת טללים לא פונים שמאלה לכיוון מצפה רמון, אלא ממשיכים ישר לכיוון ניצנה.

מספר קילומטרים לאחר מכן, ניתן להתחיל לראות מגדל גבוה עם אור בוהק מאוד, שכאילו יצא מסרט מדע בדיוני.

מדובר בתחנת כח סולארית – כזו המנצלת את אנרגיית השמש לייצור חשמל.

עד היום, חשבתי שזו תחנת הכח היחידה באיזור.

אבל כשהמשכנו בנסיעה בכביש – נתקלנו במשהו שלא ציפיתי לראות בסדר גודל כזה:

עוד 2 תחנות כח.

מה שהיה באמת מעניין, הוא שכל אחד מ-3 התחנות עושה שימוש בטכנולוגיה אחרת לרתימת אנרגיית השמש:

התחנה הראשונה – כאמור עושה שימוש בהרבה מראות, אשר מרכזות את אור השמש לעבר נקודה אחת במגדל גבוה.
ריכוז אור השמש בנקודה אחת יוצר בה טמפרטורה של לא פחות מ-500 מעלות.
החום הזה מאפשר להפוך מים לקיטור – שמניע טורבינה להפקת חשמל.

התחנה השניה כוללת גם מראות, אך הפעם כל מראה משתרעת על פני כמה מאות מטרים, והיא בצורה האות C. במרכז כל מראה יש מוט דק לכל אורכה – ואליו ממוקדת אנרגיית השמש.
גם כאן המוט מתחמם ומספק אנרגייה.

התחנה השלישית כוללת לוחות סולאריים 'רגילים', בגדול כמו אלה שיש בדוד שמש רגיל.

אגב, לכל המתחם קוראים 'אשלים', ולמי שמעוניין יש עוד מידע כאן.

 

ראש בראש

כאשר עוברים ליד 3 התחנות, קשה שלא לתהות מדוע לא בנו 3 תחנות מסוג מגדל השמש, אלא 3 תחנות שונות.

את התשובה האמיתית איני יודע, אבל מיד עולה ההשערה, שהמדינה פשוט רוצה לבדוק איזו טכנולוגיה עובדת הכי טוב – קרי מייצרת הכי הרבה חשמל בעלות הנמוכה ביותר.

ובמילים אחרות:

ניסוי!

וכאן, כבר עלה במוחי הרעיון לקחת את הדוגמה של תחנות הכח, ודרכה לתאר מהו ניסוי אנליטי – כזה המאפשר לאסוף נתונים ולשפר ביצועים באמצעות ניתוח דאטה.

 

מוכנים להשתתף בניסוי?

אז עוד לפני שנתחיל להסביר מהו ניסוי אנליטי, נדרש קודם כל להבין:

מדוע בכלל נדרשים ניסויים?

התשובה לכך מאוד פשוטה: לא עבור כל שאלה עסקית ישנם נתונים ברורים ומספיקים שנוכל לנתח ולהסיק מתוכם את התשובות הרצויות.

לכן, במקרים שבהם קיימת השערה מסוימת לגבי מה יכול לשפר את הביצועים, אפשר לתכנן ניסוי.

במסגרת הניסוי נוכל לאסוף נתונים בצורה ממוקדת, לנתח אותם – וללמוד מתוך הם מה עשוי להשפיע על מדדי הביצועים של החברה.
או במילים אחרות: למידה מבוססת ניתוח דאטה (Data Driven Learning).

בשפה המקצועית ניסויים כאלה נקראים A\B Testing.

מקור השם הוא פשוט: יש לנו במוצר/אתר גרסה קיימת (A), וגרסה חדשה עם שינוי כלשהו (B).

כעת, נרצה להריץ במקביל את שתי הגרסאות – ולראות איזו מהן עובדת יותר טוב במדד מסוים (לדוגמה: אחוזי הרשמה, מכירות, נטישות או מדד אחר).

את הגרסה המנצחת נשמור, ואת הגרסה המפסידה נגנוז.

ניסויים כאלה אפשר לבצע כמעט בכל תהליך שבו ניתקל בתור אנליסטים.
זה יכול להיות בפיצ'ר באתר/אפליקציה, בדף נחיתה, או אפילו בהשוואה של מודלים לחיזוי התנהגות לקוחות (נניח מודל קיים לחיזוי נטישה, או מודל חדש שאנחנו רוצים להטמיע).

נשמע פשוט, נכון?

אז כמו בהרבה דברים, העקרון מאוד פשוט, אבל בתנאי ששומרים על כמה דברים חשובים. נפרט כאן על 3 מהם:

• השערת הניסוי – מהות השינוי בין הגרסאות
• מובהקות סטטיסטית והטיות בנתונים
• קבוצת ביקורת וחלוקת התצפיות בין הגרסאות (Traffic Allocation)

 

השערת הניסוי – מהות השינוי בין הגרסאות

הרעיון הוא ליצור גרסה חדשה, אשר יהיה לה סיכוי סביר 'להכות' את הגרסה הקיימת.

חשוב להקפיד על תכנון השינוי בגרסה החדשה, כך שיהיה מהותי מספיק.
לדוגמה: שינוי צבע של כפתור ההרשמה באתר אינטרנט מירוק לאדום הוא כנראה שינוי מינורי, ולכן לא בטוח שיביא לשיפור משמעותי.
לעומת זאת, שינוי הצעת הערך (הרשמה לניוזלטר למול הרשמה לקורס חינמי) יכולה בהחלט לשפר מהותית את אחוזי ההרשמה באתר.

לכן, חשוב מאוד שתהיה השערה עסקית ברורה – שעליה מתבסס הניסוי.
לדוגמה: קהל יעד X שאליו נפנה ייטה יותר להירשם מאשר קהל יעד Y.
או שקהל היעד מחפש ערך מסוג A או B (לדוגמה: קורס איך למצוא עבודה או ליווי של חברת השמה).

מובהקות סטטיסטית והטיות בנתונים

אחד המאפיינים החשובים בניסוי אנליטי הוא כמובן צבירת נתונים חדשים לגבי הניסוי.
וכמו בכל תהליך של איסוף נתונים יכולות להיות הטיות, שגיאות מדידה, או פשוט לא מספיק נתונים.

אחד השיקולים העיקריים בניסוי הוא כמה תצפיות נדרשות על מנת שההבדל בביצועים בין שתי הגרסאות יהיה מובהק סטטיסטית – קרי לא נובע משגיאות אקראיות בנתונים.

לכן, נדרש לתת מענה לכל אחד מההיבטים הללו – בין אם במדידה עקבית של הנתונים, ובין אם בעריכת הניסוי במשך זמן מספיק על מנת לצבור מספיק תצפיות.

חישוב מובהקות סטטיסטית הוא תהליך פשוט כיום, מאחר וקיימים הרבה מאוד מחשבונים אונליין.
בשלב מתקדם יותר, מומלץ ללמוד ולהכיר את הנוסחאות הסטטיסטיות של חישובי מובהקות.

אגב, חשוב לציין כאן, שהחלק של ניתוח דאטה בהקשרים של ניסוי A/B Testing הוא יחסית מצומצם.
מדוע? כי ברוב המקרים המדד שאותו נרצה לבחון או לשפר יהיה יחסית פשוט לחישוב (יחס הרשמה/מכירה וכיו"ב), ולכן לא נידרש לתהליך טכני מורכב של עיבוד נתונים או ניתוח שלהם.

 

קבוצת ביקורת וחלוקת התצפיות בין הגרסאות (Traffic Allocation)

כאמור, הרעיון בניסוי הוא להשוות בין 2 גרסאות.
לכן, חשוב לשמור על קבוצת ביקורת.

ברוב המקרים, קבוצת הביקורת תהיה פשוט התהליך או הגרסה הנוכחיים, אלה שעד היום עבדנו איתם.

בשביל להראות שגרסה חדשה אכן משפרת את הביצועים, לא מספיק להריץ רק אותה.

מדוע?

כי גם אם נראה שיפור, ייתכן שהוא נובע משינוי לטובה בשוק או בסביבה, ולאו דווקא מהגרסה החדשה.

מטרת קבוצת הביקורת היא לנטרל בדיוק מקרים כאלה, ולוודא שהשינוי/שיפור הוא אמיתי, ולא תוצאה של שינוי חיצוני.

לכן – אחד הדברים החשובים הוא שמירה של קבוצת ביקורת, והרצת הניסוי במקביל על 2 הגרסאות – ישנה וחדשה.

אגב, זה נכון בפרט בניסויים, אבל גם בכלל – בכל תהליך ניתוח דאטה – בהיבט השוואת ביצועים בין 2 אוכלוסיות או יותר בשביל להבין מה עובד יותר טוב או פחות.

האפשרות הפשוטה ביותר לשמירת קבוצת ביקורת היא הפניית חצי מהתנועה (משתמשים/לקוחות וכיו"ב) לגרסה הקיימת, וחצי לגרסה החדשה;
אפשר כמובן להקצות את התנועה בצורה שונה, כמו 80% לגרסה הקיימת ו-20% לגרסה החדשה (על מנת לא להסתכן יותר מדי עם גרסה חדשה שהמשמעות שלה לא ידועה עד הסוף).

 

סיכום

בפוסט הבנו בצורה ראשונית מהו ניסוי A\B Testing, מהי המשמעות שלו עבורנו כאנליסטים והיכן הוא משתלב בתהליך טיפוסי של ניתוח דאטה.

ניסויים כאלה הם הבסיס לתהליך למידה מבוסס נתונים, והם מהווים את אחד הכלים החזקים ביותר שיש לנו בארסנל על מנת ליצור שיפור בביצועים העסקיים.

אז בפעם הבאה שאתם עוברים בדרום, חפשו את מגדל השמש הסולארי.

יש לי תחושה שכשתראו אותו – תסתכלו עליו בצורה אחרת…

ואגב, אם אתם תוהים איך נראה כביש 10, אז הנה כמה תמונות מייצגות של מדבר – להנאתכם…

 

בהצלחה בניסוי!