אז בשעה טובה הגיע הרגע, והסגרים למיניהם הגיעו לסיומם (בינתיים ובתקווה שלנצח, למרות חשש משמעותי מהפתעות…)

כולנו יוצאים לאט מהבתים, וחוזרים לשגרה חדשה – שגרת קורונה.

 

למען האמת – היציאה מהסגר לשגרה קרתה יחסית מהר, ואפילו מהר מדי;

למעט הנחיות כלליות של מסיכה ושמירה על ריחוק של שני מטרים מאנשים – אין יותר מדי קשר מול הקיצוניות של הסגר שבו היינו רק לפני שבועות בודדים.

הפער הזה – בין סגר ובין שגרה – גורם ללא מעט מאיתנו לתמוה מה בדיוק התכנית כאן, ואיך להימנע מהתפרצות של גל שני?

 

ובכן, אז בדיוק בשביל לענות על השאלה הזו, הנה פוסט מיוחד בנושא הכי רלוונטי שיכול להיות:

ניסויים אנליטיים!

 

 

מהו ניסוי?

לחלקנו זכורים שיעורי מעבדה בתיכון או באוניברסיטה, שבהם ערכנו כל מיני ניסויים משונים (משום מה אני יכול להריח עד עכשיו את הריח השרוף של המעגל החשמלי במעבדת אלקטרוניקה בתיכון…)

 

ולאלה שלא "זכו" לחוות את התענוג שבשריפת מעגל חשמלי או הריסת מבחנות:

ניסוי הוא מסגרת מתוכננת, שבה יש לנו השערה מסוימת – אותה אנחנו רוצים לבדוק, כלומר – לאושש או להפריך.

הרעיון בניסויים הוא ליצור סביבת עבודה מבוקרת, שבה אפשר לבחון תופעות מסוימות, ולבדוק את מידת ההשפעה של גורמים מסוימים על התוצאות.

 

מדוע נדרשת סביבת עבודה מבוקרת?

כי במציאות, יכול להיות שיהיו הרבה גורמים שיוכלו להטות את התוצאה, ויהיה לנו קשה לבודד את הגורמים שנרצה לחקור.

 

 

איך ניסויים קשורים לעולם הדאטה?

בעוד שבעולם התוכן של פיזיקה, מתמטיקה, אלקטרוניקה וכיו"ב הניסויים מתבצעים לרוב במעבדות ועם ציוד מיוחד, בעולם האנליטי והעסקי הניסויים הם קצת שונים.

 

כשאנחנו רוצים לשפר ביצועים של חברה, המפתח הוא למידה.

הבעיה היא שלא תמיד יש לנו מספיק נתונים בשביל להסיק מסקנות, וגם כשכבר ניתחנו אותם והגענו לתובנה מעניינת – עדיין לא בטוח שהיא תהיה תקפה למציאות.

נמחיש את זה דרך חברה חדשה – עסק או סטארטאפ.

בתחילת הדרך אין לנו הרבה מידע – וקיימת אי ודאות רבה לגבי מי קהל היעד המדויק למוצר/שירות, מה בדיוק קהל היעד הזה מחפש.

הרעיון הוא לנסות לשחרר גרסה של מוצר/שירות לשוק, לבחון איך אותו שוק מגיב, ומכך להבין מה עובד יותר טוב או פחות טוב – ולשפר.

 

העקרון דומה מאוד לתהליך שבו המציא תומס אדיסון את הנורה החשמלית.
האגדה מספרת שהוא ערך כ-10,000 ניסויים לפני שהצליח, ובכל פעם שיפר משהו.

ובדיוק באותה הצורה גם לסטארטאפים ולחברות עסקיות לוקח לא מעט זמן עד שמבינים מה עובד ומה לא, ומצליחים לשפר את הביצועים העסקיים.

ניסויים ולמידה הם המפתח להצלחה.

 

לדוגמה: אם אנחנו עובדים בסטארטאפ, ואנחנו רוצים להבין איזו גרסה של דף הרשמה תעבוד יותר טוב – עם כפתור אדום או כפתור ירוק.

מאחורי הקלעים יש כאן תהליך שמשתמשים חווים, והתוצאות שלו משתקפות בנתונים.

במקרה הזה, אם נראה לבחון איך צבע הכפתור ישפיע על אחוזי ההרשמה – נצטרך להריץ את שתי הגרסאות במקביל, לאסוף את הנתונים ולנתח אותם (נקרא גם A|B Testing).

 

המטרה כאן היא כמובן להבין מתוך הניסוי מה עובד יותר טוב או פחות טוב – ובעצם לשפר את המוצר/אתר שלנו בהיבטי הביצועים שלו.

התהליך הזה של ניסוי וטעייה מבוקרים וממושכים נקרא בעולם האנליטי גם 'אופטימיזציה'.

 

 

ומה הקשר לקורונה?

 

מאחר והקורונה היא אירוע תקדימי בעולם המערבי (לפחות במאה השנים האחרונות), קיימת לגביו אי ודאות רבה.

ומאחר וישנן הרבה השפעות סותרות (בראשם תמותה המונית של אנשים למול חורבן כלכלי), חשוב ליצור מנגנון מבוקר עד כמה שניתן, שיזהה תופעות בצורה שתאפשר תגובה מהירה והימנעות מאסון.

בהיבט של אסטרטגיית היציאה מהמשבר (שעיקרה הוא הימנעות מחורבן כלכלי), קריטי לזהות בשלב כמה שיותר מוקדם התפרצות מחודשת – על מנת לטפל בה כשהיא קטנה.

 

ואיך עושים את זה?

לאור אי הודאות הרבה, אף אחד לא יודע בודאות.

ובדיוק בגלל זה נדרשת מתודולוגיה יציבה של ניסויים מבוקרים.

 

"הניסויים" האלה הם בעצם צעדים של הקלות בשגרה – כמו להתיר התקהלויות ל-20 איש, או ל-50, ובחינת ההשפעה של כל צעד כזה על היקפי התחלואה (קצב ההדבקה).

 

 

מהם המרכיבים בניסוי אנליטי?

כל ניסוי אנליטי כולל מספר מרכיבים קריטיים, הנה המרכזיים שבהם:

• השערת מחקר.
• מדד עיקרי להחלטה.
• מתודולוגייה הבדיקה.
• אוכלוסיות במחקר (בדיקה וביקורת).

 

השערת המחקר

מאחר ולכל ניסוי קיימת מטרה מסוימת, נדרש קודם כל לאפיין השערה מסוימת שנרצה לאושש או להפריך.

במקרה של הקורונה, ההשערה היא שהסרת מגבלה כזו או אחרת (לדוגמה: איסור על התקהלויות מעל 10 אנשים) – תגדיל/לא תגדיל את שיעור ההדבקה בצורה דרמטית.

 

במילים אחרות – אם נסיר את מגבלת ה-10 אנשים, ולאחר מכן נראה שאין עלייה דרמטית (נניח שקצב הכפלת הנדבקים החדשים יישאר קטן מ-10 ימים) – אז נוכל להסיק שהצעד הזה עובד, ונוכל להתקדם לצעד ההקלות הבא.

 

כמובן, שעל מנת שניסוי יוכל להיות אפקטיבי, על השערת המחקר להיות כמותית ומדידה.

 

זה גם מוביל אותנו למדד ההחלטה.

 

קביעה של מדד כזה אמורה להיות יחסית ברורה, ולרוב תהיה קשורה ישירות לביצועים העסקיים.

בדוגמה של הקורונה נדבר ככל הנראה על קצב הדבקה (או ימים להכפלת מספר הנדבקים);

בעולם השיווק/מכירות נוכל לדבר על יחס המרה – כלומר אחוז מתוך המתעניינים שהופכים ללקוחות;

בעולם הסטארטאפים – נוכל לדבר על אחוז הצמיחה בכמות המשתמשים.

 

לכל פעילות ייתכן מדד אחר, אך ברוב המקרים קביעת המדד לצורך הניסוי תהיה יחסית ישירה.

 

 

מתודולוגיית הבדיקה

מתודולוגיית הבדיקה מתייחסת לאופן הכולל שבו נבצע את המדידות, כולל חלונות זמנים, כמות תצפיות שנצטרך על מנת להגיע למסקנות תקפות ועוד.

במקרה של הקורונה, חשוב שנבין כיצד המחלה מתפתחת, בדגש על כמה זמן עובר מרגע שמישהו נחשף לוירוס – ועד שהוא מאובחן.

ומדוע זה חשוב?
כי אם מרגע החשיפה לוקח כשבוע עד שמישהו מתחיל לגלות סימפטומים, עוד 3 ימים עד שמבצעים בדיקה, ועוד 4 ימים לקבלת התוצאות – אז נוכל לזהות אפקט של תחלואה רק 14 ימים לאחר ביצוע צעד ההקלה!

 

לכן, אגב – אחד המפתחות להצלחה בבלימת התפשטות התחלואה (ודאי כאשר מבצעים ניסויים) – הוא היכולת לבצע בדיקות בצורה מהירה מאוד מרגע זיהוי אדם עם סימפטומים.

 

אוכלוסיות בניסוי

נושא נוסף, הקשור להיבטים המתודולוגיים בניסוי הוא הגדרה של אוכלוסיות.

בשביל שניסוי יהיה אפקטיבי, נדרש לנטרל הרבה מאוד "רעשי רקע" וגורמים שאינם קשורים ישירות לגורם שאותו נראה לבדוק.

לדוגמה:
נניח שתותר התקהלות של מעל ל-10 אנשים (נניח 10-20 אנשים);
ונניח גם שלא תהיה הנחייה ברורה לגבי לבישת מסיכות;

ולבסוף, נניח שלאחר כשבועיים נזהה עליה בשיעור התחלואה (קצב עליה של 5% מול 2% קודם לכן).

אך האם העליה הזו נובעת מהיעדר מסיכות, או מהתקהלות של מעל ל-10 אנשים? ואולי מהשילוב ביניהם?

 

לכן, חשוב מאוד לבודד בניסויים את הגורמים הרלוונטיים.

ואת זה עושים באמצעות אוכלוסיות ביקורת או קבוצות ביקורת.

 

בדוגמה של הקורונה – חשוב כמובן לוודא שהנחיית לבישת המסיכות תהיה עקבית, או לפחות שנדע מיהן הקבוצות שהתקהלו עם מסיכות לעומת אלו שהתקהלו ללא מסיכות.

ואת שני הסוגים נוכל להשוות בהיבט היקפי ההדבקה לעומת המצב קודם לכן.

 

נניח שקיבלנו את התוצאות הבאות (ויש מספיק תצפיות כך שהנתונים אמינים ומובהקים):

• ללא התקהלות מעל 10 אנשים ועם מסיכות: קצב הדבקה של 2%.
• עם התקהלות מעל 10 אנשים ועם מסיכות: קצב הדבקה של 4%.
• עם התקהלות מעל 10 אנשים וללא מסיכות: קצב הדבקה של 8%.

לאור הממצאים הללו, נוכל להסיק שלבישת מסיכה היא קריטית (ללא מסיכה שקול לפי 4 קצב הדבקה);
ושהתקהלויות מעל ל-10 אנשים גורמים לפי 2 קצב הדבקה.

 

הנה כמה דוגמאות לקבוצות ביקורת בעולם העסקי:

• אוכלוסיית חולים שמקבלים תרופת דמה (פלציבו) – על מנת לנטרל אפקט פסיכולוגי של קבלת תרופה.
• בפרסומות באינטרנט – ריבוי גרסאות, עם תמונות שונות, מלל שונה, קהל יעד שונה.
• בסטארטאפים – הרצה במקביל של גרסה ישנה ל-80% מהמשתמשים, וגרסת ניסוי עם פיצ'ר חדש ל-20% מהמשתמשים.

 

 

ניתוח התוצאות – מובהקות סטטיסטית

 

בדוגמה הקודמת עם התקהלויות ועם/בלי מסיכות כבר התחלנו לגעת בניתוח התוצאות.

וכאן, חשוב לציין שלא מספיק להסתכל על תוצאות מספריות ברמה של שורה תחתונה, כי ייתכן שהתוצאות נובעות מנתונים אקראיים.

בדוגמה של הקורונה – אם מספר הנדבקים נמוך (נניח פחות מ-100), ואם מספר אירועי ההתקהלות יחסית נמוך, ייתכן מאוד שישנם גורמים אחרים בתהליך שיכולים להטות את התוצאות.

 

לכן, מקובל לערוך בדיקה של מובהקות סטטיסטית על התוצאות (ועל כך במאמר נפרד…)

 

 

לסיכום

במהלך המאמר נגענו בעולם המרתק של ניסויים אנליטיים.

חשוב להדגיש, שעל מנת לערוך ניסויים ולבצע אופטימיזציה באמצעות ניסויים לא נדרש להבין רק במדע – אלא נדרשות גם הרבה יכולות רכות בשביל להבין מהו הצעד הבא שנוכל לבדוק.

 

אז בפעם הבאה שיצאו עם הנחיות חדשות של משרד הבריאות, תזכרו שכאשר אנחנו נתקלים בתופעה חדשה – המפתח לחקור אותה ולהתנהל בה היא עם ניסויים מבוקרים.

וכמובן – שחייבים להיות עם אצבע על הדופק למקרה שנקבל תוצאות לא רצויות.

 

תשמרו על עצמכם ועל המסיכות!