הצעה מתודולוגית לבחינת הצלחת מאמני הנ.ב.א. חלק ג׳ ואחרון – סיכום וקונסולידציה – מבט מעמיק אל תוך הנתונים

הצעה מתודולוגית לבחינת הצלחת מאמני הנ.ב.א. חלק ג׳ ואחרון – סיכום וקונסולידציה – מבט מעמיק אל תוך הנתונים

לחלק א׳ – ניתוח אקסטרני של איכות מאמני הליגה, כאן:

לחלק ב – ניתוח אינטרני של איכות מאמני הליגה, כאן:

תודה לכם ששת קוראיי הנאמנים על שקראתם את 7,000 המילים האחרונות שכתבתי בימים האחרונים. אני לא מתכוון לחזור על עומקן של המתודולוגיות שעליהם דיברתי בשני המאמרים הקודמים. אך מכיוון שיש מצב שיום אחד מישהו שלא קרא את שני המאמרים ההם יקרא את זה, רק אומר שמה שניסיתי לעשות כאן הוא לבדוק האם אפשר לכמת מי הם המאמנים הטובים ביותר בנ.ב.א.

במאמר הראשון – עשיתי את זה מול מדדים אקסטרניים – (א) ע״י הצלחת הקבוצה מול הליין בווגאס בתחילת העונה, (ב) הצלחת הקבוצה בפלייאוף מול מיקומה הראשוני בפלייאוף.

ואילו במאמר השני הצבעתי על מספר מדדים אינטרניים להצלחת המאמן – (א) היכולת המנטלית של הקבוצה שהוגדרה כקבוצה שעושה הכי הרבה קאמבקים, סובלת מהכי מעט קאמבקים נגדה, וכשהיא כבר מפסידה משחק, היא מפסידה את רוב משחקיה בכבוד ולא ב 45 הפרש. הצבעתי גם על (ב) היכולת הטקטית של הקבוצה שנמדדת על ידי כמות הזריקות החופשיות יחסית (4 פיט +) שהקבוצה זורקת מול הזריקות החופשיות יחסית שהיריבה זורקת. ולבסוף דיברנו על (ג) יכולת ניהול המשחק של הקבוצה שנמדדת על ידי הקורלציה בין ה +\- של הליין אפים השונים בקבוצה לבין מס׳ הדקות שאותם ליין אפים מקבלים.

סיכמנו את שני המאמרים האלה בסדרה ארוכה של שאלות ובעיות מתודולוגיות שמטילות את הכל בספק. אך הנה העניין – כשיש לנו שני מקורות עם היגיון מסוים, בהחלט אפשר להצליב נתונים ולראות האם הצלבת הנתונים הזאת מסירה עוד ספקות – או במילים אחרות, האם על ידי שימוש בשתי השיטות נוכל להגיע לאמת אחת.

ומכיוון שהבטחתי שהמאמר הזה יהיה קצר בהרבה, אז הנה תמונה:

אז קודם כל, כפי שכולנו יודעים – ירוק זה טוב כי חסה, אדום זה רע כי … תותים?. נתחיל שם.

מה שעשיתי הוא בסך הכל לקחת את דירוג המאמנים על פי השיטה האינטרנית (בקו האנכי) ועל פי השיטה האקסטרנית (בקו המאוזן), ורציתי לראות האם אכן יש קשר בין שתי השיטות, וכדלהלן:

א. הרבע הירוק מצביע על 15 המאמנים שנמצאים הן בצמרת האקסטרנית והן בצמרת האינטרנית

ב. הריבוע הירוק חזק (1/16) מצביעה על השמנת של השמנת, שישה מאמנים שנמצאים בצמרת המאד גבוהה גם בשיטה האקסטרנית וגם בשיטה האינטרנית. וכן, ניק נרס נמצא במקום הראשון בשתי השיטות!!

ג. והפוך, הרבע האדום מצביע על 13 מאמנים שנמצאים בתחתית הן בשיטה האקסטרנית והן בזו האינטרנית.

ד. והריבוע (1/16) האדום חזק סתם אומר לי שלוק וולטון ולארי דרו הם מאמנים ממש גרועים. השני כבר לא בליגה, ואני מניח שגם הראשון מתישהו לא יהיה.

ואולי הדבר הכי חשוב הוא שאני אוהב גם את האדום וגם את הירוק – כי כשיש הרבה שמות עם מתאם ברור בין שתי השיטות – זה אומר ששתי השיטות מספרות לי את אותו סיפור. ובסופו של דבר 28 מתוך 37 שמות המאמנים שנבדקו נמצאים באחד משני הריבועים המובהקים האלה. מה שמשאיר לי רק 9 מאמנים (25%) שאין לי איך להסביר. (וגם 8 מאמנים עם הסבר מובהק, שנמצאים או בחלק הירוק חזק או בחלק האדום חזק. כלומר, רבע מהמאמנים נמצאים בשמינית המובהקת של השטח) ועדיין, מודל, גם אם כפול שמסביר לי לא פחות מ 75% מהממצאים הוא יופי של דבר. ולכן – בעיות מתודולוגיות או לא, כנראה שעשינו משהו נכון.

וחשוב לא פחות מכך – שני הריבועים הצהובים. החלק הצהוב, הן למעלה מצד שמאל והן למטה מצד ימין מספרים לכאורה על המקום בו יש הבדל מובהק בין שתי השיטות, מאמנים שהם ממש טובים אקסטרנית אבל ממש רעים אינטרנית או ממש רעים אקסטרנית וממש טובים אינטרנית. אתם יודעים כמה מאמנים כאלה יש? נכון מאד, אפס. וזה כשלעצמו מחזק מאד את התוקף של השיטה המאוחדת הזו.

וגם, בלי קשר – אני מחבב את מבחן העין. בירוק נמצאים אכן כל המאמנים שכולנו חושבים שהם הכי טובים – פופ, סטיבנס, נרס, קר, בודנהולצר, סניידר וספולסטרה. כשהיחיד שלכאורה אמור להיות שם ולא נמצא שם הוא ריק קרלייל וגם הוא די קרוב. באדום, נמצאים אכן כל המאמנים שכולנו חושבים שהם מחורבנים למדי כמו וולטון, בוילן ומונטי ווליאמס, כשהיחיד שקצת מוזר הוא פרנק ווגל אבל שנים מאד רעות באורלנדו דפקו אותו.

ואם אתם רוצים, אז הנה פחות או יותר אותו דבר אבל בטבלה, החל מהמאמן הטוב ביותר של השנים האחרונות – ניק נרס ועד המאמן הפחות טוב – לארי דרו

Average RankNameInternalExternal
1Nick Nurse11
2Quin Snyder27
2Billy Donovan36
4Mike Budenholzer73
5Terry Stotts74
6Brad Stevens410
7Gregg Popovich105
7Steve Kerr132
9Erik Spoelstra1013
9Doc Rivers1211
9Nate McMillan149
9Dwane Casey158
13Mike D'Antoni421
14Scott Brooks1612
15Alvin Gentry427
15Rick Carlisle724
17Mike Malone1916
17Brett Brown2015
19Steve Clifford2514
20Tyronn Lue1730
21Tom Thibodeau3117
22J.B. Bickerstaff1732
23Monty Williams2129
24Kenny Atkinson2526
24Frank Vogel2823
24Stan Van Gundy2922
27James Borrego3420
27Jason Kidd3519
27Dave Joerger3618
30Fred Hoiberg2728
31Jacque Vaughn3125
32David Fizdale2136
33Lloyd Pierce2335
34Ryan Saunders2337
35Jim Boylen3034
36Luke Walton3333
37Larry Drew3731

אז זהו, את רגע התגלית הגדולה שמספרת לי שבכל זאת כמה שבועות טובים של עבודה הובילו אותי למסקנה נכונה למדי כבר עשיתי. אבל מכיוון שלחלק מכם בא, אז רק כדי לקנח:

קורלציות:

עכשיו שהוכחנו שגם אם מה שעשינו לא מושלם, יש לו ערך רב, הגיע הזמן להבין למה. כאמור, ברמה האינטרנית, מדדנו לא פחות משלושה מדדים לטיב המאמן – ההכנה המנטלית, ההכנה הטקטית, וניהול המשחק. מעניין אם כן, האם הם מסבירים את ההבדלים במדד האקסטרני – כלומר ,הצלחת הקבוצה יחסית למצופה. התשובה היא שכן, בערך. תלוי מה.

הקשרים הפחות מובהקים אך עדיין קיימים באופן חלש (בערכים של 33% ו-34% בהתאמה) הם בין הצלחת הקבוצה יחסית למצופה ובין (א) ההכנה הטקטית (ב) ניהול המשחק. דווקא המדד האינטרני השלישי – הכנה מנטלית הוא המדד הקשור ביותר להצלחת הקבוצה עם קורלציה סבירה למדי של 57%. יתכן ויש כאן מולטיקולינאריות כלשהי שצריך להגדיר, אך על פניו מדובר בקורלציה חביבה למדי.

אם ניקח את ממוצע שלוש המדדים האינטרניים ונשווה למדד האקסטרני, עדיין יש לנו קורלציה סבירה של 56%. או במילים אחרות – 56% מההצלחה האקסטרנית של הקבוצה (נצחונות יחסית לצפוי) ניתנים להסבר על ידי היכולות האינטרניות של ניהול משחק, הכנה טקטית ומנטלית. זה גם מספר מעניין כי הוא אומר שההכנה הטקטית וניהול המשחק לא מוסיפים רבות להסבר שההכנה המנטלית (כאמור, עם קורלציה של 57%) כבר מסבירה.

והנה לנוחיותכם טבלה שמסכמת את כל הקורלציות, כולל בין המדדים האינטרניים לבין הממוצע האינטרני, שם נראה שדווקא ההכנה הטקטית היא המנבאת הטוב ביותר לממוצע בין שלושת המדדים האינטרניים.

Interal - CultureInternal - TacticsInternal - Managementinternal overall
Interal - CultureX0.340216060743180.101739557954410.68083056994269
Internal - TacticsֿX0.329443874233360.78394785816336
Internal - ManagementX0.63083930041894
external0.574442863916550.332110001832690.341892235451450.56061520994594

 לצערי, אני חייב להודות שהנתונים על פני עונה שלמה לא מספיק בשביל ליצור קורלציה עקבית בין שתי השיטות על סמך עונה בודדה. ולכן ניאלץ להישאר עם הקורלציות הכלליות. וכן, זה אומר שאנחנו אולי יכולים לקבוע מיהם המאמנים הטובים ביותר, אבל קשה ליישם את המידע הזה על פני עונה אחת.

סוף דבר

יאללה, הבטחתי קצר הפעם, והנה לכם – המאמן הטוב בעולם הוא אחד מהחבר׳ה בירוק חזק למעלה, נניח נרס אם אתם מאמינים למדגם בן שתי עונות, נניח מישהו כמו קווין סניידר או ברד סטיבנס או מייק בודנהולצר, אם לא. המאמן המחורבן בעולם הוא, די בוודאות – לוק וולטון.

מסכנים הקינגס.

Image result for divac luke walton

לפוסט הזה יש 31 תגובות

  1. אבי, כל הכבוד על הפרויקט.
    אני סקרן: ברמות של הנ.ב.א., במיוחד כאשר לא תמיד המאמן הוא זה שמחליט מי יהיו השחקנים שבסדל,
    כמה אחוז מהצלחת הקבוצה אתה מייחס למאמן?
    וכמה אחוז מכישלון הקבוצה, אתה מייחס למאמן?

    1. שאלה מעולה, שצריכה נבירה משלה. דעתי היא שבדרך כלל ובממוצע – השחקנים זה משהו כמו 90 אחוז מהסיפור.
      אבל יש יוצאים מהכלל. אני לא חושב שהספרס של 12-14 היו אפילו קרובים להיות הספרס בלי פופ. אני חושב שזה שקר החליף את מרק ג׳קסון בווריורס היה גורם מכריע בהפיכתם לשושלת, ואני גם חושב ש 11 אליפויות של פיל ג׳קסון הם לא מקרה (והם לא רק בגלל מייקל, שאק, וקובי).
      הקבוצות ההיסטוריות היו קבוצות היסטוריות בהחלט גם בגלל מאמן. אני לא רואה שיטה ממש טובה לכמת את זה אלא אם תעשה ניסיון מבוקר של שני מאמנים באותה קבוצה שנה אחר שנה אחר שנה, כך שהראשון מאמן 41 משחקים, והשני מאמן 41 משחקים.
      כמובן, זה לעולם לא יקרה.

      1. והרגע חשבתי על עוד רעיון, למרות שהוא נראה לי מסובך וכדלהלן.
        אם ניקח את קבוצות הנ.ב.א ונעשה לשחקנים שלהם ניתוח אשכולות, כך שנגלה מהן צמדי הקבוצות הכי דומים ברמת השחקנים (כלומר 15 צמדי קבוצות) – ואז נבדוק את ההצלחה שלהם הן בעונה הרגילה והן בפלייאוף – תוכל לתת עוד תשובה לגבי תרומת האימון.
        השאלה היא עד כמה באמת שתי קבוצות יכולות להיות זהות ברמת השחקנים. כאמור, ניתוח אשכולות יכול לעשות את זה בערך אם שמים שם את הפרמטרים הנכונים (הגנה והתקפה) אבל גם זה לא יהיה מדויק.
        אבל כן, זה יכול להיות מעניין.

      2. היה ניסוי כזה, מאמן שהיה בפיינלס והפסיד, הוחלף באמצע העונה אחרי זה ומחליפו גם הגיע לפיינלס, וניצח.
        זה דייויד בלאט בקליבלנד. והניסוי לא באמת מלמד הרבה – כי הקבוצה הייתה מעולה, ולשני המאמנים היו עקב זה תוצאות ממש טובות, והההבדל בין הההפסר בגמר של בלאט והנצחון בגמר של לו – היה קשור יותר לפציעות (בשתי הקבוצות, בשני הגמרים) מאשר ליכולת האימון.

  2. תודה רבה
    מעניין מאד. ציינת שהמדגם של נרס לא מספיק. למרות שהוא מעולה הייתי מוריד אותו ואולי מסייג את הרשימה באלה שיש להם ניסיון של לפחות 5 שנים. סניידר מאמן מצוין וגם ספולסטרה שלא לדבר על פופ שפשוט נפל במודל שלך כנראה בגלל השנים האחרונות בלי כוכבים או שחקנים פוטנציאלים להיות כוכבים במערב החזק.

    1. אולי. כמו שאמרתי, מקום שביעי לפופ זה לא כזה רע. אני באמת לא מאמין שהיום בגילו הוא טופ 3.. אולי טופ 5. אנעארף. אבל אני לא חושב שמקום 7 הוא מקום שמאד משקר לפופ כיום.

      1. לא ברור לי מדוע אתה אומר בגילו?
        לטעמי הוא כמו בור סוד שלא מאבד טיפה.
        מה שהוא שכח אחרים עדיין לא למדו.
        באחד הפוסטים הקודמים הגבתי וטענתי שאחד הכלים החשובים ביותר למאמן זה חומר השחקנים שיש בידיו.
        תאר לך שפופ היה מאמן ברוקלין היום….
        פופ הצליח להגיע לפליאוף במערב החזק גם עם קבוצה בלי כוכבים גדולים.
        פופ עיצב את טימי, פארקר מאנו ואפילו קוואי.

  3. ושעתיים אחרי שקראתי את החלק השלישי של המאמר שלך, נזכרתי לפתע בקטע פחות מדעי מתוך הספר שלי "מסע בעקבות אוהדים", שבא לענות על השאלה שלך:

    "אתה אוהד NBA?" שאלתי בפליאה. קשה היה להאמין שהאיש הקטן, הצנום והנמוך הזה, שבמקצועו האזרחי הוא כעת מנהל תחנת דלק ובתפקידו הצבאי האחרון היה סגן מפקד חטיבה, הוא גם אוהד ספורט נלהב ולא סתם ספורט אלא כדורסל, ולא סתם כדורסל – אלא NBA.

    "לא סתם אוהד אלא אוהד מכור," חייך דה קוסי, "ולא של סתם קבוצה אלא של קבוצת ההגנה הטובה ביותר בעשרים השנה האחרונות, הקבוצה שבראשה עמד ועומד מוח הכדורסל ההגנתי הטוב ביותר בחצי המאה האחרונה."
    "גרג צ'ארלס פופוביץ'," קבעתי, "המאמן והנשיא של סן אנטוניו ספרס."

    http://www.netbook.co.il/Book.aspx?id=11759

  4. אז אחרי שקראתי את שלושת החלקים,
    נתחיל בכל הכבוד אבי
    .
    מודל סטטיסטי הוא אף פעם לא מושלם, ותמיד אפשר לשפר, אבל המודל שלך עובר את מבחן העין.
    השלב הבא בבניית מודל, הוא ניסיון חיזוי, במילים אחרות, בעצם נתת תחזית לאיזה קבוצות יצליחו העונה מעל המצופה ואיזה קבוצות… בוא נגיד תלויות יותר בשחקנים שלהם כדי להפתיע.
    .
    אני תוהה למה צריך ליצור אחידות בזמן, כלומר אם גם ככה חלק מהמאמנים אימנו רק שנתיים וחלק 7, אז למה לא להתחשב בכל שנותיו של המאמן ולתת בסוף פקטור נרמול.
    .
    בהמשך להארה הקודמת, נראה לי שהבעיה הגדולה ביותר היא אבחנה בין כמה באמת המאמן תרם להצלחת הקבוצה. אם תיקח את אותם מאמנים עם רצף אימון ארוך (אולי לא פופוביץ, גם 12 שנה זה בסדר), ותראה את הציון המשוקלל שלהם אל מול הצלחה בעונה על רצף זמן, תוכל לבדוק להראות מה הייתה ההשפעה של המאמן, אם במקרה תראה התאמה בין יכולות אותו המאמן להישגים, שתחזור על עצמה אצל רוב המאמנים, תוכל לתת הערכה מעניינת נוספת. עד כמה באמת המאמן משפיע.
    .
    בכל מקרה תודה, היה כיף לקרוא

    1. את פקטור הנירמול נתתי בחלק הראשון במאמר, כשדיברתי על ההצלחה מול ווגאס. אבל אני מסכים שלא דיברתי על זה לגבי הכל, ובאופן כללי מאד קשה לנרמל כשהתקופות והקבוצות כל כך שונות.
      כמו שעניתי למעלה למולי, כן – מאד קשה לדעת כמה באמת המאמן תרם מעל השחקנים (אלא אם אתה לוקח את הליין של ווגאס ככזה ראה וקדש). במאמר אותו הבאתי במאמר הראשון שלי הוא קצת עשה את זה:
      https://towardsdatascience.com/quantifying-the-contribution-of-nba-coaches-using-fixed-effects-56f77f22153a

      ובמיוחד בגרף שם של forecasting error per season הוא עשה בדיוק את זה. הבעיה היא שגם זה קצת חוכמה בדיעבד. וברור שאם ניקח את המתודלוגיה שלי מההתחלה, (כלומר מול ווגאס), הרי שמתוקף ההגדרה שלה – הגרף יהיה מדויק יותר מהחיזוי המקורי של ווגאס. אבל זו לא חוכמה, כי זו חוכמה בדיעבד.
      האם אני אומר שטורונטו (נרס), יוטה (סניידר), שיקגו (דונובן) ומילווקי (בודנהולצר) ינצחו את ווגאס השנה? אנעארף. לכאורה כן, אבל לך תדע. זה בסופו של דבר מודל שעובד טוב יותר על פני מספר שנים מאשר על פני שנה אחת בגלל שבכל שנה נתונה יכולים להיות אנומליות מובהקות. לצערי.

  5. סיכום מצוין ונהיר, תודה רבה אבי.
    .
    מסכים לגמרי שהקורלציות משמעותיות, וגם שיש סיכון למולטיקולינאריות ביניהן. גם הקורלציה בין גרף הריבועים לבין, תחזיקו חזק, דעתי האישית, היא גבוהה, אז אני לגמרי קונה את המודל.
    .
    עם השאלה מה מתוך זה קשור נטו למאמן, ומה לקבוצה, נמשיך לתהות, להערכתי ללא פתרון נראה לעין. בעיה שקיימת לא רק בליגה אלא בכלל – היכולת לקשר בין יכולתו של מנהל בכיר בארגון לבין הצלחת הארגון מאד מוגבלת.
    .
    ושוב תודה על סדרה מושקעת, נועזת ומעניינת. שיחקת אותה.

    1. בהחלט, הם גם עוברים את מבחן העין שלי 🙂
      בתגובה למל במאמר התגובה שלו אליי, כתבתי מה צריך לקרות בשביל שקחת את זה שלב אחד הלאה – לבדוק צמדי קבוצות דומות ברמת השחקנים (עד כמה שאפשר, בניתוח אשכולות) ולהשוות בין הישגיהן. זה יכול להיות מעניין למען האמת.
      אבל כמו שכתבתי כאן למעלה – אני חושב שהשפעת המאמן נעה בין זניחה ברוב המוחלט של המקרים למשמעותית מאד במקרים בודדים (הספרס של 12-14 למשל, גולדן סטייט של קר למשל)

  6. מעולה אבי, תודה רבה.
    אני הייתי מוריד את לארי דרו מהגרף, המסכן היה מאמן זמני בקליבלנד לחצי עונה אחרי שלברון עזב אז זו לא סיטואציה מייצגת לרוב המאמנים.
    מה שלי עולה זה אם אפשר לקבוע שיפור של מאמן על פי המתודולוגיה הזו. לדוגמא מונטי וויליאמס היה טוב שנה שעברה בפיניקס ומזוויע בניו אורלינס לאורך כמה שנים, האם אפשר לעשות גרף של רמת המאמן בכל שנת עבודה ולראות מי יציב ומי לא ולפי זה לקבוע רמה? (כשמי שטוב ויציב זה נותן לו נקודות ומי שקע ויציב זה מחסיר לו נקודות)

  7. אתה יודע מה ישלים את העבודה – איכשהו לשקלל את חוזקת השחקנים בתוך זה. אולי לתת משקלים מספרים לשחקניםשהיו בסוף העונה באחת מחמישיות העונה (כול חמישיות הגנה) – מתלבט האם להחשיב במודל מי שנבחרו לאול סטאר (אם כן הייתי נותן לזה פחות משקל מאשר חמישיות העונה).
    יש מצב שמכפלה של הפקטור הזה, בתוצאות שקיבלת פה על המאמנים, יתן משהו הרבה יותר חזק. סתם דוגמא – בילי דונובן. אני לא חושב שהוא מאמן רע בכלל, אבל אולי הוא יצא פחות טוב ממה שיצא פה, כי באוקלהומה מבחן העין שלנו נוטה לטעון שהוא השיג פחות ממה שאפשר היה מהשחקנים שהיו לו. (נניח, לא בטוח שזאת הדוגמא הנכונה). אולי פופ דוגמא יותר טובה – זה ישפר את הדירוג של פופ בשנים האחרונות.

כתיבת תגובה

סגירת תפריט