אחד הדברים הכיפיים בטק, מעבר לעובדה שתמיד יש שניצל במרחק לחיצה, זה גישה לדאטה עצום
אני מדבר כמובן על חברות טק גדולות, ותיקות או צומחות
שצברו מספיק דאטה, וגם
התקינו כלים לתשאל את הדאטה הזה.
המסך הזה, הריק, שממתין לשאילתת SQL
שלך
יכול להיות פתח להמון תובנות. הוא
ממש מחכה שתגאל אותו מהסוד שהוא מחזיק,
מה-insight שיציל את החברה, שיאושש או יפריך איזה A/B test גדול.
אותי זה מרגש, אולי כי אני נזכר איך נראה העולם הישן. עולם
ה-Data Warehouses, מפלצות ענקיות של Teradata או
Oracle או MS-SQL Server
ששילמת עבורם עשרות, מאות אלפי דולרים
גם על הרישיון, וגם על החומרה.
חומרה שקנית שתספיק לך ל-Black Friday אבל
שילמת עליה 24/7 גם באמצע אוגוסט
שכולם זוללים סופלקי ביוון.
ואז, בצד השני של העיר, נולד פתרון אחר,
הפיל הצהוב,
Hadoop,
לא ממש נולד,
גוגל הפיצה את המתכון ב-2004
ושני מתכנתים, דאג קאטינג ומייק קאפרלה
בישלו אותו.
ההבטחה:
להריץ שאילתות סופר כבדות על מחשבים זולים.
בפועל: השאילתות לא היו SQL,
אלא קוד,
Java,
ניהול מאות מחשבים זולים הפך לבעיית
DevOps יקרה
ותהליך קבלת התשובה שנקרא MapReduce היה לוקח שעות.
בין אלפיים
ושמונה ל-2012, האדופ עבר מטמורפוזה,
הוא
אומץ על ידי מתחרי גוגל,
יאהו ופייסבוק,
נוספה לו תמיכה
ב-SQL עם Apache Hive
ואמזון החלה להציע תשתית כשירות,
Hadoop הפך מבלתי אפשרי ל"קשה אבל אפשרי".
בשוק נוצר ואקום מושלם,
מצד אחד ה-Data Warehouses הישנים, קלים לשימוש, רק שאילצו את
המנכ"ל למכור תוספתן,
מצד שני Hadoop שרץ על חומרה זולה אבל בלתי שמיש לצורך הארגון.
השוק היה מת
למוצר שישלב את שני העולמות
ולתוך הוואקום הזה קפצה ראשונה סנופלייק.
בניגוד ל-Hadoop שיצא מוקדם והיה בלאגן שנים,
את סנופלייק ייסדו ב-2012 ושחררו ב-2014.
בנואה דאז'וייל, טיירי קרואן הצרפתים ומרצ'ין ז'וקובסקי הפולני
היו כל כך מרוכזים בלכתוב משהו מאפס שהם החליטו לשים כמנכ"ל
את אחד המשקיעים הראשונים, מייק ספייסר.
באוקטובר 2014 הם הציגו רעיון כה פשוט שזה מכאיב,
Separation of Storage and Compute.
מה זה אומר?
שאתה מאחסן את כל הדאטה שלך ב-Storage זול כמו
S3 של אמזון, ורק כשאתה רוצה לשאול שאלה אתה "מעיר" מחשב.
סנופלייק קוראים לזה Virtual Warehouse, והמחשב הזה,
שהוא קלאסטר של שרתים
קם לחיים,
מצחצח שיניים,
מסתרק,
שואב את הדאטה שהוא צריך מה-Storage,
עושה את החישוב
וכמו כל עובד מצטיין מחזיר לך תשובה
וחוזר לישון.
ואתה משלם רק על השניות שהמחשב היה דלוק.
זהו.
זו המהפכה.
אחת לכמה זמן הארגון מחליט איזה גודל Warehouses להרשות.
צוות BI מלטף את הדאטה הזה מדי יום, אז הוא מקבל גישה למיחשוב ענק.
באותו זמן צוות ההנדסה משתמש באחד קטן יותר לאותם נתונים ממש,
והם לא מפריעים אחד לשני.
זה פתר את בעיית העלות,
בעיית ה-Concurrency,
עיבוד מקבילי, ובעיקר גרם
לכל עובד
להרגיש כמו פתית שלג חכם ומיוחד.
סנופלייק דשדשה יחסית עד 2019, ואז הגיע פרנק סלוטמן,
מנכ"ל ומנפיק סדרתי שבא להילחם.
ב-All Hands הראשון הוא גם אמר:
הביזנס שלנו הוא משחק סכום אפס,
מלחמה,
לכל הפחות
אפים ידממו.
ההצלחה המטאורית של סנופלייק מאז היא לא רק טכנולוגית,
היא שילוב קטלני של ארכיטקטורה אלגנטית
ו-execution צבאי
של המנכ"ל שלה.
סלוטמן הפך את סנופלייק למכונת מלחמה
שמוכרת לאדובי,
Capital One
ו-Delta Airlines.
כמעט במקביל,
קבוצה של לא פחות משבעה מייסדים עושה פיץ' לבן הורוביץ,
מצגת שהוא תיאר כאחת הגרועות שראה אי פעם.
למזלם הם אלה שהמציאו את Apache Spark - התשובה ל-MapReduce המשתעל של Hadoop.
גם פה, מהפכה שהיא כל כך פשוטה בתיאוריה,
מה אם במקום לקרוא ולכתוב מהדיסק כל הזמן,
נעשה הכל בזיכרון?
התוצאה הייתה שאילתות מהירות פי מאה.
פתאום ביג דאטה הפך ממשהו תיאורטי שכולם מדברים עליו, למשהו שאשכרה
אפשר לעשות איתו,
כולל Machine Learning בזמן אמת.
אבל Spark, כמו הפיל הצהוב, היה מפלצת לתפעול.
להרים קלאסטר,
לנהל אותו,
לעדכן ספריות,
סיוט.
המייסדים של דאטהבריקס המציאו את המנוע ואז קלטו שאף אחד לא יודע לבנות סביבו מכונית.
הם הקימו את Databricks כדי למכור Spark-as-a-service.
אבל אמרנו ארכיטקטורה זה לא מספיק,
צריך גם סיפור ומושג
אז הם המציאו את ה-Delta Lake, שכבה חכמה שיושבת על
כל הדאטה הגולמי ומוסיפה לה
יכולות של דאטהבייס רציני,
ACID ו-Time Travel ו-Governance
בעברית,
הם אפשרו להרבה אנשים לקבל הרשאות שונות לבצע שינויים במקביל,
וגם
undo לשינויים האלה מבלי לדרוך על בהונות.
לתקופה קצרה החלוקה בין החברות הייתה ברורה,
הם היו best buds.
דאטהבריקס הייתה שולחת לקוחות לסנופלייק ואומרת
ל-BI
לכו אליהם,
וסנופלייק הייתה אומרת להם: ל-Machine Learning ו-Python, לכו ל-Databricks.
אבל אז
כל דשא התחיל להיראות ירוק ושווה הרבה יותר,
סנופלייק קלטו שהעתיד הוא AI ואין מצב שיישארו רק כבסיס נתונים מהיר ל-SQL.
הם השיקו את Snowpark ואמרו:
מפתחי Python יקרים,
תישארו בכפכפים,
אל תזיזו את הדאטה שלכם,
בואו ותריצו את הקוד שלכם,
את ה-Pandas,
את ה-Scikit-learn
אצלנו.
כן.
גם במהירות האור להזיז בוחטה של נתונים לדאטה סנטר אחר
זה איטי ויקר.
עם Snowpark אתה מנצל את הדאטה שסנופלייק כבר מכירה.
מאחורי הקלעים Snowpark הוא בגדול מתורגמן מ-DataFrames ל-SQL.
סנופלייק רכשה גם את Streamlight כדי לאפשר בניית אפליקציות מעל הדאטה ומעל התשובות,
טוב לא ממש אפליקציות, זה יותר דאשבורדים גרפים וקצת אינטראקציה,
פתרון חיוור יחסית ל-Tableau למשל.
דאטה בריקס,
קלטו שהכסף הגדול עדיין יושב ב-BI ושמנכ"לים מאוד אוהבים
דאשבורדים.
הביצועים שלהם
ב-SQL לא היו משהו, אז הם השיקו את Photon, מנוע תשאול חדש
כתוב לגמרי
ב-C++ שהאיץ להם את ה-SQL
לרמות של סנופלייק.
אבל דאטה בריקס בשלב הזה שווה מיליארדים וספינה של מיליארדים
קשה
לסובב.
בעוד שסנופלייק היא מוצר שפשוט עובד, דאטה בריקס היא פלטפורמה,
גמישה בטירוף אבל מכריחה אותך לעבוד,
להגדיר,
להתקין.
ההשקה של Databricks SQL גרמה לסנופלייק
להיראות טוב יותר.
מעניין. את סנופלייק וגם את דאטה בריקס אפשר להזמין דרך ה-Marketplace של AWS, אז'ור או גוגל.
למה שמישהו יעשה את זה במקום לקנות מהם ישירות?
סיבה ראשונה משעממת:
קונסולידציה.
ה-CFO שלך
רוצה חשבונית אחת בסוף החודש,
לא אחת
מ-AWS ועוד אחת מסנופלייק או מ-Datadog.
גם ה-Legal מעדיף את זה ככה,
עסקאות ב-Marketplace הם עם צדדים שמוכרים לספק הענן,
חיים בחוזה שהוא סיפק
ויש להם לא מעט הגנות.
הסיבה השנייה היא כנראה הסוד האמיתי של התעשייה:
שריפת קרדיטים.
ארגונים גדולים חותמים על התחייבות, Enterprise Discount Program או EDP.
הם מתחייבים נגיד להוציא 50 מיליון דולר בענן של גוגל
בשלוש שנים הקרובות
ומקבלים מהם הנחה גדולה.
אבל
מה קורה כשמגיעים לשנה השלישית ופתאום
ה-CTO קולט שהוא הולך לבזבז
"רק"
40 מיליון?
הוא עומד לאבד עשרה מיליון בקרדיטים שהתחייב אליהם.
זה נראה נורא מול הבורד.
ואז בא איש המכירות של גוגל ואומר לו:
"חביבי,
אל תדאג,
בוא תוריד פאניקה,
תקנה את הרישיון ל-Snowflake או Databricks דרכנו,
עשרת המיליון דולר יספרו לך כחלק מההתחייבות שלך אלינו".
והכל בסדר.
ה-Marketplace הוא לא חנות, הוא לא רק שוק, הוא "בית סליקה"
פיננסי. הוא מאפשר לגוגל להבטיח שהיא נועלת את ההתחייבות של הלקוח.
הלקוח מרוצה (לא 'איבד' כסף),
סנופלייק/דאטהבריקס
מרוצים (הם חתמו עסקה
מהר מאוד),
וגוגל מרוצה - נעלנו את הלקוח, חיזקנו את האקוסיסטם
ועכשיו סנופלייק
תלויה בנו עוד יותר.
כמה עמלה לוקחות ספקיות הענן על התענוג הזה?
בין 3 ל-1.5%.
אבל רגע, הם לא רק לוקחים עמלה, הם מרוויחים
גם מה-Compute וה-Storage שסנופלייק ודאטהבריקס מריצים על התשתיות שלהם.
גאוני.
אגב,
בכל אחד מהעננים האלה יש גם מתחרה מקומי.
ב-AWS זו Amazon Redshift, היום טכנולוגיה קצת מיושנת.
ב-GCP זה Google BigQuery, פתרון Serverless אמיתי אבל
מתאים למי שרץ על גוגל ואין שם
מספיק Enterprises.
ב-Azure זה לא מוצר אחד אלא אריג, Microsoft Fabric, שעושה
מה שמיקרוסופט עושה הכי טוב: Embrace, Extend, Extinguish.
הם הסתכלו על הבלאגן ואמרו: 'למה הלקוחות שלנו צריכים לקנות
גם דאטהבריקס
(ל-Spark),
גם סנופלייק
ו-Power BI? בוא נארוז הכל לאגם אחד,
OneLake
לכל הדאטה וכל סוגי העיבוד.
האם זה מוצר אמיתי? אני לא יודע,
לא השתמשתי,
אני לא נוגע ב-Azure
גם אם תשלם לי בנדיבות.
אבל במיקרוסופט, כמו גוגל ואמזון - זו כבר לא תחרות על פיצ'ר,
אלא תחרות על באנדל.
איפה הדאטה שלי נמצא,
איפה המיחשוב,
כמה מהר אני צריך אותו והאם יש לי אנשים שיודעים
להביא לי אותו.
אוקיי,
אז דיברנו על SQL,
דיברנו על BI,
דיברנו על כסף,
אבל אלו חימום.
הקרב האמיתי,
הקרב על העתיד,
הוא על מי יהיה "מוח ה-AI"
של הארגון.
ב-GenAI צריך המון דאטה שהוא לא מובנה,
PDFים,
הקלטות וידאו,
תמונות.
כש-GenAI התפוצץ, בדאטהבריקס פתחו שמפניות.
הם האמינו שהם,
ולא במקרה, הפלטפורמה המושלמת ל-Workload הכי חדש
והכי חם בעולם.
הם הצטיידו ב-MosiacML ב1.3 מיליארד דולר,
השיקו את DBRX
ו-Agent Bricks עם מסר ברור:
בואו תבנו אצלנו מודלים.
מהדאטה,
דרך האימון ועד ל-Serving,
דאטהבריקס מציעה למדענים, שוב,
את אבני הבניין.
סנופלייק, לעומת זאת,
נכנסו לפאניקה.
הבורד שלהם זימן את פרנק סלוטמן,
אולי המנכ"ל הכי מצליח
בתולדות התוכנה ואמרו לו:
תודה רבה,
אבל אתה איש של SQL ו-Execution,
אנחנו צריכים איש AI.
סרידר רמסוואמי,
בכיר מגוגל, לקח את המושכות.
האסטרטגיה שלו, כמו של קודמו:
"אל תבנו כלום,
פשוט תשתמשו".
סנופלייק השיקה את Cortex AI שמאפשר לשאול שאלות באנגלית פשוטה
או SQL פשוטה
והם כבר יריצו מודל AI מאחורי הקלעים.
סנופלייק כמו סנופלייק רוצים להיות שימושיים ל-90% מהארגונים
שלא רוצים לאמן מודל בעצמם.
הקרב התלהט והפך
להתקפה של "סגור מול פתוח".
דאטהבריקס צעקה מתחת לכל עץ רענן שדאטה בסנופלייק נעול,
ואכן הפורמט שלה FDN סגור,
בלתי אפשרי לתשאל אותו או להעביר אותו מבלי לעבור דרך סנופלייק.
דאטהבריקס מאידך פתוחה,
Delta Lake הוא Open Source!
זה היה קו התקפה מבריק, כי הוא נכון.
רמסוואמי התראיין ואמר:
להרוויח כסף מאחסון
היתה טעות אסטרטגית של סנופלייק.
השוק הולך ל"פתוח".
סנופלייק מאז הלכה בכל הכוח על Apache Iceberg,
פורמט פתוח שמתחרה ב-Delta Lake
וגם הוציאה את Polaris Catalog,
גם הוא בקוד פתוח שמנגיש טבלאות Iceberg לכל כלי תשאול.
הקרב עכשיו הוא כבר לא "פתוח נגד סגור",
הוא על איזה קטלוג פתוח ינצח:
Unity של דאטהבריקס, או Polaris של סנופלייק.
רוצים לשמוע קטע?
דאטהבריקס הודיעה ש-Unity שלה יתמוך גם ב-Iceberg.
אני מציע שהם פשוט ייקחו חדר
ויתמזגו.
אז איך כל המלחמה הזאת
נוגעת בנו כאן,
בסיליקון ואדי?
שתי החברות מחזיקות פה גם R&D
וגם משרדי מכירות.
שתיהן מוכרות חזק לסטארטפים מקומיים.
סנופלייק נמצאת בתל אביב,
דאטהבריקס
בהרצליה.
נו, ומי ינצח בכל הבלאגן?
לדעתי -
סנופלייק.
חברות שרוצות לבנות מודלי AI משלהן
ילכו
לדאטהבריקס,
יש להם את הכלים,
הגמישות והמורכבות בשביל זה.
90% מהארגונים האחרים?
שכל מה שהם רוצים זה שהצ'אטבוט של התמיכה יעבוד או שהאנליסט יוכל לתשאל טבלת מכירות,
ילכו לסנופלייק.
הפשטות של Cortex AI תנצח פשוט כי לאף אחד אין ראש לפתח מודל משלו.
אלא אם אתה אובר או נטפליקס.
ה-NRR של Snowflake הוא 125%,
לקוחות משלמים לה
עוד 25% בכל שנה,
לא בגלל פיצ'רים חדשים,
אלא כי הדאטה שלהם והשימוש שלהם גדל.
אל תתבלבלו. כל שאילתה שאתם מריצים בסנופלייק, כל מודל שאתם מאמנים בדאטהבריקס,
מישהו משלם על ה-CPU
ועל ה-Storage
והמישהו הזה הוא אתם.
בסוף היום הכסף הזה הולך לאנדי ג'סי,
לסאטיה נאדלה
וסונדאר פיצ'אי.
שתי החברות האלה הן פשוט שכבת תוכנה, מאוד חכמה אמנם, שיושבת
On-Top
ומוכרת לנו בחזרה את התשתיות של ענקיות הענן.
הם משלמים שכר דירה לאמזון
ומוכרים לנו את ה-Airbnb הזה במחיר פרימיום.
המודל הכי טוב בהייטק.
הבחירה ביניהם היא פילוסופית.
אתה רוצה סנופלייק?
את האייפון, מלוטש,
סגור ופשוט עובד,
או שאתה רוצה דאטהבריקס -
את האנדרויד - פתוח,
גמיש,
אבל
עם קצת חומוס בקצוות.
הבחירה
בידכם.
עד הפעם הבאה,
תהיו טובים, ותמשיכו להיות סקרנים.
יאללה ביי.