כיצד ארגונים מקבלים החלטות חכמות על סמך BIG DATA, מבלי לקחת סיכון מיותר?
בעבר, היה נפוץ מאד שמנהלים היו מקבלים החלטות בהרבה מקרים על בסיס תחושות בטן. בשל רמת המורכבות ההולכת וגדלה של ארגונים בעידן הדיגיטל, ומנגד: הנזק בקבלת החלטות שגויות, אנו עדים לכך שכיום יותר ויותר החלטות אסטרטגיות או טקטיות בסביבה העסקית, מתבססות על אנליזה של דאטה, ברמה יותר עמוקה.
למעשה, התחרות בין עסקים והדרך ליצירת יתרון תחרותי באמצעות קבלת החלטות נכונות, עברה לשני מישורים מקבילים. האחד: החדשנות של מקורות המידע הזמינים שינותחו מתוך ומחוץ לארגון, והשני: מידת התחכום של ניתוח הדאטה, שמאפשרת לזקק מהדאטה תובנות חדשות שלא ניתן היה להפיק בעבר.
מאת: טל נועם, מנהל חטיבת
Data Warehouse & Analytics,
חברת י.א. מיטווך ובניו
הפתרונות הקיימים בעולמות ה- Big Data
את הנישה הזו בא לשרת עולם ה- Data Warehouse המורחב, הקרוי בימינו גם Big Data. מחד, הוא מאפשר לשמור כמויות דאטה עצומות בפורמטים טבלאיים/מובנים, בשילוב עם שמירת נתונים בלתי מובנים (unstructured), ומאידך הוא מאפשר לבצע אנליזות חדשות כדוגמת Graph Analytics, Machine Learning, שנותנות תשובות לשאלות שלא חשבנו בעבר שניתן יהיה לשאול או לקבל עליהן תשובות. לדוגמא: אם סמנכ"ל שיווק ומכירות רוצה כיום להחליט לאיזה פלח באוכלוסיה כדאי לו למכור מוצר חדיש שהחברה משיקה, אזי הוא יכול לבצע באמצעות ה- Data Warehouse פילוחים של אוכלוסיית הלקוחות לפי מאפיינים דמוגרפיים והיסטוריית הרגלי הצריכה, ולחזות את נפח המכירות על בסיס התנהגות העבר של אוכלוסיית היעד למוצר זה. אבל כיום, יכול אותו סמנכ"ל שיווק ומכירות גם לענות על השאלה מי הם מובילי הדעה מבין לקוחותיו, שדרכם יהיה לו הכי קל והכי יעיל להחדיר את המוצר בצורה ויראלית, וזאת באמצעות Graph Analytics. בנוסף, הוא יכול היום גם לבצע Time Series Analytics כדי לנתח מהו סדר הפעולות הנפוץ שביצעו לקוחות בעבר, שגרם להם לרכוש מוצר, להשתמש בו לאורך זמן ולהמליץ עליו ללקוחות פוטנציאליים אחרים, וכל זאת על ידי ביצוע ניתוח של Customer Journey Analytics (Path to Adoption/Purchase).
לאורך העשור האחרון, היינו עדים לעשרות רבות של פרויקטים מבוססי Open Source (מוצרי תוכנה שקהילת מפתחים בהתנדבות מפתחת אותם, והם זמינים לכל) משמעותיים שונים, אשר פותחו ברובם סביב פלטפורמת ה- Hadoop וחלקם הגדול לא שרד. היתרון הגדול של פרויקטים מבוססי Open Source כאלה היה בכך שהם הביאו חדשנות טכנולוגית מסוימת בתחומים כאלה או אחרים. מנגד, החיסרון שלהם היה שהתוכנה שפותחה התמקדה בעיקר בתחומים "הזוהרים" של ליבת הטכנולוגיה, אבל נזנחו הנושאים הטרויאליים – אך החיוניים – כדי להטמיע בארגון את המערכות שפותחו, כגון: אבטחת מידע, זמינות גבוהה, קישוריות לטכנולוגיות אחרות, נוחות ופשטות שימוש, ועוד. כתוצאה מכך, רבים מהארגונים אשר הימרו ויישמו פרויקטים מבוססים Open Source, שהיו בבסיסם מוצרים חינמיים מבטיחים, גילו בשנתיים איחור שהם נדרשים ליישם את כל הפרויקט מחדש, עם טכנולוגיה אחרת, מה שגרם להפסד כספי – אבל בעיקר להפסד הערך העיסקי שהיה אמור להביא הפרויקט במועדו המתוכנן. מטרתם של הארגונים העסקיים (Enterprises) היא לייצר ערך לבעלי המניות, ולצורך זה קיימת חשיבות לא רק למימוש הפרויקט, אלא גם ב- Time to Market מתאים, ותוך הימנעות מסיכון עד כמה שניתן.
אז כיצד יכולים ארגונים עסקיים להנות בכל זאת מחדשנות טכנולוגית מבלי להסתכן?
כדי להתמודד עם האתגר הזה, השיקה Teradata את גרסת התוכנה העדכנית שלה, הקרויה: Teradata Vantange, אשר ממנפת את עולם ה- Big Data, אבל תחת קורת גג של חברת טכנולוגיה ותיקה ויציבה, עם ניסיון עשיר, המוכוונת לארגוני Enterprise. מכיוון שהיא נותנת מענה טוב להרבה מהאתגרים שהיו בשוק, עד מהרה הפכה גרסת Teradata Vantage לגרסה הנפוצה ביותר אי פעם של Teradata, הכוללת יותר מ- 130 יכולות חדשות מוכוונות Big Data וענן.
יכולות אלה כללו הסבה של חלק מהפטנטים של Teradata שהיו מבוססי חומרה, כך שיהיו מבוססי תוכנה בלבד, מה שנתן פתח למנף את הפתרון של Teradata ולאפשר לארגונים רבים ליישם פתרון בענן של AWS או Azure (ולאחרונה הוכרז גם על יישום בענן של Google) או גם בענן פרטי, או על התקנות VMWARE באתר הארגון. זאת כמובן בנוסף למימוש הפתרון בשרתים ייעודיים בארגון, ותוך שילוב של סביבות המימוש השונות. מכיוון שמדובר בדיוק באותו קוד תוכנת בסיס נתונים Teradata (ולא בניסיון למזג טכנולוגיות שונות שנקנו), אזי Teradata פיתחה ומיישמת פתרון של Hybrid Cloud, המאפשר לשלב עיבודים בענן יחד עם עיבודים באתר הארגון, תוך ניוד של כוח עיבוד בין סביבת הענן לסביבת הארגון, לפי הצורך. כמו כן, Teradata שילבה פיתוח נוסף שלה, הקרוי QueryGrid, המאפשר לבצע שאילתות משולבות בין דאטה שמצוי ב- Hadoop יחד עם דאטה שמצוי במערכת ה- Teradata. באופן הזה ניתן לנצל את ה- Hadoop לשמירת נתונים "זולה", אך מבלי להתפשר על מגבלות ה- Hadoop לבצע עיבוד מקבילי, לתת זמני תגובה ראויים, לספק סביבת אבטחת מידע ברמה מתאימה ועוד, וללא הצורך לאחד את הדטאה בשרת אחד, טרם ביצוע השאילתה.
באותו ההקשר, יכולת נוספת תאפשר לבצע שאילתות משולבות גם עם דאטה שיהיה מאוחסן ב- Amazon S3 או Azure Blob – גם כאן ללא צורך בשינוע מאסות של דאטה בין מערכת Teradata לסביבת הענן, טרם ביצוע העיבוד. כידוע, מקורם של חלק מהחיובים בגין שירותי הענן הוא בעלויות שינוע הנתונים, ועל כן שינוע נתונים שלא לצורך עלול לגרור חיובים גבוהים, דבר שלא קיים בפתרון המתואר של Teradata Vantage.
פותחו ב- Teradata Vantage קרוב ל- 200 תוכניות/פונקציות מובנות
Teradata Vantage אף מעמידה לרשות לקוחותיה תמיכה מובנית בשפות פיתוח מודרניות, אשר נפוצות מאד בעולם ה- Big Data, כגון: פייתון, R, ג'אווה, וכן בפורמטים של אחסון נתונים נפוצים, כגון: AVRO, CSV, ג'ייסון, תוך אימוץ סטנדרטים של כלי Open Source שכן הצליחו, כגון: Jupiter.
בתחום האנליטיקה פותחו ב- Teradata Vantage קרוב ל- 200 תוכניות/פונקציות מובנות, אשר מבצעות הבנייה של נתונים, ניתוחים סטטיסטיים מורכבים על בסיס Machine Learning, זיהוי רצפים של אירועים, ועוד. בתחום המנועים האנליטיים הוסיפה Teradata מנועי עיבוד מובנים, לצורך ניתוח של קשרים בין יישויות (Graph Analytics Engine) ועיבודים סטטיסטיים. השילוב בין כל היכולות החדשות הללו מאפשר לבצע בקלות עיבודים כדוגמת אלה הדרושים לסמנכ"ל השיווק והמכירות, שתוארו מעלה.
ולבסוף, כדי להמשיך ולהוביל את עולם הפלטפורמות האנליטיות לעיבוד נתונים בתחום ה- Data Warehouse & Big Data, מותירה Teradata גם קשר אל עולם ה- Open Source כמקור אפשרי לחדשנות. על כן, השאירה Teradata את הארכיטקטורה של Teradata Vantage פתוחה, כך שניתן יהיה בקלות להוסיף בה מנועים אנליטיים נוספים. ואומנם במידה ולא יחול שינוי, יש כוונה בגרסאות העתידיות לחבר ולתמוך ב- Teradata Vantage גם במנועים אנליטיים בקוד פתוח, כגון , TensorFlow Spark, בנוסף להרחבת היכולות של מנועי ה- Machine Learning וה- Graph Analytics הקיימים. באופן הזה יוכלו ארגונים מסורתיים להנות מהבשלות והיציבות של מוצר שמוכוון לעולם ה- Big Data וה- ,Data Warehouse אך מבלי לוותר על ניצול של חדשנות בפרויקטים מבוססים Open Source כאלה או אחרים, אשר כן יצליחו.
- למידע נוסף, ניתן לפנות לטל נועם
- 050-8234085
- tal@ncr.co.il
כיצד ארגונים מקבלים החלטות חכמות על סמך BIG DATA, מבלי לקחת סיכון מיותר?
בעבר, היה נפוץ מאד שמנהלים היו מקבלים החלטות בהרבה מקרים על בסיס תחושות בטן. בשל רמת המורכבות ההולכת וגדלה של ארגונים בעידן הדיגיטל, ומנגד: הנזק בקבלת החלטות שגויות, אנו עדים לכך שכיום יותר ויותר החלטות אסטרטגיות או טקטיות בסביבה העסקית, מתבססות על אנליזה של דאטה, ברמה יותר עמוקה.
למעשה, התחרות בין עסקים והדרך ליצירת יתרון תחרותי באמצעות קבלת החלטות נכונות, עברה לשני מישורים מקבילים. האחד: החדשנות של מקורות המידע הזמינים שינותחו מתוך ומחוץ לארגון, והשני: מידת התחכום של ניתוח הדאטה, שמאפשרת לזקק מהדאטה תובנות חדשות שלא ניתן היה להפיק בעבר.
הפתרונות הקיימים בעולמות ה- Big Data
את הנישה הזו בא לשרת עולם ה- Data Warehouse המורחב, הקרוי בימינו גם Big Data. מחד, הוא מאפשר לשמור כמויות דאטה עצומות בפורמטים טבלאיים/מובנים, בשילוב עם שמירת נתונים בלתי מובנים (unstructured), ומאידך הוא מאפשר לבצע אנליזות חדשות כדוגמת Graph Analytics, Machine Learning, שנותנות תשובות לשאלות שלא חשבנו בעבר שניתן יהיה לשאול או לקבל עליהן תשובות. לדוגמא: אם סמנכ"ל שיווק ומכירות רוצה כיום להחליט לאיזה פלח באוכלוסיה כדאי לו למכור מוצר חדיש שהחברה משיקה, אזי הוא יכול לבצע באמצעות ה- Data Warehouse פילוחים של אוכלוסיית הלקוחות לפי מאפיינים דמוגרפיים והיסטוריית הרגלי הצריכה, ולחזות את נפח המכירות על בסיס התנהגות העבר של אוכלוסיית היעד למוצר זה. אבל כיום, יכול אותו סמנכ"ל שיווק ומכירות גם לענות על השאלה מי הם מובילי הדעה מבין לקוחותיו, שדרכם יהיה לו הכי קל והכי יעיל להחדיר את המוצר בצורה ויראלית, וזאת באמצעות Graph Analytics. בנוסף, הוא יכול היום גם לבצע Time Series Analytics כדי לנתח מהו סדר הפעולות הנפוץ שביצעו לקוחות בעבר, שגרם להם לרכוש מוצר, להשתמש בו לאורך זמן ולהמליץ עליו ללקוחות פוטנציאליים אחרים, וכל זאת על ידי ביצוע ניתוח של Customer Journey Analytics (Path to Adoption/Purchase).
לאורך העשור האחרון, היינו עדים לעשרות רבות של פרויקטים מבוססי Open Source (מוצרי תוכנה שקהילת מפתחים בהתנדבות מפתחת אותם, והם זמינים לכל) משמעותיים שונים, אשר פותחו ברובם סביב פלטפורמת ה- Hadoop וחלקם הגדול לא שרד. היתרון הגדול של פרויקטים מבוססי Open Source כאלה היה בכך שהם הביאו חדשנות טכנולוגית מסוימת בתחומים כאלה או אחרים. מנגד, החיסרון שלהם היה שהתוכנה שפותחה התמקדה בעיקר בתחומים "הזוהרים" של ליבת הטכנולוגיה, אבל נזנחו הנושאים הטרויאליים – אך החיוניים – כדי להטמיע בארגון את המערכות שפותחו, כגון: אבטחת מידע, זמינות גבוהה, קישוריות לטכנולוגיות אחרות, נוחות ופשטות שימוש, ועוד. כתוצאה מכך, רבים מהארגונים אשר הימרו ויישמו פרויקטים מבוססים Open Source, שהיו בבסיסם מוצרים חינמיים מבטיחים, גילו בשנתיים איחור שהם נדרשים ליישם את כל הפרויקט מחדש, עם טכנולוגיה אחרת, מה שגרם להפסד כספי – אבל בעיקר להפסד הערך העיסקי שהיה אמור להביא הפרויקט במועדו המתוכנן. מטרתם של הארגונים העסקיים (Enterprises) היא לייצר ערך לבעלי המניות, ולצורך זה קיימת חשיבות לא רק למימוש הפרויקט, אלא גם ב- Time to Market מתאים, ותוך הימנעות מסיכון עד כמה שניתן.
אז כיצד יכולים ארגונים עסקיים להנות בכל זאת מחדשנות טכנולוגית מבלי להסתכן?
כדי להתמודד עם האתגר הזה, השיקה Teradata את גרסת התוכנה העדכנית שלה, הקרויה: Teradata Vantange, אשר ממנפת את עולם ה- Big Data, אבל תחת קורת גג של חברת טכנולוגיה ותיקה ויציבה, עם ניסיון עשיר, המוכוונת לארגוני Enterprise. מכיוון שהיא נותנת מענה טוב להרבה מהאתגרים שהיו בשוק, עד מהרה הפכה גרסת Teradata Vantage לגרסה הנפוצה ביותר אי פעם של Teradata, הכוללת יותר מ- 130 יכולות חדשות מוכוונות Big Data וענן.
יכולות אלה כללו הסבה של חלק מהפטנטים של Teradata שהיו מבוססי חומרה, כך שיהיו מבוססי תוכנה בלבד, מה שנתן פתח למנף את הפתרון של Teradata ולאפשר לארגונים רבים ליישם פתרון בענן של AWS או Azure (ולאחרונה הוכרז גם על יישום בענן של Google) או גם בענן פרטי, או על התקנות VMWARE באתר הארגון. זאת כמובן בנוסף למימוש הפתרון בשרתים ייעודיים בארגון, ותוך שילוב של סביבות המימוש השונות. מכיוון שמדובר בדיוק באותו קוד תוכנת בסיס נתונים Teradata (ולא בניסיון למזג טכנולוגיות שונות שנקנו), אזי Teradata פיתחה ומיישמת פתרון של Hybrid Cloud, המאפשר לשלב עיבודים בענן יחד עם עיבודים באתר הארגון, תוך ניוד של כוח עיבוד בין סביבת הענן לסביבת הארגון, לפי הצורך. כמו כן, Teradata שילבה פיתוח נוסף שלה, הקרוי QueryGrid, המאפשר לבצע שאילתות משולבות בין דאטה שמצוי ב- Hadoop יחד עם דאטה שמצוי במערכת ה- Teradata. באופן הזה ניתן לנצל את ה- Hadoop לשמירת נתונים "זולה", אך מבלי להתפשר על מגבלות ה- Hadoop לבצע עיבוד מקבילי, לתת זמני תגובה ראויים, לספק סביבת אבטחת מידע ברמה מתאימה ועוד, וללא הצורך לאחד את הדטאה בשרת אחד, טרם ביצוע השאילתה.
באותו ההקשר, יכולת נוספת תאפשר לבצע שאילתות משולבות גם עם דאטה שיהיה מאוחסן ב- Amazon S3 או Azure Blob – גם כאן ללא צורך בשינוע מאסות של דאטה בין מערכת Teradata לסביבת הענן, טרם ביצוע העיבוד. כידוע, מקורם של חלק מהחיובים בגין שירותי הענן הוא בעלויות שינוע הנתונים, ועל כן שינוע נתונים שלא לצורך עלול לגרור חיובים גבוהים, דבר שלא קיים בפתרון המתואר של Teradata Vantage.
Teradata Vantage אף מעמידה לרשות לקוחותיה תמיכה מובנית בשפות פיתוח מודרניות, אשר נפוצות מאד בעולם ה- Big Data, כגון: פייתון, R, ג'אווה, וכן בפורמטים של אחסון נתונים נפוצים, כגון: AVRO, CSV, ג'ייסון, תוך אימוץ סטנדרטים של כלי Open Source שכן הצליחו, כגון: Jupiter.
בתחום האנליטיקה פותחו ב- Teradata Vantage קרוב ל- 200 תוכניות/פונקציות מובנות, אשר מבצעות הבנייה של נתונים, ניתוחים סטטיסטיים מורכבים על בסיס Machine Learning, זיהוי רצפים של אירועים, ועוד. בתחום המנועים האנליטיים הוסיפה Teradata מנועי עיבוד מובנים, לצורך ניתוח של קשרים בין יישויות (Graph Analytics Engine) ועיבודים סטטיסטיים. השילוב בין כל היכולות החדשות הללו מאפשר לבצע בקלות עיבודים כדוגמת אלה הדרושים לסמנכ"ל השיווק והמכירות, שתוארו מעלה.
ולבסוף, כדי להמשיך ולהוביל את עולם הפלטפורמות האנליטיות לעיבוד נתונים בתחום ה- Data Warehouse & Big Data, מותירה Teradata גם קשר אל עולם ה- Open Source כמקור אפשרי לחדשנות. על כן, השאירה Teradata את הארכיטקטורה של Teradata Vantage פתוחה, כך שניתן יהיה בקלות להוסיף בה מנועים אנליטיים נוספים. ואומנם במידה ולא יחול שינוי, יש כוונה בגרסאות העתידיות לחבר ולתמוך ב- Teradata Vantage גם במנועים אנליטיים בקוד פתוח, כגון , TensorFlow Spark, בנוסף להרחבת היכולות של מנועי ה- Machine Learning וה- Graph Analytics הקיימים. באופן הזה יוכלו ארגונים מסורתיים להנות מהבשלות והיציבות של מוצר שמוכוון לעולם ה- Big Data וה- ,Data Warehouse אך מבלי לוותר על ניצול של חדשנות בפרויקטים מבוססים Open Source כאלה או אחרים, אשר כן יצליחו.
מאת: טל נועם, מנהל חטיבת Data Warehouse & Analytics, חברת י.א. מיטווך ובניו
- למידע נוסף, ניתן לפנות לטל נועם
- 050-8234085
- tal@ncr.co.il
