מה זה "ביג דאטה" ומי אוסף אותם?

Lifehacker יקר,
שמעתי יותר ויותר על "ביג דאטה". מה זה, והאם זה משהו שאני צריך לדאוג לגביו? האם זו דרך נוספת שחברות קוטפות את הנתונים שלי ומוכרות אותם?

בְּכֵנוּת,
מכושפת על ידי Buzzwords

היקר מכושפת על ידי Buzzwords,
"ביג דאטה" הוא האחרוןביטוי הבאזז של תעשיית הטכנולוגיה. תלוי את מי שואלים, זה מייצג איום על הפרטיות האישית, או מהפכה בעיבוד נתונים ומחשוב. אנחנו נגיד את זה ישר מהשער: "ביג דאטה" אומר כל כך הרבה דברים לכל כך הרבה אנשים שונים עד שהוא מסתכן בשום דבר. עם זאת, יש כמה מקומות שבהם כולם מסכימים. בואו נצלול פנימה.

המשמעויות הרבות של "ביג דאטה"

ויקיפדיה מגדירהנתונים גדולים כ"כל אוסף של מערכי נתונים כה גדולים ומורכבים עד שקשה לעבד אותו באמצעות כלי ניהול בסיס נתונים או יישומים מסורתיים לעיבוד נתונים." זו הגדרה הגיונית, וזו הדרך הנפוצה ביותר שתשמעו מדענים, כלכלנים וסטטיסטיקאים מתארים אותה. במילים פשוטות, "ביג דאטה" מתאר כמויות עצומות של מידע שקל להשיג, אבל כל כך מסיבי שהם מאתגרים את טכנולוגיות המחשוב הנוכחיות. נתונים גדולים הם הבעיה שיש לך כאשר יש לך מידע שנכנס ממקורות רבים (מחשבים, לוויינים, מכשירים ניידים, מצלמות, מיקרופונים ועוד). את המידע הזה צריך להעביר, לאחסן (אנחנו מדברים על פטה-בייט ואקס-בייט, למשל), ולעבד אותו.

אם זה היה הכל, היינו מסיימים. למרבה הצער, "ביג דאטה" ישהפך גם לביטוי שיווקי בשימוש יתר. חברות תוכנה וספקי שירותי IT משתמשים בה כדי להעביר ללקוחות (ולמתחרים שלהם) את עליונות המוצרים שלהם או את איכות הכישרון שלהם. סטארט-אפים ועמודי התווך של עמק הסיליקון אוהבים לטעון "המערכות שלנו מוכנות לאתגרים שהביג דאטה מספק", או "מדעני הנתונים שלנו יודעים להתמודד עם ביג דאטה". למרבה הצער, ההצהרות האלה לא באמתלוֹמַרהַרבֵּה.

המידע שנחשב כ"ביג דאטה" גם מבלבל את המים. חברות רבות ממנפות את המונח כשהן מדברות על הנתונים שהם יכולים לאסוף ולעבד לגביהםאֲנָשִׁים, במיוחד המשתמשים שלהם. הנתוניםשימושי כדי למכור טוב יותר מוצרים, למקד מאמצי שיווק, או פשוט לייצר מוצרים טובים יותר למכירה. תומכי הפרטיות נאחזו גם בהגדרה הזו, ופועלים נגד "ביג דאטה" כעוד חדירה לחייהם הפרטיים ולנתונים האישיים של אנשים. עם זאת, בחוגים מדעיים או פיננסיים, "נתונים גדולים" מייצגים הכל, החל מנתונים מטאורולוגיים מתחנות מזג אוויר ועד לנתוני שוק מבורסות פיננסיות ברחבי העולם. כל מערכי הנתונים הללו מתאימים להגדרה המקורית, אבל השימושים שלהם - והקונוטציות הקשורות לאנשים שאוספים את המידע הזה - שונים מהותית.

כאשר ביג דאטה מהווה בעיה

אז מה אתה צריך לחשוב כשאתה שומע "ביג דאטה?" זה תלוי בחברה שמשתמשת בביטוי. אם סטארט-אפ טכנולוגי שמעולם לא שמעתם עליו מתגאה בכך ש"האלגוריתם לעיבוד תמונות חתולים אומר שהם מסוגלים לנהל נתונים גדולים" ושהשירות שלהם "הוא כמו [x company] עבור [y שם עצם]," אז אתה כנראה צריך להיות סקפטי. יתכן בהחלט שלחברה האמורה יש דרך מהפכנית לצבור ולהבין את כל תמונות החתולים באינטרנט, אבל סביר יותר שמדובר בסלוגן שיווקי. באופן דומה, המונח משמש לעתים קרובות כדי לבלבל אותך לחשוב שהשירות עושה משהו יותר מאשר לאסוף את הנתונים שלך למטרות שיווק. אם אתה שומע מה שנקרא "מתווכי נתונים" כמו Acxiom, CoreLogic או DataLogix משתמשים בביטוי, אין ספק שיש להם המון נתונים לנהל, אבל הם משתמשים בביטוי כדי לתארממי הם יכולים לקצור, איך הם יכולים לעבד אותו ולמי הם יכולים למכור.

עם זאת, אם אתה שומע חברת בריאות מדברת על האתגרים הקשורים בטיפול בתיעוד חולים, מסמכים אלקטרוניים ומסמכים ניסיוניים מאלפי בתי חולים סניפים ומוסדות מחקר, אז כנראה שאתה מסתכל על שימוש לגיטימי ומדעי במונח. בנוסף, יש חברותהמתמחים באספקת תוכנהלבתי חולים, חברות ניהול פיננסי, מוסדות מחקר וסוכנויות ממשלתיות במיוחד כדי להתמודד עם אתגרי הנתונים שלהם. כששומעיםDARPA קורא לדרכים חדשות לניהול נתונים גדולים, אתה יודע שהן לגיטימיות. באופן דומה, ארגונים מדעיים ומוסדות מחקר כמו NOAA, NIH או NASA מדברים על אתגרי הנתונים הגדולים שלהם, סביר להניח שזה לא ביטוי באזז. אם אתה מסתכל על מודעה עבור טכנולוגיות עיבוד הנתונים החדשות של IBM, Oracle, SAP או SAS,אתה כנראה בברורוהם משתמשים בביטוי באופן שבו הוא נועד במקור.

מה המשמעות של ביג דאטה עבורך

נתונים גדולים אולי מרגישים כמו מחץ מספר רחוק במרכז נתונים איפשהו, אבל יש לזה השלכות בעולם האמיתי.תומכי הפרטיות מודאגים על כמויות עצומות של מידעשניתן לאחסן במסדי נתונים קל לגשת (ולעתים קרובות לא מאובטחים), ולאחר מכן למכור או לסחור לפי רצונו. עם פיסת מידע, לא קשה לכל חברה או גורם ממשלתי לבנות תמונה מלאה של אדם, פעילותו, הרגלי הרכישה, הקריאה או הגלישה שלו ועוד. והכי חשוב, הם לא צריכים לאסוף שום דבר שניתן לזהות בעצמם, והם יכולים להשתמש במה שהם מקבלים לכל מטרה שיבחרו.

מהצד החיובי, הבעיה עם נתונים גדולים היא חלק ממה שהופך אותו לכל כך שימושי. זה לא אישי וחסר הקשר. רק בגלל שהנתונים טוביםלא אומר שההחלטות שיתקבלו באמצעותו יהיו טובות באותה מידה. לדוגמה, Google Flu Data עשה את כל הדברים הנכונים והביא את המידע שלו מכל המקומות הנכונים, אבלחיזוי שגוי של שיעורי זיהום במשך שנתיים ברציפות. זה אומר שמישהו אולי יוכל לבנות תמונה שלך, אבל הנתונים עצמם עדיין לא יכולים לחזות במדויק את ההתנהגות או הבחירות שלך. ביג דאטה אולי אומר שיש הרבה מידע שמסתובב, אבל זה עדיין דורש מבני אדם עם הכישורים הנכוניםלנפות את המידע ולקבל החלטות מתאימותעל סמך מה שנאסף. הזמן יגיד מהן ההחלטות האלה.

עבור האדם הממוצע, זה אומר שני דברים: האחד, הכמויות העצומות של מידע שנאסף על כל דבר יכול לשמש לטוב או לרע. שימו לב כשהוויכוח הזה מתפתח במהלך השנים הקרובות, וזה לא פשוט כמו "ביג דאטה רע, פרטיות טובה". נתונים הם בדיוק זה - מידע.זה אופן השימוש בו הוא הנושא.

שנית, כמו בכל תחום מתפתח, הולך להיות גל של עניין (והזדמנויות) במדעי הנתונים. יהיה כמובן גם שיווק מוך, ידלל את הביטוי עד כדי חוסר משמעות, אבל זהו גבול טכנולוגי חדש ומתפתח - כזה שתוכלו להסתבך בו אם אתם מעוניינים לאסוף את הכישורים.

שורה תחתונה: אל תדאג לגבי ביג דאטה, תדאג מי משתמש בהם

בסופו של יום, ביג דאטה - והחברות שעושות עסק מניהולו - סוללות את הדרך לקראת כמה חידושים גדולים במדע, טכנולוגיה ורפואה. מידע נוסף זמין ומעובד מאי פעם כדי ללמוד אקלים, גנטיקה, מחלות ורפואה, פיזיקה ועוד. עם זאת, בצד הצרכני, צפו שיותר מחייכם ואורח החיים שלכם ימונפו לקבל החלטות לגביכם שאחרת אולי לא תהיה לכם שום מילה עליהן. בעוד חברות מתרוצצות כדי ללמוד עלינו יותר, אפילו תעשיות שלכאורה לא קשורות יהפכו לפתע שימושיות עבור אחת מהן. אחר - הרגלי הקניות שלך יהיו שימושיים עבור חברות ביטוח בריאות והרגלי הגלישה שלך באינטרנט יהיו שימושיים לחברות שירותים פיננסיים. אלא אם כן, כמובן,אתה נוקט בצעדים כדי להגן על פרטיותך.

אנחנו מקווים שזה עוזר לנקות קצת את האוויר, מכושפת. זה נושא עמוק, ומכיוון שזו תעשייה עולה, היא משתנה כל הזמן. עם זאת, חשוב להפריד בין מילות הבאז לעובדות, בין המדע לשיווק. מקווה שזה עוזר. עם זאת, שימו לב למגמה, היא לא תיעלם, גם אם מילת הבאז נראית מטופשת.

בְּכֵנוּת,
Lifehacker

יש לך שאלה או הצעה עבור Ask Lifehacker? שלח את זה ל[מוגן באימייל].

תמונת כותרת שנעשתה באמצעותקרלוס צהוב(Shutterstock) וphipatbig(שטרסטוק). תמונות נוספות מאתטוני דאולר,Intel Free Press,פתרונות טכנולוגיים קוגניזנטיים, ושריאנק גופטה.