Съдържание
- Три Vs големи данни
- Решаване на проблема с разнообразието на данни
- Без грешки, без стрес - Вашето стъпка по стъпка ръководство за създаване на софтуер, променящ живота, без да разрушава живота ви
За вкъщи:
Твърде много ИТ отдели хвърлят всичко, което имат по въпросите за обема и скоростта на данните, забравяйки да се справят с основния проблем на разнообразието от данни.
Предизвикателството за управлението и използването на големи данни идва от три елемента, според Дъг Лейни, вицепрезидент на изследването в Gartner. За първи път Лани отбеляза преди повече от десетилетие, че големите данни създават такъв проблем за предприятието, защото въвеждат трудно управляем обем, скорост и разнообразие. Проблемът е, че твърде много ИТ отдели хвърлят всичко, което имат по въпросите за обема и скоростта на данните, забравяйки да се справят с основния въпрос за разнообразието от данни.
Още през 2001 г. Лани пише, че "водещите предприятия все повече ще използват централизиран склад за данни, за да определят общ бизнес речник, който подобрява вътрешното и външното сътрудничество". Проблемът с този речник - и променливостта, която не позволява на компаниите да го създават - остава най-малко разглежданият аспект на главоблъсканицата с големи данни днес. (Вижте какво трябва да кажат другите експерти. Вижте експертите с големи данни, които трябва да продължите.)
Три Vs големи данни
Много предприятия са намерили методи за използване на увеличен обем и скорост на данните. , например, може да анализира огромни обеми от данни. Разбира се, тези данни често се представят отново и отново в същите параметри. Това доведе до технологични иновации като колони от бази данни, които сега се използват широко от други компании, които се сблъскват с еднакво големи магазини от подобни данни.
По отношение на скоростта на опитомяване, доставчици като Splunk помагат на предприятията да анализират бързо създадени данни чрез лог файлове, които улавят няколко хиляди събития в секунда. Този анализ на събития с голям обем е насочен към случаи на използване на мониторинга на сигурността и ефективността. Както при предизвикателството за обем на данни, предизвикателството за скорост е до голяма степен разрешено чрез сложни техники за индексиране и разпределен анализ на данни, които позволяват мащаба на обработката да се мащабира с увеличена скорост на данните.
Що се отнася до разнообразието обаче, твърде много предприятия все още са изправени пред голям проблем в подхода си към анализиране на големи данни. Този проблем се ръководи от три фактора: Първо, поради растежа, придобиванията и технологичните иновации, които добавят нови системи в околната среда, предприятията са заключени в силно хетерогенна среда и тази хетерогенност само се увеличава с времето. Предприятията трябва да проследяват множество видове системи и да управляват десетки хиляди типове данни, както и едни и същи данни, представени с помощта на различни номенклатури и формати.
Второ, тези системи и типове данни в много случаи отчитат както съответната информация, така и информацията, която може безопасно да се филтрира като нерелевантна за решавания проблем. Трябва да се идентифицира надеждна информация.
Третото измерение на предизвикателството за сорта е постоянната променливост или промяна в средата. Системите се надграждат, въвеждат се нови системи, добавят се нови типове данни и се въвежда нова номенклатура. Това допълнително напряга нашата способност да укротим предизвикателството за разнообразието на данни. Това добавя допълнителен слой към сортовото предизвикателство. (За повече информация, вижте големите данни: как са заснети, смазани и използвани за вземане на бизнес решения.)
Решаване на проблема с разнообразието на данни
За да разрешат проблема с разнообразието на данни, предприятията трябва да започнат с ИТ домейна, тъй като той често представлява както най-лошите нарушители, така и най-лошите жертви на проблема с разнообразието. Първата стъпка е да започнете с цялостна дефиниция или таксономия на всички елементи или активи на ИТ. Това осигурява база или основа за справяне с всичко в или относно ИТ и дава възможност на предприятията да управляват нарастващата разнородност спрямо известна таксономия или терминология.
Без грешки, без стрес - Вашето стъпка по стъпка ръководство за създаване на софтуер, променящ живота, без да разрушава живота ви
Не можете да подобрите уменията си за програмиране, когато никой не се интересува от качеството на софтуера.
Следващата стъпка е да се идентифицират многобройните начини, по които един и същ обект е представен в различни записи. Това дава възможност на ИТ специалистите да разгледат своята разнородна среда и силно филтрират и компресират данните в подходящи и управляеми парчета.
И накрая, ИТ мениджърите трябва да приемат процес на постоянно изследване на средата за промени като въвеждане на нови видове елементи или нова номенклатура, за да се отнасят към същия елемент.
С тези стъпки ИТ организациите могат да справят проблема с разнообразието и да извлекат дълбоки познания, които исторически се избягват от ИТ екипите. Освен това, управлението на сортовия проблем значително подобрява възвръщаемостта на инвестициите в инструменти и техники, които се справят с по-традиционните проблеми с големи данни по отношение на обема и скоростта.