Съдържание
- ETL създава Bottlenecks за Analytics
- Рационализиране на ETL с машинно обучение и AI
- Без грешки, без стрес - Вашето стъпка по стъпка ръководство за създаване на софтуер, променящ живота, без да разрушава живота ви
Източник: Pop Nukoonrat / Dreamstime.com
За вкъщи:
Данните са от решаващо значение за бизнеса, но за да бъдат полезни, не трябва да има грешки при събирането, обработката и представянето на тези данни. Изкуственият интелект може да следи процесите на ETL, за да се увери, че няма грешки.
ETL (извличане, преобразуване и зареждане) е един от най-важните процеси в анализа на големи данни - и едновременно с това може да бъде един от най-големите пречки. (За повече информация относно големите данни, вижте 5 полезни курса за големи данни, които можете да вземете онлайн.)
Причината ETL е толкова важна, че повечето данни, които бизнес събира, не са готови в суровия си вид за анализ на аналитично решение. За да може аналитичното решение да създаде прозрения, суровите данни трябва да бъдат извлечени от приложението, в което в момента се намира, трансформирани във формат, който аналитичната програма може да чете, и след това да се заредят в самата програма за анализи.
Този процес е аналогичен на готвенето. Вашите сурови съставки са вашите сурови данни. Те трябва да бъдат извлечени (закупени от магазин), преобразени (варени) и след това заредени (покрити с плочи), преди да могат да бъдат анализирани (дегустирани). Трудността и разходите могат да се увеличат непредсказуемо - лесно е да си направите мак сирене за себе си, но много по-трудно да създадете гурме меню за 40 души на вечеря. Излишно е да казвам, че грешка във всеки един момент може да направи яденето Ви неуязвимо.
ETL създава Bottlenecks за Analytics
В известен смисъл ETL е основата на процеса на анализиране, но има и някои недостатъци. На първо място, това е бавно и изчислително скъпо. Това означава, че фирмите често дават приоритет само на най-важните си данни за анализи и просто съхраняват останалите. Това допринася за факта, че до 99% от всички бизнес данни остават неизползвани за аналитични цели.
Освен това процесът на ETL никога не е сигурен. Грешки в процеса на ETL могат да повредят вашите данни. Например, кратка мрежова грешка може да попречи на извличането на данни. Ако вашите изходни данни съдържат няколко типа файлове, те могат да бъдат трансформирани неправилно. Внасяне на боклук, изхвърляне на боклука, както се казва - грешките по време на ETL процеса почти сигурно ще се изразят по отношение на неточна анализа.
Повреденият ETL процес може да има лоши последици. Дори при най-добрия сценарий вероятно ще трябва да стартирате отново ETL, което означава забавяне на часовете - а междувременно лицата, които вземат решения, са нетърпеливи. В най-лошия сценарий не забелязвате неточната анализа, докато не започнете да губите пари и клиенти.
Рационализиране на ETL с машинно обучение и AI
Можете - и вероятно да го назначите - някой да наблюдава ETL, но честно казано не е толкова просто. Лошите данни могат да бъдат резултат от грешки в процеса, които се случват толкова бързо, че не могат да бъдат забелязани в реално време. Резултатите от повреден ETL процес често не изглеждат различни от правилно заредени данни. Дори когато грешките са очевидни, проблемът, който е създал грешката, може да не е толкова лесен за проследяване. (За да научите повече за анализирането на данни, вижте Ролева задача: Анализатор на данни.)
Добрата новина е, че машините могат да уловят онова, което хората не могат. Това са само няколко начина, по които AI и машинното обучение могат да уловят ETL грешки, преди да се превърнат в неточна анализа.
Без грешки, без стрес - Вашето стъпка по стъпка ръководство за създаване на софтуер, променящ живота, без да разрушава живота ви
Не можете да подобрите уменията си за програмиране, когато никой не се интересува от качеството на софтуера.
1. Откриване и сигнализиране в рамките на ETL показатели
Въпреки че вашите данни представляват непрекъснато движеща се картина, процесът на ETL трябва да произвежда последователни стойности с постоянна скорост. Когато тези неща се променят, това е причина за аларма. Хората могат да видят големи люлки в данните и да разпознават грешки, но машинното обучение може да разпознае по-тънки грешки, по-бързо. Възможно е система за машинно обучение да предложи откриване на аномалия в реално време и да сигнализира директно на IT отдела, което им позволява да прекратят процеса и да отстранят проблема, без да се налага да изхвърлят часове на изчислителни усилия.
2. Определяне на специфични бутилки
Дори ако вашите резултати са точни, те все още може да излязат твърде бавно, за да бъдат полезни. Гартнър казва това 80% от прозренията получени от аналитика никога няма да бъдат използвани за създаване на парична стойност и това може би е така, защото бизнес лидерът не може да види представа навреме, за да се възползва от това. Машинното обучение може да ви каже къде се забавя системата ви и да ви даде отговори - получавате по-добри данни, по-бързо.
3. Определете количествено въздействието на управлението на промените
Системите, които произвеждат вашите данни и анализи, не са статични - те постоянно получават кръпки и надстройки. Понякога те засягат начина, по който те произвеждат или интерпретират данни - което води до неточни резултати. Машинното обучение може да маркира резултати, които са променени и да ги проследи до конкретната кръпка машина или приложение.
4. Намалете цената на операциите
Задържаните аналитични операции са равни загубени пари. Времето, което отделяте, измисляйки не само как да решите проблема, но и кой носи отговорност за решаване на проблема е време, което бихте могли да харчите строителна стойност. Машинното обучение помага да стигнете до сърцето на въпроса, като предупреждавате само екипите, които може да са отговорни за реагиране на конкретни видове инциденти, оставяйки на останалата част от ИТ отдела да продължат да изпълняват основните задачи. Освен това машинното обучение ще помогне да се премахнат фалшивите позитиви, като се намали общият брой сигнали, като същевременно се увеличи подробността на информацията, която те могат да предоставят. Преумората на предупреждението е много реална, така че тази промяна ще има измеримо влияние върху качеството на живот.
Що се отнася до печалбата в бизнеса, аналитиката е от решаващо значение. Проучвателно проучване от Bain Capital показва, че компаниите, които използват анализи, са повече от два пъти по-склонни да надхвърлят финансово. ETL осигурява основата за успеха на тази сцена, но забавянето и грешките също могат да попречат на успеха на аналитична програма. Следователно машинното обучение се превръща в безценен инструмент за успеха на всяка програма за анализ, като помага да се гарантират чисти данни и точни резултати.