Съдържание
- Без грешки, без стрес - Вашето стъпка по стъпка ръководство за създаване на софтуер, променящ живота, без да разрушава живота ви
- Надолу към бизнеса
- Как Kafka ще промени управлението на данните
За вкъщи:
Kafka ще направи за информационните системи това, което LinkedIn прави за бизнесмените: поддържайте ги свързани в широк диапазон.
Вярвайки страстно в нещо, което все още не съществува, ние го създаваме. Несъществуващото е всичко, което не сме желали достатъчно.~ Франц Кафка
Необходимостта остава майка на изобретението. Както един проницателен консултант ми каза веднъж: „Ако има нещо, което трябва да се случи в една организация, това се случва“. Точката му беше двустранна: 1) някои хора винаги ще намерят начин да свършат нещата; и 2) висшето ръководство или дори средното ръководство може да не е наясно как точно се случват нещата в рамките на тяхното собствено предприятие.
Ако разширим тази метафора до цялата вселена на управление на данни, можем да видим трансформация, която се извършва в момента. Необработеното налягане на големите данни, комбинирано с оста на поточни данни, създава толкова голямо налягане, че наследените системи се изтриват в краищата, ако не се сринат напълно. Независимо от това, има безброй професионалисти, които се занимават със задачите си точно в този момент, които до голяма степен не знаят тази реалност.
Предприятията, управлявани от данни, имат място на предния ред и по много начини водят до тази промяна. Помислете как електроцентрали като Yahoo !, и LinkedIn насочиха корпоративната софтуерна индустрия встрани с огромните си дарения към отворен код: Hadoop, Cassandra и сега Kafka, всички от които бяха пасирани от фондация Apache, която сама е централен участник в тази метаморхфоза ,
Какъв е резултатът от цялата тази промяна? Това, на което бяхме свидетели днес, е категоричното рекласифициране и преструктуриране на самото управление на данни. Това не означава, че наследените системи вече ще бъдат изтръгнати и заменени. Всеки ветеран от индустрията ще ви каже, че разтварянето на едро на наследени системи се случва толкова често, колкото Chicago Cubs печелят World Series. Най-малкото е рядко събитие.
Това, което наистина се случва, е, че се изгражда суперструктура около системите на стария свят. Помислете за аналогията на междудържавните магистрали, които често се издигат над градовете и градовете, които обслужват, предназначени да доставят хора и товари в тези населени центрове и да осигурят навлизане на всеки и всичко в тях. Те не заменят съществуващите пътища толкова, колкото ги увеличават с високоскоростни алтернативи.
Точно това прави Apache Kafka: осигурява високоскоростни маршрути за движение на данни между и между информационни системи. За да следват аналогията на магистралата, все още има много компании, използващи линейни опашки или стария стандарт на ETL (екстракт-трансформация-натоварване); но тези пътеки имат ниски ограничения на скоростта и има много дупки; освен това разходите за поддръжка често са прекалено големи; табелите са лоши.
Kafka предлага алтернативен метод за предоставяне на данни, който е решително в реално време, мащабируем и дълготраен. Това означава, че Kafka е не само средство за движение на данни, но и репликатор на данни; и до известна степен технология за разпределена база данни. Трябва да внимаваме да пренесем аналогията твърде далеч, тъй като има характеристики на бази данни, съвместими с ACID, които Kafka все още не спортува. Все пак промяната е реална.
Това е чудесна новина за информационния пейзаж, тъй като понастоящем данните са свободни да се движат за страната - и света. Това, което някога беше болезнено ограничение, а именно удрянето на партидни прозорци за ETL процеси, сега се разсейва много, тъй като мъглата отстъпва на ясно небе под отблясъците на горещо слънце. Когато преместването на данни от една система в друга става безгранична, изгрява ера на нови възможности.
Без грешки, без стрес - Вашето стъпка по стъпка ръководство за създаване на софтуер, променящ живота, без да разрушава живота ви
Не можете да подобрите уменията си за програмиране, когато никой не се интересува от качеството на софтуера.
Човешките същества вероятно ще представляват най-много триене по пътя към данните за ново бъдеще. Старите навици умират трудно. Nary CIO се вълнува твърде много от извършването на промени на едро в корпоративните системи. Каза един умел висш изпълнителен директор на ролята: „Пригответе се да бъдете самотни“. В рамките на една година от този коментар той беше консултант. Това не е лесен път, опитвайки се да управлява забележително грозния свят на корпоративните данни.
Добрата новина е, че Kafka осигурява рампа за бъдещето. Тъй като служи като мощен многолицев автобус, той създава мостове между наследените системи и техните перспективни колеги. Така организациите, които приемат тази нова възможност с отворено съзнание и достатъчен бюджет, ще могат да стъпят в новия свят, без да оставят след себе си стария. Това е сериозно голяма работа.
Надолу към бизнеса
Докато Apache Kafka е технология с отворен код, безплатна за всеки, който може да изтегли и използва, хората, създали този софтуер за LinkedIn, отделиха отделна структура, наречена Confluent, която се фокусира върху втвърдяването на предлагането за използване в предприятието. Подобно на Cloudera, Hortonworks и MapR са изградили бизнеса си около проекта с отворен код на Apache Hadoop, така че Confluent се стреми да монетизира Kafka.
В скорошно интервю за InsideAnalysis изпълнителният директор на Confluent и съоснователят Джей Крепс обясни произхода си в LinkedIn:
„Опитвахме се да разрешим няколко различни проблема там. Единият беше, че разполагахме с всички тези различни системи за данни с различни видове данни. Имахме бази данни и файлове с дневници, както и показатели за сървъри и потребители, които щракват върху нещата. Да събереш всички тези данни - тъй като станаха големи - беше наистина трудно. Силата на данните беше налице само ако можеш да ги докараш до приложенията или обработката или системите, които се нуждаеха от нея. Това беше голям проблем.
„Другият проблем, който имахме, беше, че приехме Hadoop и в това бях замесен. Имахме тази фантастична платформа за офлайн обработка, която можехме да мащабираме и можем да поставим всички наши данни. За LinkedIn всички наши данни се случиха реално време. Имаше непрекъснато генериране на данни. Винаги е имало това несъответствие, тъй като се опитвахме да изградим ключови части от бизнеса извън нашите данни; между нещо, което се изпълняваше веднъж на ден, може би през нощта, и генерира резултати до следващия ден, и този вид непрекъснати данни - кратки времена за взаимодействие - които трябваше да наваксате. Искахме да можем да направим нещо, което беше известно време в академичните среди, но всъщност не беше нещо основно, което е да можеш да докоснете и обработвайте потоци от данни, тъй като те са били генерирани, а не докато са се намирали. "
Добре. Точно това се стреми към Confluent сега с корпоративните данни от всякакви форми и размери. Възможността за игра? Зелено поле. Честно казано, в цялата история на корпоративния софтуер може да се твърди, че адресният пазар за тази технология абсолютно отнема тортата. Няма нито една голяма организация или дори малък бизнес, който да е тежък за данни, който не може да се възползва много от тази технология.
Това е особено вярно поради неврологичния аспект на тази технология; не само участващите умове, но и естеството на това, което Кафка прави за информационните системи. Тъй като Kafka може да се използва за управление на движението на данни в една организация, тя може да се разглежда като нещо повече от само ченге на трафика, а по-скоро мозъка на самата операция. Бяха в ранните етапи на тази визия, но бъдете сигурни, нейната реална.
Как Kafka ще промени управлението на данните
За да разберете как Kafka ще промени естеството на управлението на данни, просто помислете за начините, по които LinkedIn е променила работата в мрежа. Намирането на колеги стана толкова по-лесно; поддържането на връзка с хората сега е леко. Kafka ще направи за информационните системи това, което LinkedIn прави за бизнесмените: поддържайте ги свързани в най-широкия обхват на тази земя.
Спинофът на Confluent е емблематичен за нещо, което бихме могли да наречем „Нова иновация“ - движение, задвижвано от отделянето на разработката на софтуер и манталитета със затворен код, ръководено от създателите на технология с отворен код, подхранвана от големи количества рисков капитал, осигурени от монети от компании с печалба, които се стремят да революционизират как организациите и хората създават, събират, анализират и използват данни.
За да цитирам Франц Кафка, "От определен момент нататък вече няма връщане назад. Това е точката, която трябва да бъде достигната."
Преминахме Рубикона. Сега няма връщане назад.