Какви са предимствата на рамката Hadoop 2.0 (YARN)?

Съдържание

• Какво представлява рамката на YARN?
• Ограничения на рамката Hadoop 1.0
• Без грешки, без стрес - Вашето стъпка по стъпка ръководство за създаване на софтуер, променящ живота, без да разрушава живота ви
• ПРАВАТА Рамка и нейните предимства
• заключение

Източник: Джим Хюз / Dreamstime.com

За вкъщи:

Преждата е значително подобрение спрямо рамката на Hadoop 1.0. Тук разглеждаме някои от предимствата, които има пред своя предшественик.

От времето, когато е въведена концепцията за големите данни, тя преминава през множество фази на еволюция. Hadoop беше представен през 2005 г. с някои първоначални характеристики като процесора за обработка на MapReduce, който позволява мащабно обработване на данни, разпределено в клъстери. Самият Hadoop претърпя много промени и разработи модерни рамки и методи.

Преждата е основен компонент на Hadoop 2.0. Основно управлява ресурсите в клъстерирана среда. Брокерът на YARN взаимодейства с изчислителните ресурси (от името на приложенията) и възлага ресурси на всяко приложение въз основа на различни критерии за филтриране.

В тази статия ще разгледаме основните предимства на YARN над Hadoop 1.0.

Какво представлява рамката на YARN?

Yet Аnother Resource нegotiator е основен компонент на Hadoop 2.0, който управлява ресурси в клъстерирана среда. Рамката на Hadoop YARN е усъвършенствана версия на Hadoop 1.0, която осигурява подобрена производителност, което е от полза за екосистемата Hadoop и целия спектър от технологии, свързани с нея. Сега, когато сме малко по-запознати с YARN, нека разгледаме по-отблизо Hadoop 1.0 и YARN.

Ограничения на рамката Hadoop 1.0

За да разберем предимствата на рамката YARN, е много важно да разберем как работи Hadoop 1.0 и какви са ограниченията на тази рамка.

От тук идва ролята на JobTracker. Той управлява както ресурсите на клъстера, така и определя изпълнението на заданието MapReduce. С две думи JobTracker планира и резервира слотовете за задачи и конфигурира и следи всяка изпълнена задача. Ако задача не успее, тя пренасочва нов слот, за да започне задачата отново. След като задачата е завършена, JobTracker освобождава слота за други задачи и почиства временните ресурси.

Основни недостатъци на горния подход:

• Наличност - JobTracker е единствената точка на наличност в Hadoop 1.0. Това означава, че ако JobTracker не успее, всички задачи ще се рестартират по подразбиране.
• Ограничена мащабируемост - тъй като JobTracker изпълнява множество задачи и работи на една машина, другите налични машини не се използват; следователно, което води до ограничена мащабируемост.
• Използване на ресурсите - В горния подход слотовете за карта и редуциращите слотове са предварително дефинирани. Може да се случи, че един от слотовете е пълен, но другите слотове на машината са празни. Тъй като празните слотове са запазени, те ще стоят на празен ход, вместо да правят компромиси за пълните слотове. Това може да причини проблем с използването на ресурсите.
• Работа с приложения, които не са MapReduce - JobTracker е приложение, което е създадено за рамката MapReduce. Проблемът възниква, когато приложение, което не е MapReduce, се опита да работи в тази рамка. Приложението трябва да съответства на рамковото програмиране MapReduce, за да работи успешно. Някои от често срещаните проблеми, които се сблъскват поради това, включват проблеми с:
  • Ad-hoc запитване
  • Анализ в реално време
  • преминаващ подход
• Неуспех в каскада - Един от основните проблеми в тази рамка възниква, когато броят на възлите е по-голям от 4000. При такъв сценарий възниква каскадна повреда, което води до влошаване на целия клъстер.

Това са някои от основните ограничения, които се сблъскват при работата с тази рамка. Има и други малки ограничения, които не са споменати. Рамката на YARN беше въведена за преодоляване на тези ограничения.

Без грешки, без стрес - Вашето стъпка по стъпка ръководство за създаване на софтуер, променящ живота, без да разрушава живота ви

Не можете да подобрите уменията си за програмиране, когато никой не се интересува от качеството на софтуера.

ПРАВАТА Рамка и нейните предимства

Рамката YARN, въведена в Hadoop 2.0, има за цел да споделя отговорностите на MapReduce и да се грижи за задачата за управление на клъстерите. Това позволява MapReduce да изпълнява само обработка на данни и по този начин да оптимизира процеса.

YARN въвежда концепцията за централно управление на ресурсите. Това позволява да се стартират множество приложения на Hadoop, споделяйки общо управление на ресурсите.

Някои от основните компоненти на рамката на YARN са:

• ResourceManager - Компонентът ResourceManager е преговарящият в клъстер за всички ресурси, присъстващи в този клъстер. Освен това този компонент е класифициран в мениджър на приложения, който отговаря за управлението на потребителските задачи. От Hadoop 2.0 всяка задача на MapReduce ще се счита за приложение.
• ApplicationMaster - Този компонент е мястото, където има работа или приложение. Той също така управлява всички задания на MapReduce и се сключва след приключване на обработката на задачите.
• NodeManager - Компонентът на мениджъра на възли действа като сървър за история на заданията. Той отговаря за осигуряването на информация за изпълнените работни места. Той също така следи заданията на потребителите, заедно с работния им процес за определен възел.

Имайки предвид, че рамката YARN има различни компоненти за управление на различните задачи, нека да видим как противодейства на ограниченията на Hadoop 1.0.

• По-добро използване на ресурсите - Рамката на YARN няма фиксирани слотове за задачи. Той осигурява централен мениджър на ресурси, който ви позволява да споделяте множество приложения чрез общ ресурс.
• Работа с приложения, които не са MapReduce - В YARN възможностите за планиране и управление на ресурсите са отделени от компонента за обработка на данни. Това позволява на Hadoop да стартира различни видове приложения, които не съответстват на програмирането на рамката на Hadoop. Клъстерите Hadoop вече могат да изпълняват независими интерактивни заявки и да извършват по-добър анализ в реално време.
• Обратна съвместимост - YARN идва като съвместима с обратна рамка, което означава, че всяка съществуваща работа на MapReduce може да бъде изпълнена в Hadoop 2.0.
• JobTracker вече не съществува - Двете основни роли на JobTracker бяха управление на ресурсите и планиране на работни места. С въвеждането на рамката на YARN те вече са разделени на два отделни компонента, а именно:
  • NodeManager
  • ResourceManager

заключение

Въвеждането на рамката на YARN улесни създаването на приложения за разработчиците на Hadoop. Сега приложенията вече не се изискват да се изпълняват с инструменти на трети страни. YARN е огромна промяна, която ще позволи на потребителите да обмислят Hadoop 2.0 за създаване на приложения и по-ефективно управление на данните. С времето ще има допълнителни разработки за повишаване на използваемостта на Hadoop. Засега рамката на YARN ще играе решаваща роля при справянето със съществуващите проблеми и създаването на безпроблемна среда, която е по-универсална от по-ранната версия на модела MapReduce.