Долгое время в Интернете не было такого объема информации, который потребовал бы сотни гигабайт оперативной памяти на обработку и отдельных специализированных программ. Но в период с 2000-2010 год начался резкий рост спроса на вычислительные мощности для обработки так называемых Big Data. И вскоре появляется проект «Hadoop», который предназначался для разработки open-source ПО для отказоустойчивых, масштабируемых и распределенных вычислений. Этот проект действительно отлично зарекомендовал себя и на данный момент используется такими IT-монстрами, как: IBM, Amazon, Facebook и Ebay. Сегодня я расскажу вам о том, что представляет из себя эта технология, в каких блокчейн проектах используется и как применяется в проекте DxChain.

Кратко о Hadoop

Проект Hadoop был разработан фондом Apache Software Foundation и является бесплатным, свободно распространяемым паком библиотек, утилит и фреймворков, которые предназначены для разработки распределенных приложений. Приложения, разработанные посредством Hadoop могут работать на целых кластерах, разделенных на сотни и тысячи узлов. Чаще всего приложение используется для поддержки поисковых и контекстных механизмов большинства перегруженных веб-сайтов на подобии гигантов IT-индустрии таких, как Yahoo! и соц.сеть Facebook. Отметим, что языком программирования Hadoop является Java, а вычислительная парадигма MapReduce. По сути Hadoop разделяет одно сложное задание на десятки или сотни более маленьких, а потом вновь соединяет всё это, получая финальный результат.

Hadoop в DxChain

Hadoop – платформа, которая была испытана временем в сфере хранения больших объемов информации. Платформа включает в себя HDFS для хранения файлов, YARN и MapReduce, которые планируют задания, а также целый набор инструментов, использующихся для 6 распределенных рабочих мест. Отметим, что Hadoop является централизованной системой и для реализации координации между распределенными рабочими местами потребуются усилия координаторов. В свою очередь DxChain сеть адаптирует экосистему Hadoop к децентрализованной среде. Для того, чтобы контролировать правильность выполнения работы, условий заданий и работников нужна цепь вычислений, которая поддерживает состояние вычислений в сети DxChain. В случае с DxChain она применяется для того, чтобы управлять состоянием вычисления, в то время как MapReduce уже может быть интегрирован в сеть DxChain. На MapReduce были успешно реализованы следующие инструменты:
• Pig;
• Hive;
• Mahout.

В каких блокчейнах кроме DxChain использовался Hadoop:

Одним из самых популярных проектов, который применяет технологию Hadoop в сфере блокчейна является Scalablockchain. Проект хочет сделать Hadoop доступным и перспективным в сфере блокчейна. Разработчики проекта утверждают, что у них есть «миллиард причин» на то, чтобы использовать эту технологию. Благодаря Hadoop, Scala превосходит традиционную Java по показателю масштабируемости. Scalablockchain предлагает пользователям интегрировать существующие Java коды и решить все возникшие проблемы. Здесь Hadoop применяется для разбивки огромных задач на более мелкие, которые в итоге соединяются в один конечный результат.

Заключение

Hadoop не единственная интересная технология, применяемая в проекте DxChain. Однако её важность не стоит отрицать, разбивка на сотни мелких задач значительно ускорят процесс машинного обучения или обработки BigData в DxChain.

DxChain’s website https://www.dxchain.com/
https://t.me/DxChainBot?start=wvxvcp-wvxvcp