Hadoop
Материал из ALT Linux Wiki
(Различия между версиями)
Vitty (обсуждение | вклад) (→Как установить Hadoop на ALT Linux) |
Vitty (обсуждение | вклад) (→Как установить Hadoop на ALT Linux) |
||
Строка 8: | Строка 8: | ||
Данная инструкция описывает ALT-специфику установки Hadoop-кластера из двух машин. | Данная инструкция описывает ALT-специфику установки Hadoop-кластера из двух машин. | ||
Пусть в нашем кластере есть две машины - '''hadoopt1''' и '''hadoopt2'''. DNS-резолвинг работает. | Пусть в нашем кластере есть две машины - '''hadoopt1''' и '''hadoopt2'''. DNS-резолвинг работает. | ||
- | *Устанавливаем rpm-ки hadoop-* из [ftp://ftp.altlinux.org/pub/people/vitty/hadoop/ ftp://ftp.altlinux.org/pub/people/vitty/hadoop/] | + | *Устанавливаем java-1.6.0-sun-devel и rpm-ки hadoop-* из [ftp://ftp.altlinux.org/pub/people/vitty/hadoop/ ftp://ftp.altlinux.org/pub/people/vitty/hadoop/] |
*На всех нодах редактируем /etc/hadoop/masters, где пишем кто у нас будет master-нодой | *На всех нодах редактируем /etc/hadoop/masters, где пишем кто у нас будет master-нодой | ||
cat /etc/hadoop/masters | cat /etc/hadoop/masters | ||
Строка 19: | Строка 19: | ||
На каждой ноде: | На каждой ноде: | ||
su - hadoop | su - hadoop | ||
- | ssh-keygen -t | + | ssh-keygen -t rsa -b 2048 |
passphrase не задаём | passphrase не задаём | ||
*Публичную часть всех получившихся ключей заносим во все /var/run/hadoop-core/.ssh/authorized_keys (в том числе собственную обеспечивая таким образом ssh на себя) | *Публичную часть всех получившихся ключей заносим во все /var/run/hadoop-core/.ssh/authorized_keys (в том числе собственную обеспечивая таким образом ssh на себя) | ||
- | * | + | *На мастер-ноде форматируем раздел: |
+ | su - hadoop | ||
+ | /usr/lib/hadoop/bin/hadoop namenode -format | ||
+ | *Запускаем | ||
== Как пользоваться Hadoop == | == Как пользоваться Hadoop == |
Версия 17:15, 8 ноября 2010
Что это такое?
Wikipedia: Apache Hadoop является свободным Java фреймворком, поддерживающим выполнение распределённых приложений, работающих на больших кластерах, построенных на обычном оборудовании. Hadoop прозрачно предоставляет приложениям надёжность и быстродействие операций с данными.
Как установить Hadoop на ALT Linux
Данная инструкция описывает ALT-специфику установки Hadoop-кластера из двух машин. Пусть в нашем кластере есть две машины - hadoopt1 и hadoopt2. DNS-резолвинг работает.
- Устанавливаем java-1.6.0-sun-devel и rpm-ки hadoop-* из ftp://ftp.altlinux.org/pub/people/vitty/hadoop/
- На всех нодах редактируем /etc/hadoop/masters, где пишем кто у нас будет master-нодой
cat /etc/hadoop/masters hadoopt1
- На всех нодах редактируем /etc/hadoop/slaves, где перечисляем все slave-ноды:
cat /etc/hadoop/slaves hadoopt1 hadoopt2
- Обеспечиваем беспарольный ssh для пользователей hadoop между нодами
На каждой ноде: su - hadoop ssh-keygen -t rsa -b 2048 passphrase не задаём
- Публичную часть всех получившихся ключей заносим во все /var/run/hadoop-core/.ssh/authorized_keys (в том числе собственную обеспечивая таким образом ssh на себя)
- На мастер-ноде форматируем раздел:
su - hadoop /usr/lib/hadoop/bin/hadoop namenode -format
- Запускаем