Bu eğiticide, Apache Hadoop'u bir Linux kutusuna (Ubuntu) yüklemek için sizi adım adım işlemden geçireceğiz. Bu 2 aşamalı bir süreçtir
- Bölüm 1) Hadoop'u İndirin ve Yükleyin
- Bölüm 2) Hadoop'u Yapılandırma
2 Önkoşul vardır
- Ubuntu'nun kurulu ve çalışıyor olması gerekir
- Java Yüklemiş olmalısınız.
Bölüm 1) Hadoop'u İndirin ve Yükleyin
Adım 1) Aşağıdaki komutu kullanarak bir Hadoop sistem kullanıcısı ekleyin
sudo addgroup hadoop_
sudo adduser --ingroup hadoop_ hduser_
Parolanızı, adınızı ve diğer ayrıntıları girin.
NOT: Bu kurulum ve yükleme işleminde aşağıda belirtilen hata olasılığı vardır.
"hduser sudoers dosyasında değil. Bu olay bildirilecek."
Bu hata, bir kök kullanıcı olarak Oturum Açarak çözülebilir
Komutu yürütün
sudo adduser hduser_ sudo
Re-login as hduser_
Adım 2) SSH'yi yapılandırın
Bir kümedeki düğümleri yönetmek için Hadoop, SSH erişimi gerektirir
Önce kullanıcı değiştir, aşağıdaki komutu girin
su - hduser_
Bu komut yeni bir anahtar oluşturacaktır.
ssh-keygen -t rsa -P ""
Bu anahtarı kullanarak yerel makineye SSH erişimini etkinleştirin.
cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys
Şimdi localhost'a 'hduser' kullanıcısı olarak bağlanarak SSH kurulumunu test edin.
ssh localhost
Not: 'ssh localhost'a yanıt olarak aşağıdaki hatayı görürseniz, bu durumda SSH'nin bu sistemde bulunmaması ihtimali vardır.
Bunu çözmek için -
SSH'yi kullanarak temizleyin,
sudo apt-get purge openssh-server
Kurulum başlamadan önce temizlemek iyi bir uygulamadır
SSH'yi şu komutu kullanarak yükleyin:
sudo apt-get install openssh-server
Adım 3) Sonraki adım Hadoop'u İndirmektir
Stabil'i seçin
Tar.gz dosyasını seçin (src içeren dosyayı değil)
İndirme tamamlandığında, tar dosyasını içeren dizine gidin
Giriş,
sudo tar xzf hadoop-2.2.0.tar.gz
Şimdi hadoop-2.2.0'ı hadoop olarak yeniden adlandırın
sudo mv hadoop-2.2.0 hadoop
sudo chown -R hduser_:hadoop_ hadoop
Bölüm 2) Hadoop'u Yapılandırma
Adım 1) ~ / .bashrc dosyasını değiştirin
~ / .Bashrc dosyasının sonuna aşağıdaki satırları ekleyin
#Set HADOOP_HOMEexport HADOOP_HOME=#Set JAVA_HOMEexport JAVA_HOME= # Add bin/ directory of Hadoop to PATHexport PATH=$PATH:$HADOOP_HOME/bin
Şimdi, aşağıdaki komutu kullanarak bu ortam yapılandırmasını kaynaklayın
. ~/.bashrc
Adım 2) HDFS ile ilgili yapılandırmalar
JAVA_HOME'u $ HADOOP_HOME / etc / hadoop / hadoop-env.sh dosyasında ayarlayın
İle
$ HADOOP_HOME / etc / hadoop / core-site.xml'de ayarlanması gereken iki parametre vardır.
1. 'hadoop.tmp.dir' - Hadoop tarafından veri dosyalarını saklamak için kullanılacak bir dizini belirtmek için kullanılır.
2. 'fs.default.name' - Bu, varsayılan dosya sistemini belirtir.
Bu parametreleri ayarlamak için core-site.xml dosyasını açın.
sudo gedit $HADOOP_HOME/etc/hadoop/core-site.xml
Etiketler arasında aşağıdaki satırı kopyalayın
hadoop.tmp.dir /app/hadoop/tmp Parent directory for other temporary directories. fs.defaultFS hdfs://localhost:54310 The name of the default file system.
$ HADOOP_HOME / etc / Hadoop dizinine gidin
Şimdi, core-site.xml'de belirtilen dizini oluşturun.
sudo mkdir -p
Dizine izinler verin
sudo chown -R hduser_:Hadoop_
sudo chmod 750
Adım 3) Harita Azaltma Yapılandırması
Bu yapılandırmalara başlamadan önce, HADOOP_HOME yolunu ayarlayalım
sudo gedit /etc/profile.d/hadoop.sh
Ve girin
export HADOOP_HOME=/home/guru99/Downloads/Hadoop
Sonra girin
sudo chmod +x /etc/profile.d/hadoop.sh
Terminalden çıkın ve yeniden başlatın
Echo $ HADOOP_HOME yazın. Yolu doğrulamak için
Şimdi dosyaları kopyalayın
sudo cp $HADOOP_HOME/etc/hadoop/mapred-site.xml.template $HADOOP_HOME/etc/hadoop/mapred-site.xml
Aç mapred-site.xml dosyasını dosyasını
sudo gedit $HADOOP_HOME/etc/hadoop/mapred-site.xml
mapreduce.jobtracker.address localhost:54311 MapReduce job tracker runs at this host and port.
Açık $ HADOOP_HOME / etc / Hadoop / HDF'ler-site.xml dosyasını aşağıdaki gibi,
sudo gedit $HADOOP_HOME/etc/hadoop/hdfs-site.xml
dfs.replication 1 Default block replication. dfs.datanode.data.dir /home/hduser_/hdfs
Yukarıdaki ayarda belirtilen bir dizin oluşturun-
sudo mkdir -p
sudo mkdir -p /home/hduser_/hdfs
sudo chown -R hduser_:hadoop_
sudo chown -R hduser_:hadoop_ /home/hduser_/hdfs
sudo chmod 750
sudo chmod 750 /home/hduser_/hdfs
Adım 4) Hadoop'u ilk kez başlatmadan önce, aşağıdaki komutu kullanarak HDFS'yi biçimlendirin
$HADOOP_HOME/bin/hdfs namenode -format
Adım 5) Aşağıdaki komutu kullanarak Hadoop tek düğüm kümesini başlatın
$HADOOP_HOME/sbin/start-dfs.sh
Yukarıdaki komutun bir çıktısı
$HADOOP_HOME/sbin/start-yarn.sh
'Jps' aracını / komutunu kullanarak , Hadoop ile ilgili tüm işlemlerin çalışıp çalışmadığını doğrulayın.
Hadoop başarılı bir şekilde başlatıldıysa, bir jps çıktısı NameNode, NodeManager, ResourceManager, SecondaryNameNode, DataNode göstermelidir.
Adım 6) Hadoop'u Durdurma
$HADOOP_HOME/sbin/stop-dfs.sh
$HADOOP_HOME/sbin/stop-yarn.sh
