Bu eğitimde - öğreneceksiniz,
- Apache HBase Kurulum Modları
- Hbase tar dosyasının kararlı sürümü nasıl indirilir
- Hbase - Bağımsız mod kurulumu
- Hbase - Sözde Dağıtılmış kurulum modu
- Hbase - Tamamen Dağıtılmış mod kurulumu
- HBase Kurulum Sorunlarını Giderme
Apache HBase Kurulum Modları
Apache HBase üç modda kurulabilir. Bu modların özellikleri aşağıda belirtilmiştir.
1) Bağımsız mod kurulumu (Hadoop sistemine bağımlılık yok)
- Bu, HBase'in varsayılan modudur
- Yerel dosya sistemine karşı çalışır
- Hadoop HDFS kullanmıyor
- Yalnızca HMaster arka plan programı çalışabilir
- Üretim ortamı için tavsiye edilmez
- Tek JVM'de çalışır
2) Sözde Dağıtılmış mod kurulumu (Tek düğümlü Hadoop sistemi + HBase kurulumu)
- Hadoop HDFS üzerinde çalışır
- Tüm Daemon'lar tek düğümde çalışır
- Üretim ortamı için tavsiye
3) Tamamen Dağıtılmış mod kurulumu (MultinodeHadoop ortamı + HBase kurulumu)
- Hadoop HDFS üzerinde çalışır
- Tüm arka plan yordamları kümede bulunan tüm düğümlerde çalışacak
- Üretim ortamı için şiddetle tavsiye edilir
Hadoop kurulumu için Bu URL'ye Buraya Bakın
Hbase tar dosyasının kararlı sürümü nasıl indirilir
Adım 1) HBase'i indirmek için buradaki bağlantıya gidin. Aşağıda gösterildiği gibi bir web sayfası açacaktır.
Adım 2) 1.1.2 sürümü aşağıda gösterildiği gibi kararlı sürümü seçin
Adım 3) hbase-1.1.2-bin.tar.gz'ye tıklayın. Tar dosyasını indirecektir. Tar dosyasını bir kurulum konumuna kopyalayın.
Hbase - Bağımsız mod kurulumu:
Kurulum, Hadoop zaten kurulu olarak Ubuntu'da gerçekleştirilir.
Adım 1) hbase-1.1.2-bin.tar.gz'yi / home / hduser dizinine yerleştirin
Adım 2) $ tar -xvf hbase-1.1.2-bin.tar.gz komutunu yürüterek sıkıştırmayı açın . İçeriği açacak ve / home / hduser konumunda hbase-1.1.2 oluşturacaktır.
Adım 3) hbase-env.sh dosyasını aşağıdaki gibi açın ve konumdaki JAVA_HOME yolunu belirtin.
Adım 4) ~ / .bashrc dosyasını açın ve aşağıda gösterildiği gibi HBASE_HOME yolunu belirtin
| dışa aktar HBASE_HOME = / home / hduser / hbase-1.1.1 dışa aktar PATH = $ PATH: $ HBASE_HOME / bin |
Adım 5) hbase-site.xml dosyasını açın ve aşağıdaki özellikleri dosyanın içine yerleştirin
hduser @ ubuntu $ gedit hbase-site.xml (aşağıdaki gibi kod)
hbase.rootdir file:///home/hduser/HBASE/hbase hbase.zookeeper.property.dataDir /home/hduser/HBASE/zookeeper
Burada iki mülk yerleştiriyoruz
- HBase kök dizini için bir tane ve
- Veri dizini için ikincisi ZooKeeper'a karşılık gelir.
Tüm HMaster ve ZooKeeper etkinlikleri bu hbase-site.xml'ye işaret ediyor.
Adım 6) / etc içinde bulunan hosts dosyasını açın. konum ve IP'leri aşağıda gösterildiği gibi belirtin.
Adım 7) Şimdi, aşağıda gösterildiği gibi hbase-1.1.1 / bin konumunda Start-hbase.sh dosyasını çalıştırın.
Ve HMaster'ın çalışıp çalışmadığını görmek için jps komutuyla kontrol edebiliriz.
8. Adım ) HBase kabuğu "hbase shell" kullanarak başlayabilir ve aşağıdaki ekran görüntüsünde gösterildiği gibi etkileşimli kabuk moduna girecektir. Kabuk moduna girdiğinde, her türlü komutu gerçekleştirebiliriz.
Bağımsız mod, Hadoop arka plan yordamlarının başlatılmasını gerektirmez. HBase bağımsız olarak çalışabilir.
Hbase - Sözde Dağıtılmış kurulum modu:
Bu, Apache Hbase Kurulumu için sözde Dağıtılmış Kurulum modu olarak bilinen başka bir yöntemdir. HBase'i bu yöntemle kurma adımları aşağıdadır.
Adım 1) hbase-1.1.2-bin.tar.gz'yi / home / hduser dizinine yerleştirin
Adım 2) $ tar -xvf hbase-1.1.2-bin.tar.gz komutunu yürüterek sıkıştırmayı açın . İçeriği açacak ve / home / hduser konumunda hbase-1.1.2 oluşturacaktır.
Adım 3) Aşağıdaki gibi hbase-env.sh dosyasını açın ve konumdaki JAVA_HOME yolunu ve Bölge sunucularının yolunu belirtin ve komutu gösterildiği gibi dışa aktarın
Adım 4) Bu adımda ~ / .bashrc dosyasını açacağız ve ekran görüntüsünde gösterildiği gibi HBASE_HOME yolundan bahsedeceğiz.
Adım 5) HBase-site.xml dosyasını açın ve dosyada aşağıdaki özelliklerden bahsedin. (Aşağıdaki gibi kodlayın)
hbase.rootdir hdfs://localhost:9000/hbase hbase.cluster.distributed true hbase.zookeeper.quorum localhost dfs.replication 1 hbase.zookeeper.property.clientPort 2181 hbase.zookeeper.property.dataDir /home/hduser/hbase/zookeeper
- Bu özellikte Hbase kök dizini kurma
- Dağıtılmış kurulum için bu özelliği ayarlamamız gerekir
- ZooKeeper çekirdek özelliği burada ayarlanmalıdır
- Bu özellikte replikasyon kurulumu yapılır. Varsayılan olarak çoğaltmayı 1 olarak yerleştiriyoruz.
Tam dağıtılmış modda, birden fazla veri düğümü mevcuttur, böylece dfs.replication özelliğine 1'den fazla değer yerleştirerek çoğaltmayı artırabiliriz.
- İstemci bağlantı noktası bu özellikte belirtilmelidir
- ZooKeeper veri dizini bu özellikte belirtilebilir
Adım 6) Önce Hadoop arka plan yordamlarını başlatın ve ardından aşağıda gösterildiği gibi HBase arka plan yordamlarını başlatın
Burada önce aşağıda gösterildiği gibi "./start-all.sh" komutunu kullanarak Hadoop arka plan programlarını başlatmalısınız .
Hbase-start.sh tarafından Hbase arka plan programlarını başlattıktan sonra
Şimdi jps'yi kontrol edin
Hbase - Tamamen Dağıtılmış mod kurulumu: -
- Bu kurulum, küme boyunca birden çok düğümün ortaya çıktığı ve çalıştığı Hadoop küme modunda çalışacaktır.
- Kurulum sözde dağıtılmış modla aynıdır; tek fark, birden çok düğümde ortaya çıkmasıdır.
- HBase-site.xml ve hbase-env.sh'de bahsedilen yapılandırma dosyaları, sözde modda bahsedilenlerle aynıdır.
HBase Kurulum Sorunlarını Giderme
1) Sorun Bildirimi: Ana sunucu başlatılıyor ancak bölge sunucuları başlatılmıyor
Ana ve bölge sunucuları arasındaki IP adresleri aracılığıyla iletişim. Master'ın bölge sunucularının çalıştığını veya 127.0.0.1 IP adresine sahip olduğunu dinleyeceği gibi. Yerel ana bilgisayar olan ve ana sunucunun kendi yerel ana bilgisayarına çözümlenen 127.0.0.1 IP adresi.
Sebep olmak:
Bölge sunucuları ile ana sunucu arasındaki ikili iletişimde, bölge sunucusu sürekli olarak Ana sunucuya IP adreslerinin 127.0.0.1 olduğunu bildirir.
Çözüm:
- Ana sunucu ad düğümünü ana bilgisayar dosyasında bulunan yerel ana bilgisayardan kaldırmanız gerekir
- Ana bilgisayar dosyası konumu / etc / hosts
Ne değiştirilecek:
/Etc./hosts dosyasını açın ve bu konuma gidin
127.0.0.1 fully.qualified.regionservernameregionservername localhost.localdomain localhost: : 1 localhost3.localdomain3 localdomain3
Yukarıdaki yapılandırmayı aşağıdaki gibi değiştirin (yukarıda vurgulandığı gibi bölge sunucusu adını kaldırın)
127.0.0.1 localhost.localdomainlocalhost: : 1 localhost3.localdomain3 localdomain3
2) Sorun Bildirimi: Adresim bulunamadı: XYZ, Zookeeper çekirdek sunucuları listesinde
Sebep olmak:
- ZooKeeper sunucusu başlatılamadı ve sunucu adına .xyz gibi bir hata atacak.
- HBase, bazı makinelerde ZooKeeper sunucusunu başlatmaya çalışır, ancak aynı zamanda makine, HBase.zookeeper.quorum yapılandırma dosyasında bulunan çekirdek yapılandırmasını bulamaz .
Çözüm:-
- Ana bilgisayar adını, hata mesajında gösterilen bir ana bilgisayar adıyla değiştirmek zorunda
- Diyelim ki DNS sunucumuz var, sonra HBase-site.xml'de aşağıdaki yapılandırmaları ayarlayabiliriz.
- HBase.zookeeper.dns.interface
- HBase.zookeeper.dns.nameserver
3) Sorun Bildirimi: Hadoop DFS aracılığıyla HBase için Kök Dizini Oluşturuldu
- Master, HBase geçişleri komut dosyasını çalıştırmanız gerektiğini söylüyor.
- Bunu çalıştırdıktan sonra , HBase geçişleri komut dosyası, kök dizindeki hiçbir dosya gibi yanıt vermez .
Sebep olmak:
- Hadoop Dağıtılmış dosya sistemi kullanılarak HBase için yeni dizinin oluşturulması
- HBase burada iki olasılık bekliyor
1) Kök dizinin olmaması
2) HBase önceki çalışan örnek daha önce başlatıldı
Çözüm:
- Uygunluk sağlayın, HBase kök dizini şu anda mevcut değil veya önceki bir HBase örneği çalıştırmasıyla başlatılmış.
- Çözümün bir parçası olarak adımları takip etmeliyiz
Adım 1) HBase kök dizinini silmek için Hadoop dfs'yi kullanma
Adım 2) HBase, dizini kendisi oluşturur ve başlatır
4) Sorun bildirimi: Zookeeper oturumu sona erdi olaylar
Sebep olmak:
- İstisnalar atarak kapatılan HMaster veya HRegion sunucuları
- Günlükleri gözlemlersek, ortaya çıkan gerçek istisnaları bulabiliriz.
Aşağıda, Zookeeper'ın süresi dolan olay nedeniyle atılan istisna gösterilmektedir. Vurgulanan olaylar, günlük dosyasında meydana gelen istisnalardan bazılarıdır
Aşağıda gösterildiği gibi günlük dosyaları kodu:
WARN org.apache.zookeeper.ClientCnxn: Exceptionclosing session 0x278bd16a96000f to sun.nio.ch.SelectionKeyImpl@355811ecjava.io.IOException: TIMED OUT at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:906)WARN org.apache.hadoop.hbase.util.Sleeper: We slept 79410ms, ten times longer than scheduled: 5000INFO org.apache.zookeeper.ClientCnxn: Attempting connection to server hostname/IP:PORTINFO org.apache.zookeeper.ClientCnxn: Priming connection to java.nio.channels.SocketChannel[connected local=/IP:PORT remote=hostname/IP:PORT]INFO org.apache.zookeeper.ClientCnxn: Server connection successfulWARN org.apache.zookeeper.ClientCnxn: Exception closing session 0x278bd16a96000d to sun.nio.ch.SelectionKeyImpl@3544d65ejava.io.IOException: Session Expired at org.apache.zookeeper.ClientCnxn$SendThread.readConnectResult(ClientCnxn.java:589)at org.apache.zookeeper.ClientCnxn$SendThread.doIO(ClientCnxn.java:709)at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:945)ERROR org.apache.hadoop.hbase.regionserver.HRegionServer: ZooKeeper session expired
Çözüm:
- Varsayılan RAM boyutu 1 GB'dir. Uzun süreli ithalat yapmak için, RAM kapasitesini 1 GB'ın üzerinde tuttuk.
- Zookeeper için oturum zaman aşımını artırmalısınız.
- Zookeeper dışında oturum süresini artırmak için, hbase / conf klasör yolunda bulunan "hbase-site.xml" içindeki aşağıdaki özelliği değiştirmemiz gerekiyor.
- Varsayılan oturum zaman aşımı 60 saniyedir. Aşağıda belirtildiği gibi 120 saniyeye değiştirebiliriz
zookeeper.session.timeout 1200000 hbase.zookeeper.property.tickTime 6000