Veri gölü ile Veri ambarı arasındaki farkla ilgili bu eğiticide, Veri ambarı ile veri gölü arasındaki temel farkları tartışacağız. Ancak farkı tartışmadan önce "Veri Ambarı Nedir?"
Veri Ambarı nedir?
Veri Ambarı , verilerin stratejik kullanımı için teknolojilerin ve bileşenlerin bir karışımıdır. Anlamlı iş içgörüleri sağlamak için çeşitli kaynaklardan veri toplar ve yönetir. İşlem işleme yerine sorgulama ve analiz için tasarlanmış büyük miktarda bilginin elektronik olarak depolanmasıdır. Veriyi bilgiye dönüştürme sürecidir.
Data Lake nedir?
Bir veri Lake bir yarı strüktürel büyük miktarda, ve yapısal olmayan verileri saklamak için bir depolama alanıdır. Hesap boyutu veya dosyasında sabit sınırlar olmaksızın her tür veriyi yerel biçiminde depolayabileceğiniz bir yerdir. Daha fazla analitik performans ve yerel entegrasyon için büyük miktarda veri sunar.
Data Lake, gerçek göl ve nehirlere çok benzeyen büyük bir konteynır gibidir. Tıpkı bir gölde olduğu gibi, gelen birden fazla kolunuz var; Benzer şekilde, bir veri gölünün yapılandırılmış verileri, yapılandırılmamış verileri, makineden makineye, gerçek zamanlı olarak akan günlükleri vardır.
Veri Ambarı Konsepti:
Veri Ambarı, verileri stratejik kararlar almak için düzenlemeye ve kullanmaya yardımcı olan dosya veya klasörlerde depolar. Bu depolama sistemi ayrıca atomik ve özet verilerin çok boyutlu bir görünümünü verir. Gerçekleştirilmesi gereken önemli işlevler şunlardır:
- Veri Çıkarma
- Veri temizleme
- Veri Dönüşümü
- Veri Yükleme ve Yenileme
Daha sonra, Azure veri gölü ile veri ambarı arasındaki temel farkı öğreneceğiz.
ANAHTAR FARK
- Data Lake, kaynak ve yapısından bağımsız olarak tüm verileri saklarken, Data Warehouse verileri nitelikleriyle niceliksel ölçümlerde depolar.
- Data Lake, büyük yapılandırılmış, yarı yapılandırılmış ve yapılandırılmamış verileri depolayan bir depolama havuzudur, Veri Ambarı ise verilerin stratejik kullanımına izin veren teknolojileri ve bileşeni harmanlamaktadır.
- Data Lake, veriler depolandıktan sonra şemayı, Data Warehouse ise veriler depolanmadan önce şemayı tanımlar.
- Data Lake, ELT (Extract Load Transform) işlemini kullanırken, Data Warehouse ETL (Extract Transform Load) işlemini kullanır.
- Data Lake ile Warehouse karşılaştırması yapan Data Lake, derinlemesine analiz isteyenler için ideal iken, Data Warehouse operasyonel kullanıcılar için idealdir.
Data Lake Konsepti:
Veri Gölü, ihtiyaç duyulana kadar büyük miktarda ham veriyi orijinal biçiminde tutan büyük boyutlu bir depolama havuzudur. Bir Veri gölündeki her veri öğesine benzersiz bir tanımlayıcı verilir ve bir dizi genişletilmiş meta veri etiketi ile etiketlenir. Çok çeşitli analitik yetenekler sunar.
Veri Gölü ve Veri Ambarı Arasındaki Temel Fark
Veri Gölü ve Veri Ambarı Arasındaki Fark
Veri gölleri ile veri ambarı arasındaki temel farklar şunlardır:
| Parametreler | Veri Gölü | Veri deposu |
|---|---|---|
| Depolama | Veri gölünde, tüm veriler kaynak ve yapısından bağımsız olarak tutulur. Veriler ham haliyle tutulur. Yalnızca kullanıma hazır olduğunda dönüştürülür. | Bir veri ambarı, işlem sistemlerinden çıkarılan verilerden veya nitelikleriyle birlikte nicel metriklerden oluşan verilerden oluşacaktır. Veriler temizlenir ve dönüştürülür |
| Tarih | Veri göllerinde kullanılan büyük veri teknolojileri nispeten yenidir. | Veri ambarı konsepti, büyük veriden farklı olarak onlarca yıldır kullanılıyordu. |
| Veri Yakalama | Yarı yapılandırılmış ve yapılandırılmamış her türlü veri ve yapıyı orijinal haliyle kaynak sistemlerden yakalar. | Yapılandırılmış bilgileri yakalar ve bunları veri ambarı amaçları için tanımlandığı şekilde şemalar halinde düzenler |
| Veri Zaman Çizelgesi | Veri gölleri tüm verileri tutabilir. Bu, yalnızca kullanımda olan verileri değil, aynı zamanda gelecekte kullanabileceği verileri de içerir. Ayrıca, geçmişe gitmek ve bir analiz yapmak için veriler her zaman saklanır. | Veri ambarı geliştirme sürecinde, çeşitli veri kaynaklarını analiz etmek için önemli bir zaman harcanır. |
| Kullanıcılar | Veri gölü, derin analize düşkün kullanıcılar için idealdir. Bu tür kullanıcılar, tahmine dayalı modelleme ve istatistiksel analiz gibi yeteneklere sahip gelişmiş analitik araçlara ihtiyaç duyan veri bilimcilerini içerir. | Veri ambarı, iyi yapılandırılmış olması, kullanımı ve anlaşılması kolay olması nedeniyle operasyonel kullanıcılar için idealdir. |
| Depolama Maliyetleri | Büyük veri teknolojilerinde veri depolamak nispeten ucuzdur ve daha sonra verileri bir veri ambarında depolamaktır. | Veri ambarında veri depolamak daha maliyetli ve zaman alıcıdır. |
| Görev | Veri gölleri tüm veri ve veri türlerini içerebilir; kullanıcıların dönüştürülmüş, temizlenmiş ve yapılandırılmış süreçlerden önce verilere erişmesini sağlar. | Veri ambarları, önceden tanımlanmış veri türleri için önceden tanımlanmış sorulara ilişkin içgörüler sağlayabilir. |
| İşlem süresi | Veri gölleri, kullanıcıların verilere dönüştürülmeden, temizlenmeden ve yapılandırılmadan önce erişmelerini sağlar. Böylece, geleneksel veri ambarına kıyasla kullanıcıların sonuca daha hızlı ulaşmasını sağlar. | Veri ambarları, önceden tanımlanmış veri türleri için önceden tanımlanmış sorulara ilişkin içgörüler sunar. Bu nedenle, veri ambarındaki herhangi bir değişiklik daha fazla zaman gerektiriyordu. |
| Şemanın Konumu | Tipik olarak, şema veriler depolandıktan sonra tanımlanır. Bu, yüksek çeviklik ve veri yakalama kolaylığı sunar ancak sürecin sonunda çalışma gerektirir | Tipik olarak şema, veriler depolanmadan önce tanımlanır. Sürecin başında çalışmayı gerektirir, ancak performans, güvenlik ve entegrasyon sunar. |
| Veri işleme | Data Lakes ELT (Yükü Çıkarma) işleminin kullanımı. | Veri ambarı, geleneksel bir ETL (Extract Transform Load) işlemi kullanır. |
| Şikayet | Veriler ham haliyle tutulur. Yalnızca kullanıma hazır olduğunda dönüştürülür. | Veri ambarlarına yönelik başlıca şikayet, yetersizlik veya bunlarda değişiklik yapmaya çalışırken karşılaşılan sorundur. |
| Temel Avantajlar | Tamamen yeni sorular ortaya çıkarmak için farklı veri türlerini entegre ediyorlar, çünkü bu kullanıcılar veri ambarlarını kullanma olasılıkları düşük, çünkü yeteneklerinin ötesine geçmeleri gerekebiliyor. | Bir organizasyondaki çoğu kullanıcı operasyoneldir. Bu tür kullanıcılar yalnızca raporları ve temel performans ölçümlerini önemsemektedir. |