Büyük Veriye girişe geçmeden önce bilmeniz gereken
Veri nedir?
Bir bilgisayar tarafından gerçekleştirilen, elektrik sinyalleri biçiminde depolanabilen ve iletilebilen ve manyetik, optik veya mekanik kayıt ortamına kaydedilebilen miktarlar, karakterler veya semboller.
Şimdi Büyük Veri girişini öğrenelim
Büyük Veri nedir?
Büyük Veri , hacim olarak çok büyük olan ancak zamanla katlanarak büyüyen bir veri koleksiyonudur. O kadar büyük ve karmaşık bir veridir ki, geleneksel veri yönetimi araçlarının hiçbiri onu depolayamaz veya verimli bir şekilde işleyemez. Büyük veri aynı zamanda bir veridir ancak çok büyük boyuttadır.
Bu eğitimde öğreneceksiniz,
- Veri nedir?
- Büyük Veri nedir?
- Büyük Veri Örnekleri
- Büyük Veri Türleri
- Büyük Verinin Özellikleri
- Büyük Veri İşlemenin Avantajları
Büyük Veri Örnekleri
Aşağıda Büyük Veri örneklerinden bazıları verilmiştir:
New York Borsası hakkında üretir bir terabayt günde yeni ticaret verilerinin.
Sosyal medya
İstatistik , her gün sosyal medya sitesi Facebook'un veri tabanlarına 500'den fazla terabaytlık yeni verinin girildiğini gösteriyor . Bu veriler temel olarak fotoğraf ve video yüklemeleri, mesaj alışverişi, yorum koyma vb. Açısından oluşturulur.
Tek bir Jet motoru , 30 dakikalık uçuş süresinde 10'dan fazla terabayt veri üretebilir . Günde binlerce uçuşla , veri üretimi birçok Petabayta kadar ulaşır .
Büyük Veri Türleri
Büyük Veri türleri şunlardır:
- Yapılandırılmış
- Yapılandırılmamış
- Yarı yapılandırılmış
Yapılandırılmış
Sabit formatta saklanabilen, erişilebilen ve işlenebilen her türlü veri 'yapılandırılmış' veri olarak adlandırılır. Zamanla, bilgisayar bilimindeki yetenek, bu tür verilerle (formatın önceden iyi bilindiği durumlarda) çalışma tekniklerini geliştirmede ve ondan değer türetmede daha büyük başarı elde etti. Bununla birlikte, günümüzde, bu tür bir verinin boyutu büyük ölçüde büyüdüğünde, tipik boyutlar birden çok zettabayt kadar arttığında sorunları öngörüyoruz.
Biliyor musunuz? 10 21 bayt için eşit 1 zettabayt veya bir milyar terabayt formları bir zettabayt .
Bu rakamlara bakıldığında, Büyük Veri isminin neden verildiğini kolayca anlayabilir ve depolama ve işleme sürecindeki zorlukları hayal edebilirsiniz.
Biliyor musunuz? İlişkisel bir veritabanı yönetim sisteminde depolanan veriler, 'yapılandırılmış' verilere bir örnektir .
Yapılandırılmış Veri Örnekleri
Veritabanındaki bir 'Çalışan' tablosu, Yapılandırılmış Veri örneğidir
Çalışan kimliği | İşçi adı | Cinsiyet | Bölüm | Salary_In_lacs |
---|---|---|---|---|
2365 | Rajesh Kulkarni | Erkek | Finansman | 650000 |
3398 | Pratibha Joshi | Kadın | Yönetici | 650000 |
7465 | Shushil Roy | Erkek | Yönetici | 500.000 |
7500 | Shubhojit Das | Erkek | Finansman | 500.000 |
7699 | Priya Sane | Kadın | Finansman | 550000 |
Yapılandırılmamış
Biçimi veya yapısı bilinmeyen herhangi bir veri, yapılandırılmamış veri olarak sınıflandırılır. Büyüklüğünün çok büyük olmasına ek olarak, yapılandırılmamış veriler, ondan değer elde etmek için işlenmesi açısından çok sayıda zorluk ortaya çıkarır. Yapılandırılmamış verilerin tipik bir örneği, basit metin dosyalarının, resimlerin, videoların vb. Bir kombinasyonunu içeren heterojen bir veri kaynağıdır. Artık gündelik kuruluşlar, kendileriyle birlikte çok sayıda veriye sahiptir, ancak ne yazık ki, bundan nasıl değer elde edeceklerini bilmiyorlar bu veriler ham veya yapılandırılmamış biçimindedir.
Yapılandırılmamış Veri Örnekleri
"Google Arama" nın döndürdüğü çıktı
Yarı yapılandırılmış
Yarı yapılandırılmış veriler, her iki veri biçimini de içerebilir. Yarı yapılandırılmış verileri formda yapılandırılmış olarak görebiliriz, ancak aslında ilişkisel DBMS'de bir tablo tanımı ile tanımlanmamıştır. Yarı yapılandırılmış veri örneği, bir XML dosyasında temsil edilen bir veridir.
Yarı Yapılandırılmış Veri Örnekleri
XML dosyasında saklanan kişisel veriler
Prashant Rao Male 35 Seema R. Female 41 Satish Mane Male 29 Subrato Roy Male 26 Jeremiah J. Male 35
Yıllar İçinde Veri Büyümesi
Yapılandırılmamış web uygulama verilerinin, günlük dosyalarından, işlem geçmişi dosyalarından vb. Oluştuğunu lütfen unutmayın. OLTP sistemleri, verilerin ilişkilerde (tablolarda) depolandığı yapılandırılmış verilerle çalışmak üzere oluşturulmuştur.
Büyük Verinin Özellikleri
Büyük veri, aşağıdaki özelliklerle tanımlanabilir:
- Ses
- Çeşitlilik
- Hız
- Değişkenlik
(i) Hacim - Büyük Veri adının kendisi muazzam bir boyutla ilgilidir. Verilerin boyutu, verilerin değerinin belirlenmesinde çok önemli bir rol oynar. Ayrıca, belirli bir verinin gerçekten Büyük Veri olarak kabul edilip edilemeyeceği, veri hacmine bağlıdır. Bu nedenle, 'Hacim' , Büyük Veri ile uğraşırken dikkate alınması gereken bir özelliktir.
(ii) Çeşitlilik - Büyük Verinin bir sonraki yönü, çeşitliliğidir .
Çeşitlilik, heterojen kaynakları ve hem yapılandırılmış hem de yapılandırılmamış verilerin doğasını ifade eder. Önceki günlerde, elektronik tablolar ve veritabanları, uygulamaların çoğu tarafından dikkate alınan tek veri kaynaklarıydı. Günümüzde e-posta, fotoğraf, video, izleme cihazları, PDF, ses vb. Şeklindeki veriler de analiz uygulamalarında dikkate alınmaktadır. Bu çeşitli yapılandırılmamış veriler, verilerin depolanması, madenciliği ve analizi için belirli sorunlar ortaya çıkarır.
(iii) Hız - terimi 'hızı' verilerin oluşturulmasına hızını ifade eder. Verilerin talepleri karşılamak için ne kadar hızlı üretildiği ve işlendiği, verilerdeki gerçek potansiyeli belirler.
Büyük Veri Hızı; iş süreçleri, uygulama günlükleri, ağlar ve sosyal medya siteleri, sensörler, Mobil cihazlar vb. Gibi kaynaklardan veri akışının hızıyla ilgilenir. Veri akışı çok büyük ve süreklidir.
(iv) Değişkenlik - Bu, zaman zaman veriler tarafından gösterilebilen tutarsızlığı ifade eder, böylece verileri etkili bir şekilde işleme ve yönetme sürecini engeller.
Büyük Veri İşlemenin Faydaları
Büyük Verileri işleme yeteneği, aşağıdakiler gibi birçok fayda sağlar:
- İşletmeler karar alırken dış istihbaratı kullanabilir
Arama motorlarından ve facebook, twitter gibi sitelerden sosyal verilere erişim, kuruluşların iş stratejilerini ince ayarlamalarına olanak sağlıyor.
- İyileştirilmiş müşteri hizmetleri
Geleneksel müşteri geri bildirim sistemlerinin yerini Büyük Veri teknolojileri ile tasarlanan yeni sistemler alıyor. Bu yeni sistemlerde, tüketici yanıtlarını okumak ve değerlendirmek için Büyük Veri ve doğal dil işleme teknolojileri kullanılmaktadır.
- Varsa ürün / hizmetler için riskin erken tespiti
- Daha iyi operasyonel verimlilik
Büyük Veri teknolojileri, hangi verilerin veri ambarına taşınması gerektiğini belirlemeden önce yeni veriler için bir hazırlık alanı veya iniş bölgesi oluşturmak için kullanılabilir. Ek olarak, Büyük Veri teknolojileri ve veri ambarının bu tür bir entegrasyonu, bir kuruluşun nadiren erişilen verileri boşaltmasına yardımcı olur.
Özet
- Büyük Veri tanımı: Büyük Veri, boyutu çok büyük olan veriler olarak tanımlanır. Bigdata, boyut olarak çok büyük olan ancak zamanla katlanarak büyüyen bir veri koleksiyonunu tanımlamak için kullanılan bir terimdir.
- Büyük Veri analitiği örnekleri borsaları, sosyal medya sitelerini, jet motorlarını vb. İçerir.
- Büyük Veri 1) Yapılandırılmış, 2) Yapılandırılmamış, 3) Yarı Yapılandırılmış olabilir
- Hacim, Çeşitlilik, Hız ve Değişkenlik birkaç Büyük Veri özelliğidir
- İyileştirilmiş müşteri hizmetleri, daha iyi operasyonel verimlilik, Daha İyi Karar Verme Bigdata'nın birkaç avantajıdır