Q:
Keadaan apa yang menyebabkan munculnya ekosistem data besar?
SEBUAH:Ada banyak faktor yang berkontribusi pada munculnya ekosistem data besar saat ini, tetapi ada konsensus umum bahwa data besar muncul karena serangkaian desain perangkat keras dan perangkat lunak yang hanya memungkinkan data besar ada.
| Webinar: Big Iron, Bertemu Big Data: Membebaskan Data Mainframe dengan Hadoop & Spark Daftar disini |
Definisi konvensional dari big data adalah sebagai berikut: Kumpulan data yang cukup besar dan kompleks sehingga mereka menentang manajemen iteratif yang mudah, atau manajemen dengan tangan. Kumpulan data besar sering diidentifikasi sebagai kumpulan data yang tidak dapat masuk ke dalam jaringan basis data yang sederhana, karena analisisnya memerlukan terlalu banyak pekerjaan pada bagian server yang menangani data.
Dengan pemikiran itu, bagian utama dari apa yang menciptakan data besar adalah gagasan yang kita kenal sebagai Hukum Moore, atau penggandaan transistor pada suatu sirkuit setiap dua tahun, menciptakan perangkat keras dan perangkat penyimpanan data yang semakin kecil (serta mikroprosesor yang lebih kuat) . Dalam hubungannya dengan Hukum Moore, dan mungkin karena itu, kemampuan komputasi sistem perangkat lunak yang dapat diakses terus meningkat, ke titik di mana bahkan komputer pribadi dapat menangani jumlah data yang jauh lebih besar, dan sistem bisnis dan garda depan mulai dapat menangani ukuran data tak terbayangkan hanya beberapa tahun sebelumnya. Sistem pribadi dipindahkan dari kilobyte ke megabita, dan kemudian ke gigabita, dalam proses yang transparan bagi konsumen. Sistem garda depan bergerak dari gigabyte ke terabyte dan petabytes, dan ke urutan besarnya seperti zetabytes, dengan cara yang jauh lebih transparan bagi warga rata-rata.
Kemajuan lain yang mengakomodasi data besar adalah perubahan cara penangan memproses set data. Daripada pemrosesan linear melalui desain basis data relasional konvensional, penangan mulai menggunakan alat-alat seperti Apache Hadoop dan perangkat manajemen perangkat keras terkait untuk menghilangkan hambatan dalam proses data.
Hasilnya adalah dunia data besar yang kita tinggali, di mana kumpulan data besar disimpan dan dipelihara di pusat data, dan semakin diakses oleh berbagai teknologi untuk berbagai penggunaan. Dari perdagangan hingga ekologi, dari perencanaan publik ke kedokteran, big data menjadi semakin mudah diakses. Sementara itu, lembaga pemerintah dan organisasi besar lainnya masih mendorong batas ukuran data besar dan menerapkan solusi yang lebih maju.
