Evolusi data besar

Pada awal 2000-an, jelas bahwa ada kebutuhan besar untuk inovasi dalam hal data. Keterbatasan pada apa yang bisa dilakukan perusahaan dengan data mereka membuat para eksekutif frustrasi dan sangat mengurangi efisiensi. Banyak perusahaan menyimpan sejumlah besar informasi, tetapi tidak dapat mengelola, menganalisis, atau memanipulasinya untuk keuntungan mereka. Tekanan yang berkembang inilah yang memberi jalan bagi perbatasan data besar.

Pada tahun 2003, Google menciptakan MapReduce, sebuah aplikasi data yang memungkinkan perusahaan untuk memproses dan menganalisis informasi tentang permintaan pencarian di ribuan server dalam rentang waktu singkat. Baik scalable dan adaptable, program ini memungkinkan Google untuk melakukan ribuan tugas data hanya dalam hitungan menit, yang meningkatkan produktivitas dan mendefinisikan kembali batasan yang dirasakan tentang apa yang dapat dilakukan dengan data. Hampir 10 tahun kemudian, big data telah menjadi prinsip utama teknologi informasi. Cakupan dan kemampuannya yang luas telah mengubah manajemen data secara mendasar di tempat kerja. Tetapi apa yang mendorong evolusi ini dan bagaimana tepatnya big data akan memengaruhi masa depan? Kami pikir Anda tidak akan pernah bertanya. (Untuk beberapa bacaan latar belakang tentang data besar, lihat Data Besar: Bagaimana Data Diambil, Dikurung, dan Digunakan untuk Membuat Keputusan Bisnis.)

Mencari Jawaban untuk Pertanyaan Big Data

Keindahan MapReduce adalah caranya menyederhanakan tugas yang sangat kompleks. Komunikasi dapat dikelola di seluruh mesin, kegagalan sistem dapat diatasi dan input data dapat diatur secara otomatis, suatu proses yang dapat diawasi oleh individu yang tidak lagi membutuhkan keterampilan teknis yang tinggi. Dengan membuat pemrosesan data tidak hanya mungkin tetapi dapat didekati, Google mengilhami perubahan budaya dalam pengelolaan data. Tidak lama kemudian ribuan perusahaan besar menggunakan MapReduce untuk data mereka.

Tapi ada satu masalah: MapReduce hanyalah sebuah model pemrograman. Sementara itu memfasilitasi dasar-dasar pemrosesan data, itu sendiri bukan jawaban atas kekurangan data yang ada; itu hanya langkah yang sangat dibutuhkan ke arah yang benar. Perusahaan masih membutuhkan sistem yang dapat memenuhi kebutuhan data unik mereka dan melampaui esensi dasar manajemen data. Singkatnya, teknologi yang dibutuhkan untuk berkembang.

Masukkan Hadoop

Masukkan Hadoop, perangkat lunak kerangka kerja sumber terbuka yang dibuat oleh beberapa pemrogram, termasuk Doug Cutting. Di mana MapReduce adalah dasar dan luas, Hadoop memberikan kekhususan yang menyegarkan. Perusahaan dapat mendesain aplikasi buatan mereka sendiri yang memenuhi kebutuhan data dengan cara yang tidak dapat dilakukan oleh perangkat lunak lain, dan umumnya kompatibel dengan sistem file lainnya. Perusahaan dengan pemrogram berbakat dapat merancang sistem file yang akan mencapai tugas-tugas unik dengan data yang tampaknya tidak terjangkau sebelumnya. Mungkin bagian terbaik tentang itu adalah bahwa pengembang akan berbagi aplikasi dan program satu sama lain yang dapat dijelaskan dan disempurnakan.

Dengan mendemokratisasi sumber daya yang begitu penting, Hadoop menjadi tren. Lagi pula, banyak perusahaan besar, terutama perusahaan mesin pencari, merasa mereka telah membutuhkannya selama beberapa dekade! Tidak lama kemudian raksasa mesin pencari seperti Yahoo mengumumkan implementasi aplikasi Hadoop besar yang menghasilkan data yang digunakan dalam permintaan pencarian Web. Dalam apa yang tampak seperti gelombang, beberapa perusahaan terkemuka mengumumkan adopsi teknologi ini untuk database besar mereka, termasuk Facebook, Amazon, Fox, Apple, eBay dan FourSquare. Hadoop menetapkan standar baru untuk pemrosesan data.

Data Besar, Masalah Besar

Sementara kemajuan dalam teknologi data telah membentuk kembali cara perusahaan memperlakukan data, banyak eksekutif masih menemukan mereka tidak lengkap untuk berbagai tugas yang diperlukan. Pada Juli 2012, Oracle merilis survei terhadap lebih dari 300 eksekutif tingkat C, yang mengungkapkan bahwa walaupun 36 persen perusahaan mengandalkan TI untuk mengelola dan menganalisis data, 29 persen di antaranya merasa bahwa sistem mereka tidak memiliki kemampuan yang memadai untuk memenuhi perusahaan mereka. kebutuhan. Mungkin temuan paling mencolok dari penelitian ini adalah 93 persen responden percaya bahwa perusahaan mereka kehilangan hingga 14 persen dari pendapatannya karena tidak dapat menggunakan data yang dikumpulkan. Itu pendapatan yang bisa dihabiskan untuk membuat produk yang lebih baik dan mempekerjakan lebih banyak pekerja. Dalam masa di mana perusahaan berjuang untuk tetap menguntungkan, meningkatkan data sehingga perusahaan bisa menjadi lebih menguntungkan adalah suatu keharusan. Survei menunjukkan bahwa meskipun mereka yang percaya bahwa pengaruh big data pada perdagangan telah berlalu, peluang untuk pertumbuhan dan kemajuan yang dimilikinya masih belum sepenuhnya terwujud.

Apa yang Dimiliki Masa Depan untuk Data Besar

Berita baiknya adalah bahwa Hadoop dan MapReduce telah menginspirasi banyak alat manajemen data lainnya. Banyak perusahaan baru menciptakan platform data yang luas yang berjalan di Hadoop, tetapi menawarkan beragam fungsi analitik dan integrasi sistem yang lebih mudah. Tampaknya perusahaan telah menginvestasikan banyak sumber daya untuk mengatasi masalah data dan keberhasilan keuangan perusahaan data telah membuktikan hal ini. Pada 2010, perusahaan data menghasilkan sekitar $ 3, 2 miliar dalam penjualan ritel. Banyak ahli memperkirakan bahwa jumlah ini akan tumbuh hingga $ 17 miliar pada tahun 2015 saja. Ini adalah fakta yang belum hilang di beberapa perusahaan teknologi terbesar. IBM dan Oracle telah menghabiskan milyaran selama beberapa bulan terakhir untuk mengakuisisi perusahaan data. Banyak perusahaan lain akan melakukan langkah serupa di tahun-tahun mendatang karena mereka terus bersaing untuk mendapatkan pangsa pasar yang kompetitif.

Perbatasan Data Besar

Jumlah data yang dikumpulkan terus bertambah secara eksponensial, yang membuat sebagian orang khawatir dan lainnya bersemangat. Kelebihannya adalah bahwa manusia akan terus menjadi lebih produktif dan adaptif ketika kita mempelajari hal-hal baru tentang dunia kita melalui analisis data. Kelemahannya adalah bahwa ada sejumlah besar data sehingga banyak orang takut bahwa kita tidak mampu menyimpan semuanya dengan benar, apalagi mengelolanya dengan baik sehingga dapat digunakan oleh semua orang yang membutuhkannya.

Yang mengatakan, kemajuan dalam data besar dapat memberikan peluang yang belum pernah terjadi sebelumnya untuk solusi untuk masalah mendesak terkait data. Sebagai contoh, para ahli telah menyarankan bahwa jika big data dilaksanakan dengan benar dengan penekanan pada efisiensi dan kualitas, itu akan berpotensi untuk menghemat sekitar $ 300 miliar per tahun dalam pengeluaran perawatan kesehatan saja; pengecer akan dapat meningkatkan margin operasi mereka, sektor publik dapat memberikan layanan yang lebih baik dan perusahaan besar akan menghemat miliaran. Jadi, sepertinya menyelesaikan masalah data kami tidak hanya dibutuhkan di ruang rapat perusahaan, tetapi di mana-mana. Yang mengatakan hal-hal baik tentang masa depan big data - dan mungkin kita juga.