Apa sebenarnya hadoop? teori sinis

Apa pun yang terlihat terlalu bagus untuk menjadi kenyataan biasanya adalah. Seperti itulah yang terjadi dengan Apache Hadoop, proyek open-source yang paling banyak ditonton oleh semua orang. Jadi, apa sebenarnya benda ini? Pertanyaan bagus!

Tenaga Ahli Diragukan

Analis Mark Madsen dari Third Nature menempelkannya di dinding beberapa saat lalu di sepotong tebal di InsideAnalysis.com: "Apa itu Hadoop. Apa yang bukan Hadoop." Sebagai seseorang yang tahu bagaimana merancang solusi dunia nyata, kemudian benar-benar menerapkannya, sarannya tidak boleh diabaikan.

Tapi ada arus yang lebih dalam mengalir di sini, dan waktunya sudah dekat untuk menggali akar dari flora yang menakjubkan ini, untuk melihat apakah kita tidak bisa mendapatkan perspektif tentang apa yang terjadi di lebih dari level makro. Lagipula, vendor terus mengatakan ini masalah besar, dan ada begitu banyak peserta.

Mempekerjakan Pengendara! (?)

Tiga perusahaan saat ini memiliki mayoritas pasar Hadoop yang baru lahir: Cloudera, Hortonworks, dan MapR. Pada briefing baru-baru ini yang cukup kontroversial melalui Boulder BI Brain Trust (#BBBT), Jim Walker dari Hortonworks berkomentar aneh:

"Kamu tidak bisa memajukan teknologi jika kamu tidak mempekerjakan committer!"

Datang lagi?

Bukankah ini terdengar seperti sesuatu yang mungkin dikatakan Senator Palpatine dalam film Star Wars?

Senator Palpatine: "Pekerjakan para pengendara!"

Minion terdekat: "Tapi, tapi, Tuan! Pikirkan anak-anak!"

Untuk orang awam di luar sana hanya mencoba untuk menyelesaikan sesuatu, komuter adalah orang-orang yang didedikasikan untuk proyek open-source tertentu. Yayasan Apache memiliki protokol yang ketat di mana proyek mereka bergerak maju, yang seringkali merupakan hal yang baik.

Yang mengatakan, komentar Walker menjamin pemeriksaan. Satu pertanyaan runcing (dengan risiko menyulap hari bermain) adalah: Apakah itu janji atau ancaman? Apakah dia mengatakan bahwa Hortonworks mungkin hanya mengambil bola mereka dan pulang?

Kerjasama atau Persaingan?

Yang menarik jika sudut pandang paradoksal di sini adalah bahwa kabarnya, sebagian besar pengendara di tim Hadoop (sekitar 30-an seluruhnya) berasal dari Hortonworks dan Cloudera - yang merupakan pesaing. Ini adalah kasus persaingan yang sangat aneh.

Jadi, apa masalahnya? Inilah tebakan yang terpelajar: Hadoop sebagian besar berutang ketenaran pada rencana yang cerdik yang disusun oleh sekelompok kapitalis dan insinyur ventura Lembah Silikon yang pada dasarnya mencoba melakukan lindung nilai taruhan mereka terhadap Oracle.

Gagasan umum adalah menyemai pasar dengan fondasi kode yang dapat ditingkatkan dan didukung oleh armada pengembang yang akan secara ideal, seiring waktu, menciptakan segala macam alat manajemen data, termasuk produk basis data. VC dapat berinvestasi dan menguangkan suatu hari. Namun ada beberapa tantangan serius dalam bermain.

Seperti semua perusahaan monolitik, Oracle sering menemukan dirinya dalam garis silang dari banyak pemain yang lebih kecil. Dan siapa yang tidak mau hanya sepotong penghasilan mereka yang mematikan pikiran? Pada kuartal terakhir saja, Oracle memesan ~ $ 9 miliar. Tapi menantang Big Red dan mengalahkan mereka adalah dua kenyataan yang sangat berbeda.

Webcast Gratis: Apa Hadoop dan Kemana Pergi? Bergabunglah dengan Eric Kavanagh, Robin Bloor dan Techopedia untuk diskusi tentang bagaimana Hadoop sangat berbeda dari Linux atau SOA, dan mengapa masa depannya sebagian besar tetap tidak tertulis.

Masalah kemasan

Hal tentang Hadoop, per se, adalah bahwa itu bukan solusi yang dikemas dengan cara apa pun. Sebaliknya, ini adalah kumpulan modul yang kompleks yang memungkinkan pemrogram berkualitas tinggi untuk memanfaatkan algoritma pemrosesan paralel besar-besaran untuk melakukan hal-hal yang sangat spesifik. Tapi tidak ada antarmuka pengguna yang mewah, dan manualnya brutal.

Tambahkan ke tantangan itu rintangan kritis ini: Anda juga membutuhkan pebisnis yang memiliki setidaknya pemahaman umum tentang apa yang dapat dilakukan. Orang-orang itu harus dapat memunculkan ide-ide tentang bagaimana itu dapat digunakan, kemudian berkomunikasi dengan para pengembang, yang kemudian harus memproduksi, menguji, mengimplementasikan dan mendukung aplikasi.

Menghias tarian ini adalah bagaimana Cloudera dan Hortonworks menghasilkan banyak uang dari mereka. Masalahnya adalah, sebagian besar solusi yang dibuat melalui metode ini unik, dan biasanya berfokus pada sistem operasional yang bertentangan dengan yang analitis. Terjemahan? Hal-hal seperti itu tidak benar-benar cocok untuk produk perangkat lunak paket.

Keuntungan Kemasan!

Yang membawa kita kembali ke Oracle. Larry Ellison dan anak-anak membuat jerami mereka menjual teknologi database, perangkat keras, layanan dan (tunggu …) paket perangkat lunak. Cloudera rupanya menemukan ini, maka fokus mereka pada Impala. Tetapi Hortonworks?

Model mereka tampak lebih mirip meniru RedHat, orang-orang yang membangun bisnis miliaran dolar di atas sistem operasi Linux. Nary, vendor utama dalam industri perangkat lunak perusahaan tidak menulis untuk Linux, OS yang digunakan IBM untuk mengabaikan Microsoft. Tapi Hadoop bukan Linux, tidak mungkin.

Geoffrey Malafsky, mantan nanoteknologi untuk Angkatan Laut AS, sekarang menjadi ilmuwan data dengan Phasic Systems dan Institut PSIKORS, menyaring proposisi nilai Hadoop seperti ini:

"Hadoop sangat bagus untuk pencarian, analisis tren yang sangat besar untuk hasil stokastik, dan kemungkinan beberapa proses paralel pintar yang sangat murah dari hal-hal seperti mantan istri saya lakukan: perhitungan fungsi gelombang mekanis kuantum keadaan padat dan reaksi kimia. Ilmu nyata ini bergantung pada pada superkomputer dan bergerak agak ke pemrosesan paralel, tetapi itu adalah perubahan yang sulit dari pendekatan pemrograman. Mahasiswa pascasarjana yang muda, pintar, dan energetik akan menjadi orang yang membuat ini terjadi. aplikasi."

Anda akan melihat bahwa itu tidak kedengaran seperti gudang data, intelijen bisnis, integrasi data, atau bahkan data besar. Kedengarannya seperti superkomputer. Dan untuk beberapa alasan menarik, dunia komputasi kinerja tinggi dan intelijen bisnis tidak pernah benar-benar bertabrakan atau bersatu dengan cara yang berarti.

Jalan Panjang ke Depan untuk Hortonworks dan Cloudera

Dan ini kabar buruk bagi Hortonworks dan mungkin Cloudera. Vendor besar seperti IBM, SAP, Oracle, dan Teradata - dengan kata lain, dan mengutip Dire Straits: "Mereka tidak bodoh!" Tiga dan lebih tahun yang lalu, semuanya meluncurkan strategi Hadoop yang serius.

Inti dari rencana ini adalah jenis hal yang diharapkan pengguna bisnis: antarmuka pengguna grafis, fungsionalitas drag-and-drop, alat pemodelan dan penemuan, alur kerja, tata kelola, keamanan; singkatnya, semua bagian yang membuat perangkat lunak perusahaan dapat digunakan. Dan tentu saja, vendor besar ini memiliki basis instalasi yang besar.

Yang pasti, Cloudera dan Hortonworks sama-sama memiliki bisnis yang bagus, tetapi hanya sebagian kecil dari apa yang didapat pemain-pemain besar itu setiap tahun. Hitung berapa banyak penantang menagih pelanggan mereka, dibandingkan dengan berapa besar kemungkinan biaya overhead mereka, dan gambarnya tidak begitu cerah. Memang, itu setara untuk kursus dengan masalah perangkat lunak tahap awal, tetapi masih …

Masa Depan Hadoop?

Jadi, dapatkah kita melihat gelombang akuisisi klasik, seperti yang kita alami di masa lalu, ketika IBM membeli Cognos, Oracle mendapat Hyperion dan SAP mendapatkan BusinessObjects? Mungkin, tetapi anak-anak baru di blok ini tidak memiliki Hadoop; mereka hanya meminjamnya. Dan sama menjanjikannya dengan YARN dan Tez, siklus rilis tampaknya tertinggal di belakang apa yang dihasilkan oleh pemukul berat.

Beberapa hari yang lalu, orang dalam industri berkomentar bahwa politik di Apache bisa menjadi hambatan serius. Ini tidak terlalu mengejutkan, terutama ketika Anda mempertimbangkan uang yang terlibat - ada motivasi besar bagi para inovator untuk menjadikannya kaya. Dan adakah yang memperhatikan bagaimana Chrome tampaknya telah melampaui fungsi dan operabilitas Firefox belakangan ini? Sumber tertutup, siapa saja?

Satu hal yang pasti: permainan ini akan dimainkan dengan beberapa cara menarik. Ya, mamalia (baca: penjaja kecil) sering kali bisa mengalahkan dinosaurus; tetapi masih ada buaya dan buaya di seluruh dunia; dan jika Anda menemukan satu yang tidak sadar, Anda mungkin akan mengetahui seberapa tajam gigi itu. Beberapa buaya bersama-sama bahkan bisa menjatuhkan satu atau dua gajah.