Oleh Staf Techopedia, 24 Februari 2016
Takeaway: Host Rebecca Jozwiak membahas analitik streaming dengan pakar industri terkemuka.
Anda saat ini belum masuk. Silakan masuk atau daftar untuk melihat video.
Rebecca Jozwiak: Hadirin sekalian, halo dan selamat datang di Hot Technologies 2016! Judul hari ini adalah "Memanfaatkan Firehose: Mendapatkan Nilai Bisnis dari Streaming Analytics." Ini adalah Rebecca Jozwiak. Saya yang kedua di perintah untuk host webcast setiap kali Eric Kavanagh kita tidak bisa di sini, jadi senang melihat begitu banyak dari Anda di luar sana hari ini.
Episode ini sedikit berbeda dari episode kami yang lain. Kami berbicara tentang apa yang panas dan tentu saja tahun ini panas. Beberapa tahun terakhir sangat panas. Selalu ada hal baru yang keluar. Hari ini, kita berbicara tentang analitik streaming. Analitik streaming adalah jenis yang baru sendiri. Tentu saja streaming, data pusat, data RFID, itu belum tentu baru. Tetapi dalam konteks arsitektur data, kami telah begitu fokus pada data saat istirahat selama beberapa dekade. Basis data, sistem file, repositori data - semua untuk tujuan sebagian besar pemrosesan batch. Tetapi sekarang dengan pergeseran untuk menciptakan nilai dari data streaming, emosi data, beberapa menyebutnya aliran hidup, mereka benar-benar memerlukan arsitektur berbasis aliran, bukan data pada arsitektur lainnya yang telah kita gunakan sebelumnya dan harus mampu menangani proses menelan yang cepat, waktu nyata atau dekat waktu nyata. Itu harus mampu melayani tidak hanya untuk Internet of Things tetapi Internet of Everything.
Tentu saja, idealnya, akan menyenangkan untuk memiliki dua arsitektur hidup berdampingan, satu tangan mencuci yang lain, sehingga untuk berbicara. Sementara data hari-tua, data lama-minggu, data lama-tahun masih tentu saja memiliki nilai, analisis historis, analisis tren, itu adalah data langsung yang mendorong kecerdasan langsung hari ini dan itulah mengapa analitik streaming menjadi sangat penting.
Saya berbicara lebih banyak tentang itu hari ini. Kami memiliki ilmuwan data kami, Dez Blanchfield, yang menelepon dari Australia. Ini masih pagi untuknya sekarang. Kami memiliki kepala analis kami, Dr. Robin Bloor. Kami bergabung dengan Anand Venugopal, kepala produk untuk StreamAnalytix di Impetus Technologies. Mereka benar-benar fokus pada aspek analitik streaming pada ruang ini.
Dengan itu, aku akan pergi ke depan dan memberikannya kepada Dez.
Dez Blanchfield: Terima kasih. Saya perlu menguasai layar di sini dan muncul ke depan.
Rebecca Jozwiak: Ini dia.
Dez Blanchfield: Sementara kita mengambil slide, biarkan saya membahas topik inti.
Saya akan menjaganya tetap tinggi dan saya akan menyimpannya kira-kira 10 menit. Ini adalah topik yang sangat besar. Saya berpartisipasi dalam sebuah acara di mana kami menghabiskan dua hingga tiga hari untuk merinci apa itu stream processing dan kerangka kerja saat ini yang kami kembangkan dan apa arti analitik dalam aliran volume tinggi itu.
Kami hanya akan mengklarifikasi apa yang kami maksud dengan analitik streaming dan kemudian menyelidiki apakah nilai bisnis dapat diturunkan karena itulah yang sebenarnya dicari oleh bisnis. Mereka ingin orang menjelaskan kepada mereka dengan sangat cepat dan ringkas, di mana saya dapat memperoleh nilai dengan menerapkan beberapa bentuk analitik ke data aliran kami?
Apa itu analitik streaming?
Streaming analytics memberi organisasi cara untuk mengekstraksi nilai dari data volume tinggi dan kecepatan tinggi yang mereka peroleh melalui bisnis dalam berbagai bentuk. Perbedaan signifikan di sini adalah bahwa kami memiliki sejarah panjang dalam mengembangkan analitik dan lensa dan pandangan data yang telah kami proses selama beberapa dekade sejak mainframe ditemukan. Pergeseran paradigma besar-besaran yang telah kita lihat dalam tiga hingga lima tahun terakhir pada apa yang kita sebut "skala web" memanfaatkan aliran data yang masuk ke kita secara real time atau mendekati real time dan tidak hanya memproses dan mencari korelasi peristiwa atau pemicu peristiwa tetapi melakukan analitik mendalam yang sangat detail pada aliran tersebut. Ini adalah perubahan signifikan terhadap apa yang telah kami lakukan sebelumnya yang mengumpulkan data, menempatkannya ke dalam semacam repositori, basis data besar secara tradisional sekarang, kerangka kerja data besar besar seperti platform Hadoop dan melakukan pemrosesan mode batch pada hal itu dan mendapatkan semacam wawasan.
Kami sangat pandai melakukan hal itu dengan sangat cepat dan mencoba banyak hal berat, tetapi kami masih benar-benar menangkap data, menyimpan dan kemudian melihatnya dan mendapatkan semacam wawasan atau analisis di dalamnya. Pergeseran untuk melakukan analisis tersebut saat data mengalir masuk telah menjadi area pertumbuhan yang sangat baru dan menarik untuk jenis hal yang terjadi di sekitar data besar. Dibutuhkan pendekatan yang sama sekali berbeda untuk sekadar menangkap, menyimpan, dan memproses serta menjalankan analisis.
Salah satu pendorong utama untuk pergeseran dan fokus untuk melakukan analitik dalam arus adalah bahwa Anda dapat memperoleh nilai bisnis yang signifikan dari mendapatkan wawasan tersebut lebih cepat dan lebih mudah ketika data datang kepada Anda, karena informasi disediakan untuk bisnis. Gagasan melakukan pemrosesan akhir hari sekarang tidak lagi relevan di industri tertentu. Kami ingin dapat melakukan analisis dengan cepat. Pada akhir hari, kita sudah tahu apa yang telah terjadi sebagaimana yang terjadi daripada sampai pada akhir hari dan melakukan pekerjaan batch 24 jam dan mendapatkan wawasan tersebut.
Analitik streaming adalah tentang mengetuk ke kanan ke aliran itu sementara aliran data biasanya adalah beberapa aliran dengan volume data dan data sangat tinggi yang datang pada kita dengan sangat, sangat cepat dan mendapatkan wawasan atau analitik pada aliran tersebut saat mereka datang kepada kita sebagai lawan untuk memungkinkan yang keluar saat istirahat dan melakukan analisis pada mereka.
Seperti yang saya sebutkan, kami telah berpuluh-puluh tahun melakukan apa yang saya sebut analisis batch. Saya telah memasang gambar yang sangat keren di sini. Ini adalah gambar seorang pria yang berdiri di depan komputer yang dibuat-buat yang dibuat oleh RAND Corporation seumur hidup yang lalu dan inilah yang mereka lihat seperti komputer di rumah. Yang menarik adalah bahwa pada saat itu, mereka memiliki konsep semua dial kecil ini dan dial ini merepresentasikan informasi yang datang dari rumah dan diproses secara real time dan memberi tahu Anda apa yang terjadi. Contoh sederhana adalah serangkaian tekanan dan suhu barometrik yang dapat kita lihat di mana kita melihat apa yang terjadi secara real time. Tetapi saya membayangkan bahwa bahkan saat itu ketika RAND Corporation menyatukan mockup kecil itu, mereka sebenarnya sudah berpikir tentang memproses data dan melakukan analisis pada data tersebut karena datang dalam format stream. Saya tidak yakin mengapa mereka meletakkan setir di komputer, tapi itu keren.
Sejak penemuan printer, kami memiliki pandangan untuk mengambil data dan melakukan analisis batch di atasnya. Seperti yang telah saya katakan dengan perubahan besar sekarang dan kami telah melihat ini dari suka dari pemain skala web yang kita semua tahu, mereka semua adalah merek rumah tangga seperti Twitter, Facebook dan LinkedIn, perilaku interaktif yang kita miliki dengan sosial platform membutuhkan tidak hanya menangkap, menyimpan, dan kemudian memproses dalam mode batch tetapi mereka sebenarnya menangkap dan mendorong analitik dengan cepat dari aliran data yang masuk. Ketika saya menge-Tweet sesuatu, mereka tidak hanya perlu menangkap dan menyimpan dan melakukan sesuatu nanti, tetapi mereka juga harus dapat segera memasangnya kembali di arus saya dan membagikannya dengan orang lain yang mengikuti saya. Itu adalah model pemrosesan batch.
Kenapa kita harus melalui rute ini? Mengapa organisasi menginvestasikan waktu, usaha, dan uang bahkan dalam mempertimbangkan tantangan untuk berusaha keras di jalur analitik arus? Organisasi memiliki keinginan besar untuk mendapatkan keuntungan kinerja dari pesaing mereka di industri di mana mereka berada dan bahwa kenaikan kinerja dapat dengan cepat diimplementasikan melalui analitik arus sederhana dan itu dapat dimulai dari pelacakan data waktu nyata sederhana yang sudah kita miliki. terbiasa dengan. Saya mendapat tangkapan layar kecil di sana dari Google Analytics. Ini mungkin salah satu pertama kalinya kami benar-benar mendapatkan analitik tingkat konsumen. Jadi ketika orang-orang mengunjungi situs web Anda dan Anda mendapatkan jumlah hit tersebut, dengan sepotong kecil JavaScript di bagian bawah halaman web Anda dalam HTML yang disematkan di situs web Anda, kode-kode kecil ini dibuat secara real time kembali ke Google dan mereka melakukan analisis pada aliran data yang masuk dari setiap halaman di situs web Anda, setiap objek di situs web Anda secara real time dan mereka mengirimkannya kembali kepada Anda di halaman web kecil yang sangat lucu ini di dasbor grafik waktu nyata, histogram kecil yang lucu dan grafik garis menunjukkan jumlah X orang yang memukul halaman Anda secara historis, tetapi di sini ada berapa banyak.
Seperti yang Anda lihat pada screenshot itu, tertulis 25 sekarang. Itu 25 orang sekarang pada saat screenshot itu ada di halaman itu. Itulah peluang nyata pertama kami bermain di alat analisis tingkat konsumen. Saya pikir banyak orang benar-benar mengerti. Mereka hanya memahami kekuatan mengetahui apa yang sedang terjadi dan bagaimana mereka bisa meresponsnya. Ketika kita memikirkan skala avionik, pesawat terbang di sekitar, ada seperti 18.700 penerbangan domestik sehari di AS saja. Saya membaca makalah beberapa waktu lalu - sekitar enam atau tujuh tahun yang lalu - bahwa jumlah data yang diproduksi oleh pesawat itu sekitar 200 hingga 300 megabyte dalam model teknik lama. Dalam desain pesawat saat ini, pesawat ini memproduksi sekitar 500 gigabyte data atau sekitar setengah terabyte data per penerbangan.
Ketika Anda melakukan perhitungan dengan sangat cepat di atas kepala Anda, bahwa 18.700 penerbangan domestik setiap 24 jam di wilayah udara AS saja, jika semua pesawat modern menghasilkan sekitar setengah terabyte, itu berarti 43 hingga 44 petabyte data yang masuk dan itu terjadi ketika pesawat berada di udara. Itu terjadi ketika mereka mendarat dan mereka melakukan dump data. Saat itulah mereka pergi ke toko dan memiliki data dump penuh dari tim teknik untuk melihat apa yang terjadi di bantalan, roda, dan di dalam mesin. Sebagian dari data tersebut harus diproses secara waktu nyata sehingga mereka dapat mengambil keputusan apakah ada masalah nyata saat pesawat berada di udara atau saat sedang di darat. Anda tidak dapat melakukannya dalam mode batch. Dalam industri lain yang kita lihat di sana seputar keuangan, kesehatan, manufaktur, dan teknik, mereka juga melihat bagaimana mereka bisa mendapatkan wawasan baru ini tentang apa yang terjadi secara real time sebagai lawan dari apa yang baru saja disimpan dalam database pada suatu istilah.
Ada juga konsep berurusan dengan data sebagai apa yang saya sebut barang yang mudah rusak atau komoditas yang mudah rusak - bahwa banyak data kehilangan nilai seiring waktu. Ini semakin banyak terjadi dengan aplikasi mobilitas dan alat media sosial karena apa yang orang katakan dan apa yang sedang tren sekarang adalah apa yang ingin Anda tanggapi. Ketika Anda berpikir tentang bagian lain dari kehidupan kita dengan logistik dan pengiriman makanan di sekitar, kami memahami konsep komoditas yang mudah rusak dalam pengertian itu. Tetapi pikirkan tentang data yang melalui organisasi Anda dan nilai yang dimilikinya. Jika seseorang melakukan bisnis dengan Anda sekarang dan Anda dapat berinteraksi dengan mereka secara langsung, Anda tidak ingin menunggu satu jam sehingga data dapat ditangkap dan dimasukkan ke dalam sistem seperti Hadoop dan kemudian tekan tombol ini, Anda tidak akan dapat menghadapinya sekarang dan Anda ingin segera melakukannya atas permintaan klien. Ada istilah yang akan Anda lihat banyak muncul sekarang di mana orang berbicara tentang memiliki aliran data real-time yang dapat memberi Anda personalisasi, dan personalisasi itu menyempurnakan sistem yang Anda gunakan untuk pengalaman pribadi Anda. Jadi ketika Anda menekan alat seperti alat Google Search misalnya, jika saya melakukan kueri dan Anda melakukan kueri yang sama, selalu, kami tidak mendapatkan data yang sama persis. Kami pada dasarnya mendapatkan apa yang saya sebut sebagai pengalaman selebriti. Saya diperlakukan dengan sekali saja. Saya mendapatkan versi pribadi saya sendiri tentang apa yang terjadi dalam sistem ini berdasarkan pada profil dan data yang telah mereka kumpulkan pada saya dan saya dapat melakukan analisis secara real time di arus.
Gagasan bahwa data menjadi komoditas yang mudah rusak adalah hal yang nyata untuk saat ini dan nilai data yang berkurang seiring waktu adalah sesuatu yang harus kita tangani hari ini. Itu bukan hal yang kemarin. Saya suka gambar beruang yang mengambil salmon yang melompat keluar dari sungai karena ini benar-benar menggambarkan apa yang saya lihat analisis streaming. Ini sungai besar data yang datang pada kami, firehose jika Anda mau, dan beruang duduk di tengah-tengah sungai. Ini akan melakukan analisis real-time tentang apa yang terjadi di sekitarnya sehingga benar-benar dapat merekayasa kemampuannya menangkap ikan itu di udara. Ini tidak seperti hanya berenang di sungai dan mengambilnya. Benda ini melompat di udara dan harus berada di tempat yang tepat pada waktu yang tepat untuk menangkap ikan itu. Kalau tidak, dia tidak sarapan atau makan siang.
Suatu organisasi ingin melakukan hal yang sama dengan data mereka. Mereka ingin mengekstraksi nilai dari apa yang sekarang menjadi volume besar data yang bergerak. Mereka ingin melakukan analisis pada data itu dan data kecepatan tinggi sehingga bukan hanya jumlah data yang datang pada kami tetapi kecepatan di mana itu berasal dari ini. Sebagai contoh, dalam keamanan, semua router, sakelar, server, firewall, dan semua peristiwa Anda berasal dari itu dan puluhan ribu jika bukan ratusan ribu perangkat, dalam beberapa kasus adalah data yang mudah rusak. Ketika kita memikirkannya di Internet of Things dan Internet industri, kita berbicara tentang jutaan jika tidak milyaran sensor pada akhirnya, dan ketika data datang melalui yang melakukan analisis, kita sekarang sedang melihat melakukan pemrosesan peristiwa kompleks atas perintah besarnya dan kecepatan yang bahkan belum pernah kita lihat sebelumnya dan kita harus berurusan dengan ini hari ini. Kami harus membuat alat dan sistem untuk itu. Ini adalah tantangan nyata bagi organisasi karena di satu sisi, kami memiliki merek yang sangat besar yang melakukan DIY, membuat sendiri, ketika mereka memiliki kapasitas untuk melakukan itu dan keterampilan dan teknik. Tetapi untuk organisasi pada umumnya, bukan itu masalahnya. Mereka tidak memiliki keahlian. Mereka tidak memiliki kapasitas atau waktu atau bahkan uang untuk berinvestasi dalam mencari tahu. Mereka semua bertujuan menuju konsep pengambilan keputusan hampir-waktu-nyata ini.
Gunakan kasus yang saya temui, dan mereka ada di setiap spektrum luas dari setiap sektor yang dapat Anda bayangkan, orang-orang duduk dan memperhatikan dan berkata, bagaimana kita menerapkan beberapa analitik pada data aliran kami? Kami berbicara tentang layanan online skala web. Ada platform media sosial tradisional dan e-tailing dan ritel online - aplikasi misalnya. Mereka semua berusaha memberi kita pengalaman selebriti real-time ini. Tetapi ketika kita membahas lebih banyak tentang layanan tumpukan teknologi, layanan telepon, suara dan video, saya melihat orang-orang berjalan-jalan melakukan FaceTime di telepon. Itu hanya meledak. Itu mengejutkan pikiran saya bahwa orang-orang memegang telepon di depan mereka dan berbicara dengan aliran video seorang teman sebagai lawan memegangnya di telinga mereka lagi. Tetapi mereka tahu mereka bisa melakukannya dan mereka beradaptasi dan mereka menyukai pengalaman itu. Pengembangan aplikasi ini dan platform yang memberikan ini harus melakukan analisis waktu nyata pada lalu lintas itu dan pada profil lalu lintas sehingga mereka dapat melakukan hal-hal sederhana seperti merutekan video itu dengan sempurna sehingga kualitas suara di video yang Anda dapatkan cukup untuk mendapatkan pengalaman yang baik. Anda tidak dapat mengelompokkan data semacam itu. Itu tidak akan membuat streaming video real-time menjadi layanan fungsional.
Ada tantangan tata kelola dalam transaksi keuangan. Tidak boleh sampai di penghujung hari dan mengetahui Anda melanggar hukum yang memindahkan data pribadi di sekitar tempat itu. Di Australia, kami memiliki tantangan yang sangat menarik di mana memindahkan data terkait privasi di luar negeri adalah tidak boleh. Anda tidak dapat mengambil PID saya, data identifikasi pribadi pribadi saya, di luar negeri. Ada hukum di Australia untuk menghentikan hal itu terjadi. Penyedia layanan keuangan khususnya, layanan dan agen pemerintah, mereka harus melakukan analisis real-time pada aliran data dan instruksi mereka dengan saya untuk memastikan bahwa apa yang mereka berikan kepada saya tidak meninggalkan pantai. Semua barang harus tetap di tempat. Mereka harus melakukannya secara real time. Mereka tidak bisa melanggar hukum dan meminta pengampunan nanti. Deteksi penipuan - ini cukup jelas yang kita dengar dengan transaksi kartu kredit. Tetapi karena jenis transaksi yang kami lakukan dalam layanan keuangan berubah sangat, sangat cepat, ada beberapa hal yang dilakukan PayPal pertama kali sekarang dalam mendeteksi penipuan secara real time di mana uang tidak bergerak dari satu hal ke hal lain tetapi transaksi keuangan antar sistem. Platform penawaran Ebay, mendeteksi penipuan harus dilakukan secara real-time di kantor streaming.
Ada tren yang bergerak sekarang untuk melakukan ekstraksi dan mengubah aktivitas beban di aliran sehingga kami tidak ingin menangkap apa pun yang mengalir ke aliran. Kita tidak bisa melakukan itu. Orang-orang telah belajar bahwa data suka dihancurkan dengan sangat cepat jika kita menangkap semuanya. Triknya sekarang adalah untuk melakukan analisis pada aliran tersebut dan melakukan ETL di atasnya dan hanya menangkap apa yang Anda butuhkan, berpotensi metadata, dan kemudian mendorong analitik prediktif di mana kita dapat benar-benar kemudian memberi tahu apa yang akan terjadi sedikit lebih jauh di jalur pada apa yang kita Saya baru saja melihat di aliran berdasarkan analisis yang kami lakukan pada itu.
Penyedia energi dan utilitas mengalami keinginan besar dari konsumen untuk memiliki harga permintaan. Saya mungkin memutuskan bahwa saya ingin membeli tenaga hijau pada satu waktu tertentu dalam sehari karena saya hanya di rumah saja dan saya tidak menggunakan banyak perangkat. Tetapi jika saya mengadakan pesta makan malam, saya mungkin ingin memiliki semua perangkat saya dan saya tidak ingin membeli daya murah dan menunggu untuk disampaikan tetapi bersedia membayar lebih banyak biaya untuk mendapatkan kekuatan itu. Harga permintaan ini khususnya dalam ruang utilitas dan energi telah terjadi. Uber misalnya adalah contoh klasik dari hal-hal yang dapat Anda lakukan setiap hari dan semuanya didorong oleh harga permintaan. Ada beberapa contoh klasik orang-orang di Australia yang mendapatkan tarif $ 10.000 karena banyaknya permintaan di Malam Tahun Baru. Saya yakin mereka sudah berurusan dengan masalah itu tetapi analitik aliran dilakukan secara real time saat di dalam mobil memberi tahu Anda berapa yang harus saya bayar.
Internet of Things dan sensor stream - kami baru saja menggores permukaan pada ini dan kami benar-benar hanya memiliki percakapan dasar yang terjadi pada ini, tetapi kita akan melihat perubahan yang menarik dalam bagaimana teknologi berurusan dengan itu karena ketika Anda berbicara tidak hanya sekitar ribuan atau puluhan ribu tetapi ratusan ribu dan berpotensi miliaran perangkat mengalir ke Anda, hampir tidak ada tumpukan teknologi yang kami miliki sekarang direkayasa untuk mengatasinya.
Ada beberapa topik yang benar-benar panas yang akan kita lihat di sekitar tempat seperti keamanan dan risiko dunia maya. Mereka adalah tantangan yang sangat nyata bagi kami. Ada alat yang sangat apik bernama Utara di web tempat Anda dapat duduk dan menonton di laman web berbagai serangan siber terjadi secara real time. Ketika Anda melihatnya, Anda berpikir "oh itu adalah halaman web kecil yang lucu, " tetapi setelah sekitar lima menit di sana, Anda menyadari volume data yang sistem lakukan analisis pada semua aliran berbeda dari semua perangkat berbeda di seluruh dunia yang dimasukkan ke dalamnya. Itu mulai membingungkan pikiran tentang bagaimana mereka melakukan itu di tepi catatan itu pada dasarnya dan memberi Anda layar kecil sederhana yang memberitahu Anda apa yang harus atau sesuatu yang lain menyerangnya secara real time dan jenis serangan apa. Tetapi ini adalah cara kecil yang benar-benar rapi untuk hanya merasakan apa yang berpotensi dilakukan analitik aliran untuk Anda secara real time dengan hanya menonton halaman ini dan memahami volume dan tantangan mengambil aliran, memproses kueri analitik pada mereka dan mewakili itu secara real time.
Saya pikir percakapan yang saya miliki selama sisa sesi akan membahas semua jenis hal dengan satu pandangan yang menarik, dari sudut pandang saya, dan itu adalah tantangan dari DIY, panggang sendiri, cocok dengan beberapa unicorn klasik yang mampu membangun hal-hal semacam itu. Mereka mendapat miliaran dolar untuk membangun tim teknik ini dan membangun pusat data mereka. Tetapi bagi 99, 9% organisasi di luar sana yang ingin mendorong nilai dalam bisnis analitik arus, mereka perlu mendapatkan layanan yang tidak tersedia. Mereka perlu membeli produk di luar kotak dan mereka umumnya membutuhkan layanan konsultasi dan layanan profesional untuk membantu mereka menerapkannya dan mereka mendapatkan nilai itu kembali dalam bisnis dan menjualnya kembali ke bisnis sebagai solusi kerja.
Dengan itu, aku akan mengembalikan padamu, Rebecca, karena aku yakin itulah yang akan kita bahas secara rinci sekarang.
Rebecca Jozwiak: Luar biasa. Terima kasih banyak, Dez. Itu presentasi yang bagus.
Sekarang, saya akan mengoper bola ke Robin. Bawa pergi.
Robin Bloor: Oke. Karena Dez telah memasuki seluk-beluk pemrosesan aliran, sepertinya tidak masuk akal bagi saya untuk menutupnya lagi. Jadi saya hanya akan mengambil pandangan yang sangat strategis. Melihat hampir dari tingkat yang sangat tinggi ke bawah tentang apa yang sedang terjadi dan memposisikannya karena saya pikir itu mungkin membantu orang, terutama kita orang yang tidak berkecimpung dalam pemrosesan aliran pada kedalaman sebelumnya.
Pemrosesan stream telah ada sejak lama. Kami dulu menyebutnya CEP. Ada sistem waktu nyata sebelum itu. Sistem kontrol proses yang asli sebenarnya memproses aliran informasi - tentu saja tidak ada yang berjalan sejauh ini. Grafik ini yang Anda lihat pada slide di sini; itu menunjukkan banyak hal sebenarnya, tetapi menunjukkan di atas dan di luar hal lain - fakta bahwa ada spektrum latensi yang muncul dalam warna berbeda di sini. Apa yang sebenarnya terjadi sejak ditemukannya komputasi atau komputasi komersial yang tiba sekitar tahun 1960 adalah bahwa semuanya baru saja menjadi semakin cepat. Kami dulu bisa bergantung pada cara ini benar-benar keluar jika Anda suka dalam gelombang, karena seperti itulah tampilannya. Ini sebenarnya tergantung padanya. Karena semuanya didorong oleh hukum Moore dan hukum Moore akan memberi kita faktor kecepatan sekitar sepuluh kali lipat selama periode sekitar enam tahun. Kemudian begitu kita benar-benar mencapai 2013, semuanya pecah, dan kita tiba-tiba mulai berakselerasi pada tingkat yang belum pernah kita miliki, yang anehnya belum pernah terjadi sebelumnya. Kami mendapatkan faktor sekitar sepuluh dalam hal peningkatan kecepatan dan karenanya pengurangan latensi setiap enam tahun. Dalam enam tahun sejak sekitar 2010, kami memiliki kelipatan setidaknya seribu. Tiga urutan besarnya bukan satu.
Itulah yang telah terjadi dan itulah mengapa industri dalam satu atau lain cara tampaknya bergerak dengan kecepatan yang fantastis - karena memang demikian. Hanya melalui makna grafik khusus ini, waktu respon sebenarnya dengan cara berada dalam skala algoritmik di sumbu vertikal. Real time adalah kecepatan komputer, lebih cepat dari manusia. Waktu interaktif berwarna oranye. Itu ketika Anda berinteraksi dengan komputer di mana Anda benar-benar ingin sepersepuluh hingga sekitar satu detik latensi. Di atas, ada transaksional di mana kita benar-benar berpikir tentang apa yang Anda lakukan di komputer tetapi jika itu keluar dalam waktu sekitar lima belas detik itu menjadi tidak dapat ditoleransi. Orang sebenarnya tidak akan menunggu komputer. Semuanya dilakukan secara batch. Banyak hal yang dilakukan dalam batch sekarang turun langsung ke ruang transaksional, langsung ke ruang interaktif atau bahkan ke ruang waktu nyata. Padahal sebelumnya, bergelombang dengan jumlah data yang sangat kecil yang dapat kita lakukan beberapa di antaranya, sekarang kita dapat melakukannya dengan jumlah data yang sangat besar menggunakan lingkungan berskala sangat besar.
Jadi pada dasarnya, semua ini mengatakan benar-benar transaksi dan waktu respon manusia interaktif. Banyak hal buruk yang dilakukan dengan aliran saat ini adalah untuk memberi tahu manusia tentang berbagai hal. Beberapa di antaranya berjalan lebih cepat dari itu dan menginformasikan hal-hal dengan baik sehingga ini real time. Lalu kami mengambil lisensi untuk menjatuhkan seperti batu, membuat analitik instan layak dan secara kebetulan cukup terjangkau. Bukan hanya kecepatan turun dan bagian atas juga runtuh. Mungkin dampak terbesar dalam semua ini di antara berbagai aplikasi, Anda dapat melakukan semua analisis prediktif ini. Saya akan memberi tahu Anda mengapa dalam satu menit.
Ini hanya toko perangkat keras. Anda mendapat perangkat lunak paralel. Kita bicarakan pada tahun 2004. Arsitektur skala-out, chip multicore, peningkatan memori, CPU yang dapat dikonfigurasi. SSD sekarang berjalan jauh lebih cepat daripada disk pemintalan. Anda bisa mengucapkan selamat tinggal pada gelombang pemintalan yang cukup banyak. SSD berada di banyak inti juga, jadi sekali lagi lebih cepat dan lebih cepat. Segera muncul, kami mendapat memristor dari HP. Kami mendapat XPoint 3D dari Intel dan Micron. Janji mereka adalah bahwa itu akan membuat semuanya berjalan lebih cepat dan lebih cepat lagi. Ketika Anda benar-benar memikirkan dua teknologi memori baru, yang keduanya akan membuat keseluruhan bagian kecil yang mendasar, papan sirkuit individual berjalan lebih cepat, kami bahkan belum melihat akhirnya.
Teknologi stream, yang merupakan pesan berikutnya yang sebenarnya, akan hadir. Harus ada arsitektur baru. Maksud saya Dez telah menyebutkan beberapa hal ini dalam presentasinya. Selama beberapa dekade kami melihat arsitektur sebagai kombinasi dari tumpukan data dan pipa data. Kami cenderung memproses tumpukan dan kami cenderung menyalurkan data di antara tumpukan. Kami sekarang bergerak secara fundamental menuju apa yang kami sebut arsitektur data Lambda yang menggabungkan pemrosesan aliran data dengan tumpukan data. Ketika Anda benar-benar memproses aliran peristiwa yang bertentangan dengan data historis sebagai aliran data atau tumpukan data, itulah yang saya maksud dengan arsitektur Lambda. Ini masih bayi. Itu hanya sebagian dari gambar. Jika Anda menganggap sesuatu yang rumit seperti Internet Segala Sesuatu yang juga disebutkan Dez, Anda akan benar-benar menyadari bahwa ada segala macam masalah lokasi data - keputusan mengenai apa yang harus Anda proses dalam arus.
Hal yang saya benar-benar katakan di sini adalah ketika kami memproses dalam batch, kami sebenarnya memproses stream. Kami hanya tidak bisa melakukannya satu per satu. Kami hanya menunggu sampai ada banyak barang dan kemudian kami memproses semuanya sekaligus. Kami pindah ke situasi di mana kami benar-benar dapat memproses barang-barang di arus. Jika kita dapat memproses hal-hal dalam aliran, maka tumpukan data yang kita pegang akan menjadi data statis yang kita perlu referensi untuk memproses data dalam aliran.
Ini membawa kita ke hal khusus ini. Saya telah menyebutkan ini sebelumnya dalam beberapa presentasi dengan analogi biologis. Cara yang saya ingin Anda pikirkan adalah pada saat kita adalah manusia. Kami memiliki tiga jaringan berbeda untuk pemrosesan prediksi waktu-nyata. Mereka disebut somatik, otonom, dan enterik. Enterik adalah perut Anda. Sistem saraf otonom menjaga perkelahian dan penerbangan. Ini sebenarnya terlihat setelah reaksi cepat terhadap lingkungan. Somatik yang menjaga gerak tubuh. Itu adalah sistem waktu nyata. Hal yang menarik tentang hal itu - atau saya pikir agak menarik - adalah banyak hal yang lebih prediktif daripada yang pernah Anda bayangkan. Seolah-olah Anda benar-benar melihat layar sekitar 18 inci dari wajah Anda. Semua yang dapat Anda lihat dengan jelas, semua yang tubuh Anda mampu melihat dengan jelas sebenarnya adalah tentang persegi panjang 8 × 10. Segala sesuatu di luar itu sebenarnya kabur sejauh menyangkut tubuh Anda tetapi pikiran Anda benar-benar mengisi kekosongan dan membuatnya tidak buram. Anda tidak melihat buram sama sekali. Anda melihatnya dengan jelas. Pikiran Anda sebenarnya melakukan metode prediksi aliran data agar Anda dapat melihat kejelasan itu. Itu semacam hal yang aneh, tetapi Anda dapat benar-benar melihat cara sistem saraf beroperasi dan cara kami mengelola untuk berperilaku dan berperilaku wajar - setidaknya sebagian dari kita - cukup masuk akal dan tidak menabrak hal-hal sepanjang waktu.
Itu semua dilakukan oleh serangkaian skala analitik saraf di dalam sini. Apa yang akan terjadi adalah bahwa organisasi akan memiliki hal yang sama dan akan membangun hal yang sama dan itu akan menjadi pemrosesan aliran termasuk aliran internal organisasi - hal-hal yang terjadi di dalam itu, hal-hal yang terjadi di luarnya, respons instan yang sebenarnya harus dibuat tentu saja memberi makan manusia untuk membuat keputusan, untuk membuat semua ini terjadi. Di situlah kita akan pergi, sejauh yang saya bisa lihat.
Salah satu hal yang merupakan konsekuensi dari itu adalah bahwa tingkat aplikasi streaming berjalan dengan baik. Akan ada jauh lebih banyak dari yang kita lihat sekarang. Saat ini, kami sedang memetik hasil rendah dari melakukan hal-hal yang jelas.
Jadi, begitulah kesimpulannya di sini. Analitik streaming dulunya adalah ceruk tetapi menjadi arus utama dan akan segera diadopsi secara umum.
Dengan itu, aku akan memberikannya kembali ke Rebecca.
Rebecca Jozwiak: Terima kasih banyak, Robin. Presentasi yang luar biasa seperti biasa.
Anand, kamu berikutnya. Lantai adalah milikmu.
Anand Venugopal: Fantastic. Terima kasih.
Nama saya Anand Venugopal dan saya adalah Kepala Produk untuk StreamAnalytix. Ini adalah produk yang ditawarkan oleh Impetus Technologies, dari Los Gatos, California.
Impetus sebenarnya memiliki sejarah besar dalam menjadi penyedia solusi data besar untuk perusahaan besar. Jadi kami benar-benar telah melakukan sejumlah implementasi analitik streaming sebagai perusahaan jasa dan kami belajar banyak pelajaran. Kami juga bergeser untuk menjadi perusahaan produk dan perusahaan yang digerakkan oleh solusi dalam beberapa tahun terakhir dan stream analytics memimpin tanggung jawab dalam mentransformasikan Impetus menjadi perusahaan yang sebagian besar digerakkan oleh produk. Ada beberapa aset penting, sangat, sangat penting yang dibersihkan oleh Impetus berkat paparan kami terhadap perusahaan dan StreamAnalytix adalah salah satunya.
Kami memiliki 20 tahun dalam bisnis ini dan ada perpaduan besar antara produk dan layanan yang menjadikan kami keuntungan besar. Dan StreamAnalytix lahir dari semua pelajaran yang dipetik dari lima atau enam implementasi streaming pertama kami.
Saya akan menyentuh beberapa hal, tetapi para analis, Dez dan Robin, telah melakukan pekerjaan yang fantastis dalam menutupi ruang secara keseluruhan jadi saya akan melewati banyak konten yang tumpang tindih. Saya mungkin akan cepat. Kami melihat selain kasus streaming yang sebenarnya menggunakan banyak percepatan batch hanya di mana ada proses batch yang sangat, sangat penting di perusahaan. Seperti yang Anda lihat, seluruh siklus merasakan suatu peristiwa dan menganalisis dan menindaklanjutinya sebenarnya bisa memakan waktu berminggu-minggu di perusahaan besar dan mereka semua berusaha mengecilkannya menjadi beberapa menit dan kadang-kadang detik dan milidetik. Jadi apapun yang lebih cepat dari semua proses batch ini adalah kandidat untuk akuisisi bisnis dan itu sangat baik menempatkan bahwa nilai data secara dramatis berkurang dengan bertambahnya usianya, sehingga semakin banyak nilai yang ada di bagian awal dalam hitungan detik yang baru saja terjadi. Idealnya, jika Anda dapat memprediksi apa yang akan terjadi, itu adalah nilai tertinggi. Namun, itu tergantung pada akurasi. Nilai tertinggi berikutnya adalah ketika ada di sana ketika itu terjadi, Anda dapat menganalisis dan merespons. Tentu saja, nilainya berkurang secara dramatis setelah itu, BI yang membatasi utama kita.
Ini menarik. Anda mungkin mengharapkan jawaban ilmiah yang dramatis mengapa streaming analytics. Dengan banyak kasus, yang kami lihat adalah karena sekarang mungkin dan karena semua orang tahu batch sudah tua, batch membosankan dan batch tidak keren. Ada cukup banyak pendidikan yang dimiliki semua orang sekarang tentang kenyataan bahwa ada streaming yang mungkin dan semua orang memiliki Hadoop sekarang. Sekarang distribusi Hadoop memiliki teknologi streaming yang tertanam di dalamnya, baik itu Storm atau Spark streaming dan tentu saja antrian pesan, seperti Kafka, dll.
Perusahaan-perusahaan yang kami lihat sedang terlibat dan mulai bereksperimen dengan kasus-kasus ini dan kami melihat dua kategori besar. Seseorang ada hubungannya dengan analitik pelanggan dan pengalaman pelanggan dan kecerdasan operasional kedua. Saya akan masuk ke beberapa detail tentang itu nanti. Seluruh sudut pandang layanan pelanggan dan pengalaman pelanggan dan kami di Impetus StreamAnalytix telah melakukan ini dalam banyak cara yang berbeda benar-benar tentang benar-benar, benar-benar menangkap keterlibatan multi-saluran konsumen secara real time dan memberi mereka pengalaman yang sangat, sangat peka konteks. yang tidak umum hari ini. Jika Anda menjelajah di web, di situs web Bank of America, dan Anda sedang meneliti beberapa produk dan Anda cukup menelepon pusat panggilan. Apakah mereka akan berkata, "Hai Joe, saya tahu Anda sedang meneliti beberapa produk perbankan, apakah Anda ingin saya mengisi Anda?" Anda tidak mengharapkan itu hari ini, tetapi itulah jenis pengalaman yang benar-benar mungkin terjadi dengan analitik streaming. Dalam banyak kasus, itu membuat perbedaan besar, terutama jika pelanggan mulai meneliti cara untuk keluar dari kontrak mereka dengan Anda dengan melihat klausul terminasi awal atau syarat dan ketentuan terminasi awal di situs web Anda dan kemudian menelepon dan Anda tidak bisa langsung berhadapan dengan mereka tentang hal itu tetapi secara tidak langsung melakukan penawaran tentang semacam promosi pertama karena sistem tahu bahwa orang ini sedang mempertimbangkan penghentian dini dan Anda membuat penawaran itu pada saat itu, Anda dapat dengan sangat baik melindungi pelanggan yang berputar dan melindungi aset itu .
Itu akan menjadi salah satu contoh, ditambah banyak layanan pelanggan adalah contoh yang sangat bagus. Kami menerapkan hari ini menurunkan biaya di pusat panggilan serta memberikan pengalaman pelanggan yang dramatis dan menyenangkan. Dez melakukan pekerjaan dengan baik dalam merangkum beberapa kasus penggunaan. Anda bisa menatap grafik ini selama beberapa menit. Saya mengklasifikasikannya sebagai vertikal, horizontal, dan area kombo, IoT, aplikasi seluler, dan pusat panggilan. Semuanya vertikal dan horizontal. Itu tergantung pada bagaimana Anda melihatnya. Intinya, kami melihat banyak penggunaan horizontal yang cukup umum di seluruh industri vertikal dan ada kasus penggunaan khusus vertikal termasuk layanan keuangan, kesehatan, telekomunikasi, manufaktur, dll. Jika Anda benar-benar bertanya pada diri sendiri pertanyaan atau mengatakan pada diri sendiri itu, “oh, saya tidak tahu kasus penggunaan apa yang ada. Saya tidak yakin apakah benar-benar ada nilai bisnis dalam analitik streaming untuk perusahaan saya atau perusahaan kami, ”berpikir keras, berpikir dua kali. Berbicaralah dengan lebih banyak orang karena ada kasus penggunaan di perusahaan Anda yang relevan hari ini. Saya akan masuk ke dalam nilai bisnis tentang bagaimana tepatnya nilai bisnis diturunkan.
Di bagian bawah piramida di sini, Anda memiliki pemeliharaan prediktif, keamanan, perlindungan churn, dll. Jenis penggunaan seperti itu merupakan perlindungan terhadap pendapatan dan aset. Jika Target melindungi pelanggaran keamanan mereka yang terjadi berjam-jam dan berminggu-minggu, CIO bisa menyelamatkan pekerjaannya. Itu bisa menghemat puluhan atau ratusan juta dolar, dll. Analitik streaming waktu-nyata sangat membantu melindungi aset-aset itu dan melindungi kerugian. Itulah nilai bisnis langsung yang ditambahkan di sana.
Kategori berikutnya menjadi lebih menguntungkan, menurunkan biaya Anda dan memperoleh lebih banyak pendapatan dari operasi saat ini. Itulah efisiensi perusahaan saat ini. Itu semua adalah kategori kasus penggunaan yang kami sebut intelijen operasional waktu-nyata di mana Anda mendapatkan wawasan mendalam tentang bagaimana jaringan berperilaku, bagaimana perilaku pelanggan Anda berperilaku, bagaimana proses bisnis Anda berperilaku, dan Anda dapat menyesuaikan semua itu secara real time karena Anda mendapatkan umpan balik, Anda mendapatkan peringatan. Anda mendapatkan penyimpangan, variasi secara real time dan Anda dapat dengan cepat bertindak dan memisahkan proses yang keluar dari batas.
Anda berpotensi juga dapat menghemat banyak uang dalam peningkatan modal yang mahal dan hal-hal yang Anda anggap perlu yang mungkin tidak diperlukan jika Anda mengoptimalkan layanan jaringan. Kami mendengar kasus di mana perusahaan telekomunikasi besar menunda peningkatan $ 40 juta dalam infrastruktur jaringan mereka karena mereka menemukan bahwa mereka memiliki kapasitas yang cukup untuk mengelola lalu lintas saat ini, yaitu dengan mengoptimalkan dan lebih baik melakukan routing cerdas dari lalu lintas mereka dan hal-hal seperti itu. Semua itu hanya mungkin dilakukan dengan beberapa analisis waktu nyata dan mekanisme tindakan yang bertindak atas wawasan tersebut secara real time.
Tingkat nilai tambah berikutnya adalah penjualan atas, penjualan silang di mana ada peluang untuk menghasilkan lebih banyak pendapatan dan keuntungan dari penawaran saat ini. Ini adalah contoh klasik yang banyak dari kita tahu tentang mereka pernah mengalami di mana, Anda pikirkan dalam hidup Anda di mana Anda bersedia untuk benar-benar membeli produk hari ini yang tidak ditawarkan kepada Anda. Dalam banyak, banyak kasus, itu benar-benar terjadi. Anda memiliki hal-hal dalam benak Anda yang ingin Anda beli yang Anda tahu ingin Anda beli, bahwa Anda memiliki daftar hal yang harus dilakukan atau sesuatu, yang dikatakan oleh istri Anda atau jika Anda tidak memiliki istri tetapi Anda benar-benar ingin membeli dan Anda berbelanja di situs web atau berinteraksi di toko eceran, etalase tidak memiliki konteks, tidak memiliki kecerdasan untuk menghitung apa yang mungkin Anda butuhkan. Karenanya, mereka tidak mendapatkan bisnis mereka aman. Jika analitik streaming dapat digunakan untuk benar-benar membuat prediksi yang akurat dan yang benar-benar mungkin pada apa yang paling sesuai dengan konteks khusus ini, pelanggan ini saat ini di lokasi ini, ada banyak penjualan-atas dan penjualan-silang dan itu lagi berasal dari analitik streaming - mampu membuat keputusan kecenderungan tentang apa yang akan dibeli atau direspon pelanggan ini pada saat kebenaran itu ketika ada peluang. Itu sebabnya saya suka gambar yang ditunjukkan Dez dengan beruang yang baru saja akan memakan ikan itu. Cukup banyak.
Kami juga berpikir ada kategori besar di luar sana dari perubahan dramatis dan transformasional dalam perusahaan yang menawarkan produk dan layanan yang sepenuhnya baru hanya berdasarkan pengamatan perilaku pelanggan, semua didasarkan pada pengamatan perilaku perusahaan lain. Jika, katakanlah, perusahaan telekomunikasi atau perusahaan kabel benar-benar mengamati pola penggunaan pelanggan di segmen pasar apa yang dia tonton, program apa pada jam berapa, dll., Mereka benar-benar akhirnya menciptakan produk dan layanan yang hampir dimohonkan untuk beberapa cara. Jadi seluruh konsep perilaku multi-layar sekarang di mana kita sekarang hampir menerima begitu saja bahwa kita dapat melihat konten TV atau kabel di aplikasi seluler kita. Beberapa contoh berasal dari produk dan layanan baru yang ditawarkan kepada kami.
Saya akan masuk ke, "Apa pertimbangan arsitektur analitik streaming?" Ini yang akhirnya kami coba lakukan. Ini adalah arsitektur Lambda tempat Anda memadukan data historis dan wawasan waktu nyata dan melihatnya secara bersamaan. Itulah yang memungkinkan Sigma. Kita semua memiliki arsitektur batch dan gambar perusahaan hari ini. Kami sedang mengumpulkan beberapa jenis tumpukan BI dan tumpukan pemanfaatan dan arsitektur Lambda ditambahkan. Sebagai lapisan kecepatan atau kebutuhan dan Lambda adalah tentang menggabungkan kedua wawasan tersebut dan melihatnya secara gabungan, dengan cara yang kaya yang menggabungkan kedua wawasan.
Ada paradigma lain yang disebut arsitektur Kappa yang sedang diusulkan di mana dugaan adalah bahwa lapisan kecepatan adalah satu-satunya mekanisme input yang akan bertahan dalam jangka panjang. Semuanya akan datang melalui lapisan kecepatan ini. Bahkan tidak akan ada mekanisme ETL offline. Semua ETL akan terjadi. Bersihkan, pembersihan data, kualitas ETL - semua itu akan terjadi pada kabel, karena perlu diingat semua data dilahirkan secara real time. Pada titik tertentu, itu adalah waktu nyata. Kami sudah terbiasa meletakkan ini di danau, di sungai dan lautan, lalu melakukannya pada analisis statis sehingga kami lupa bahwa data lahir di beberapa titik secara real time. Semua data sebenarnya terlahir sebagai peristiwa waktu-nyata yang terjadi pada titik waktu dan sebagian besar data hari ini di danau baru saja dimasukkan ke dalam basis data untuk analisis selanjutnya dan sekarang kita memiliki keuntungan dalam arsitektur Lambda dan Kappa sebenarnya. melihatnya, menganalisanya, pra-pemrosesan dan bereaksi ketika tiba. Itulah yang dimungkinkan oleh teknologi ini. Ketika Anda melihatnya sebagai gambaran keseluruhan, terlihat seperti ini di mana ada Hadoop di dalamnya, ada MPP, dan gudang data yang sudah Anda miliki.
Kami memasang ini karena penting untuk tidak hanya berbicara tentang teknologi baru di sebuah pulau. Mereka harus berintegrasi. Mereka harus masuk akal dalam konteks perusahaan saat ini, dan sebagai penyedia solusi yang melayani perusahaan, kami sangat peka terhadap hal ini. Kami membantu perusahaan mengintegrasikan semuanya. Ada sumber data di sisi kiri yang memberi makan ke lapisan Hadoop dan gudang data serta ke lapisan waktu nyata di atas dan masing-masing entitas adalah komputer stok seperti yang Anda lihat dan lapisan konsumsi data ada di sebelah kanan. sisi. Ada upaya terus-menerus untuk memindahkan mayoritas kepatuhan, tata kelola, keamanan, manajemen siklus hidup, dll., Yang tersedia saat ini semuanya telah dikumpulkan ke dalam teknologi baru ini.
Salah satu hal yang coba dilakukan analitik aliran, jika Anda melihat lansekap hari ini, ada banyak hal yang terjadi dalam lansekap teknologi streaming dan dari sudut pandang pelanggan perusahaan, ada begitu banyak yang perlu dipahami. Ada banyak hal yang harus diimbangi. Ada mekanisme pengumpulan data di sisi kiri - NiFi, Logstash, Flume, Sqoop. Jelas, saya telah memasang disclaimer yang mengatakan itu tidak lengkap. Datang ke antrian pesan dan kemudian masuk ke mesin streaming open-source - Storm, Spark Streaming, Samza, Flink, Apex, Bangau. Bangau mungkin belum open source. Saya tidak yakin apakah itu, dari Twitter. Mesin streaming tersebut kemudian mengarah ke atau mendukung komponen aplikasi analitik pengaturan seperti pemrosesan peristiwa kompleks, pembelajaran mesin, analitik prediktif, modul peringatan, streaming ETL, filter operasi statistik pengayaan. Itu semua yang kita sebut operator sekarang. Himpunan operator tersebut ketika dirangkai bersama-sama berpotensi juga beberapa kebiasaan sebagian besar disimpulkan jika perlu menjadi aplikasi streaming yang berjalan pada mesin streaming.
Sebagai bagian dari rantai komponen itu, Anda juga perlu menyimpan dan mengindeks data ke dalam basis data favorit Anda, indeks favorit Anda. Anda mungkin juga harus mendistribusikan cache dan sekali lagi yang mengarah ke lapisan visualisasi data di sisi kanan pada bagian atas untuk produk komersial atau produk sumber terbuka, tetapi pada akhirnya Anda memerlukan semacam produk untuk memvisualisasikan data tersebut secara real time. Juga, Anda perlu terkadang mencari aplikasi lain. Kita semua telah melihat bahwa nilai yang diturunkan hanya oleh tindakan yang Anda ambil pada wawasan, bahwa tindakan akan menjadi pemicu dari tumpukan analitis ke tumpukan aplikasi lain yang mungkin berubah itu sesuatu di sisi IVR atau memicu call center panggilan keluar atau sesuatu seperti itu. Kami perlu memiliki sistem tersebut terintegrasi dan beberapa mekanisme untuk kluster streaming Anda untuk memicu aplikasi lain mengirim data hilir.
Itulah keseluruhan tumpukan dari kiri ke kanan. Kemudian Anda memiliki lapisan layanan, pemantauan tengah, lapisan layanan umum keamanan, dll. Datang ke produk apa yang ada di ruang perusahaan yang pelanggan lihat seperti distribusi Hadoop yang semuanya memiliki streaming seperti yang saya katakan dan ada komersial atau tunggal -Vendor solusi yang jelas di pesaing kami. Ada banyak lagi juga di lanskap yang mungkin tidak kita sebutkan di sini.
Apa yang Anda lihat di sana secara luas dilihat oleh pengguna perusahaan. Lansekap teknologi yang kompleks dan berkembang pesat untuk pemrosesan aliran, seperti yang Anda lihat. Kami harus menyederhanakan pilihan dan pengalaman pengguna mereka. Apa yang kami pikir sangat dibutuhkan perusahaan adalah abstraksi fungsional dari semua itu di one-stop-shop, antarmuka yang mudah digunakan yang menyatukan semua teknologi yang membuatnya sangat mudah digunakan dan tidak memaparkan semua bagian yang bergerak dan masalah degradasi dan masalah kinerja serta masalah pemeliharaan siklus hidup bagi perusahaan.
Abstraksi fungsionalitas adalah satu. Bagian kedua adalah abstraksi mesin streaming. Mesin streaming dan domain open-source muncul setiap tiga, empat atau enam bulan sekarang. Itu adalah Storm untuk waktu yang lama. Samza muncul dan sekarang Spark Streaming. Flink mengangkat kepalanya, mulai mendapatkan perhatian. Bahkan roadmap Spark Streaming, mereka membuat jalan untuk berpotensi menggunakan mesin yang berbeda untuk pemrosesan acara murni karena mereka juga menyadari bahwa Spark dirancang untuk batch dan mereka membuat jalan dalam visi arsitektur mereka dan peta jalan mereka untuk berpotensi memiliki perbedaan mesin untuk pemrosesan aliran selain pola microbatch saat ini di Spark Streaming.
Adalah kenyataan bahwa Anda harus berselisih dengan bahwa akan ada banyak evolusi. Anda benar-benar perlu melindungi diri Anda dari fluks teknologi itu. Karena secara default, Anda harus memilih satu dan kemudian hidup dengannya, yang tidak optimal. Jika Anda melihatnya dengan cara lain, Anda bertarung di antara, “oke, saya harus membeli platform berpemilik di mana tidak ada penguncian, tidak ada pengungkit sumber terbuka, bisa jadi biayanya sangat tinggi dan terbatas fleksibilitas versus semua tumpukan sumber terbuka ini di mana Anda harus melakukannya sendiri. ”Sekali lagi, seperti yang saya katakan, itu adalah banyak biaya dan keterlambatan dalam mencapai pasar. Apa yang kami katakan adalah StreamAnalytix adalah salah satu contoh platform hebat yang menyatukan kelas perusahaan, andal, vendor tunggal, layanan profesional yang didukung - semua itu yang benar-benar Anda butuhkan sebagai perusahaan dan kekuatan fleksibilitas ekosistem sumber terbuka di mana satu platform menyatukan mereka - Ingest, CEP, analytics, visualisasi dan semua itu.
Ini juga melakukan hal yang sangat, sangat unik, yang menyatukan banyak mesin teknologi berbeda di bawah satu pengalaman pengguna tunggal. Kami benar-benar berpikir masa depan adalah tentang dapat menggunakan beberapa mesin streaming karena kasus penggunaan yang berbeda benar-benar membutuhkan arsitektur streaming yang berbeda. Seperti kata Robin, ada seluruh spektrum latensi. Jika Anda benar-benar berbicara tentang tingkat latensi milidetik, puluhan atau bahkan ratusan milidetik, Anda benar-benar memerlukan Storm pada saat ini hingga ada produk lain yang sama matangnya untuk kurang keringanan hukuman atau jangka waktu yang ringan dan latensi mungkin dalam beberapa detik, tiga, empat, lima detik, rentang itu, maka Anda bisa menggunakan Spark Streaming. Berpotensi, ada mesin lain yang bisa melakukan keduanya. Intinya, di perusahaan besar, akan ada kasus penggunaan dari semua jenis. Anda benar-benar ingin akses dan keumuman memiliki beberapa mesin dengan satu pengalaman pengguna dan itulah yang kami coba bangun di StreamAnalytix.
Hanya melihat sekilas arsitekturnya. Kita akan mengerjakan ulang ini sedikit, tetapi pada dasarnya, ada beberapa sumber data yang masuk di sisi kiri - Kafka, RabbitMQ, Kinesis, ActiveMQ, semua sumber data dan antrian pesan masuk ke platform pemrosesan aliran tempat Anda bisa membuat aplikasi, di mana Anda bisa seret dan lepas dari operator seperti ETL, semua hal yang kita bicarakan. Di bawahnya, ada beberapa mesin. Saat ini, kami memiliki Storm dan Spark Streaming sebagai satu-satunya platform streaming kelas enterprise dan industri yang memiliki banyak dukungan engine. Itu sangat unik, fleksibilitas yang kami tawarkan di samping semua fleksibilitas lainnya dari memiliki dasbor waktu nyata. Mesin CET tertanam. Kami memiliki integrasi tanpa batas dengan indeks Hadoop dan NoSQL, indeks Solr dan Apache. Anda dapat mendarat ke basis data favorit apa pun itu dan membangun aplikasi dengan sangat cepat dan sampai ke pasar dengan sangat cepat dan tetap menjadi bukti di masa depan. Itulah seluruh mantra kami di StreamAnalytix.
Dengan itu, saya pikir saya akan menyimpulkan komentar saya. Jangan ragu untuk datang kepada kami untuk pertanyaan lebih lanjut. Saya ingin menjaga lantai terbuka untuk tanya jawab dan diskusi panel.
Rebecca, ke arahmu.
Rebecca Jozwiak: Bagus, oke. Terima kasih banyak. Dez dan Robin, apakah Anda memiliki beberapa pertanyaan sebelum kami menyerahkannya kepada T&J audiensi?
Robin Bloor: Saya punya pertanyaan. Saya akan memakai headphone saya kembali sehingga Anda dapat mendengar saya. Salah satu hal yang menarik, jika Anda bisa memberi tahu saya dengan baik, banyak dari apa yang saya lihat di ruang open-source terlihat seperti apa yang akan saya katakan tidak dewasa kepada saya. Dalam arti tertentu, ya Anda bisa melakukan berbagai hal. Tapi sepertinya kita melihat perangkat lunak dalam rilis pertama atau kedua dalam kenyataan dan saya hanya ingin tahu dengan pengalaman Anda sebagai sebuah organisasi, seberapa banyak Anda melihat ketidakdewasaan lingkungan Hadoop sebagai masalah atau apakah itu sesuatu yang tidak t membuat terlalu banyak masalah?
Anand Venugopal: Ini kenyataan, Robin. Anda benar sekali. Ketidakdewasaan tidak harus di bidang stabilitas dan hal-hal fungsional saja, tetapi mungkin beberapa kasus juga. Namun ketidakdewasaan lebih pada kesiapan penggunaan. Produk-produk open-source ketika mereka keluar dan bahkan ketika mereka ditawarkan oleh distribusi Hadoop, mereka semua banyak produk yang berbeda, komponen yang baru saja ditampar bersama. Mereka tidak bekerja bersama dengan mulus dan tidak dirancang untuk pengalaman pengguna mulus mulus yang akan kita dapatkan seperti Bank of America atau Verizon atau AT&T, untuk menggunakan aplikasi analitik streaming dalam beberapa minggu. Mereka tidak dirancang untuk itu. Itulah alasan mengapa kami masuk. Kami menggabungkannya dan membuatnya sangat mudah untuk dipahami, digunakan, dll.
Kematangan fungsionalnya, saya pikir sebagian besar, ada di sana. Banyak perusahaan besar menggunakan Storm misalnya hari ini. Banyak perusahaan besar yang bermain dengan Spark Streaming hari ini. Masing-masing mesin memiliki keterbatasan dalam hal apa yang dapat mereka lakukan. Itulah mengapa penting untuk mengetahui apa yang dapat Anda lakukan dan apa yang tidak dapat Anda lakukan dengan setiap mesin dan tidak ada gunanya mematahkan kepala Anda ke dinding dan berkata, “Lihat, saya. memilih Spark Streaming dan itu tidak bekerja untuk saya di industri khusus ini. "Ini tidak akan berhasil. Akan ada kasus penggunaan di mana Spark Streaming akan menjadi pilihan terbaik dan akan ada kasus penggunaan di mana Spark Streaming mungkin tidak bekerja sama sekali untuk Anda. Itu sebabnya Anda benar-benar membutuhkan banyak pilihan.
Robin Bloor: Ya, Anda perlu memiliki tim ahli di atas sebagian besar ini. Maksudku, aku bahkan tidak tahu harus mulai dari mana. Kerja sama yang masuk akal dari individu-individu yang terampil. Saya tertarik dengan keterlibatan Anda dan bagaimana hal itu terjadi. Apakah karena perusahaan tertentu mengejar aplikasi tertentu atau Anda melihat apa yang saya sebut adopsi strategis di mana mereka ingin seluruh platform melakukan banyak hal.
Anand Venugopal: Kami melihat contoh keduanya, Robin. Beberapa dari sepuluh merek teratas yang diketahui semua orang melakukannya dengan cara yang sangat strategis. Mereka tahu bahwa mereka akan memiliki berbagai kasus penggunaan sehingga mereka mengevaluasi platform yang sesuai dengan kebutuhan itu, yang merupakan berbagai kasus penggunaan yang berbeda dengan cara multi-tenant untuk ditempatkan di suatu perusahaan. Ada satu cerita kasus penggunaan tunggal yang mulai juga. Ada kasus penggunaan jenis pemantauan aktivitas bisnis tertentu di perusahaan hipotek yang sedang kami kerjakan yang tidak Anda bayangkan sebagai kasus penggunaan pertama, tetapi itu adalah solusi bisnis atau kasus penggunaan yang mereka buat dan kemudian kami menghubungkan titik-titik ke streaming . Kami berkata, “Kamu tahu? Ini adalah kasus yang bagus untuk streaming analytics dan ini adalah bagaimana kami dapat mengimplementasikannya. ”Begitulah permulaannya. Kemudian, dalam proses itu, mereka mendapatkan pendidikan dan berkata, "Oh wow, jika kita bisa melakukan ini dan jika ini adalah platform generik, maka kita dapat memisahkan aplikasi, melapisi mereka ke dalam platform, dan membangun banyak aplikasi berbeda pada ini peron."
Robin Bloor: Dez, Anda punya pertanyaan?
Anand Venugopal: Dez mungkin dalam bisu.
Dez Blanchfield: Permintaan maaf, bisu. Saya baru saja berbicara baik. Mengikuti pengamatan asli Robin, Anda benar sekali. Saya pikir tantangannya sekarang adalah bahwa perusahaan memiliki ekosistem dan lingkungan budaya dan perilaku di mana perangkat lunak bebas dan sumber terbuka adalah sesuatu yang diketahui oleh mereka dan mereka dapat menggunakan alat-alat seperti Firefox sebagai browser dan telah memiliki kemampuan yang layak. seumur hidup sampai menjadi stabil dan aman. Tetapi beberapa dari platform yang sangat besar yang mereka gunakan adalah platform milik perusahaan. Jadi pengadopsian platform open-source yang saya anggap tidak selalu merupakan sesuatu yang mudah bagi mereka untuk disebarkan secara budaya atau emosional. Saya telah melihat ini di hanya adopsi program kecil yang merupakan proyek lokal untuk hanya bermain dengan data besar dan analitik sebagai konsep mendasar. Saya pikir salah satu tantangan utama, saya yakin Anda telah melihat mereka sekarang di seluruh organisasi, adalah keinginan mereka untuk mendapatkan hasil tetapi pada saat yang sama memiliki satu kaki mereka terjebak dalam kaleng lama di mana mereka bisa membeli ini dari "Masukkan merek besar" Oracle, IBM dan Microsoft. Merek-merek baru dan terkenal ini hadir dengan platform Hadoop dan bahkan lebih. Semakin banyak merek menarik yang datang melalui teknologi mutakhir seperti stream.
Percakapan seperti apa yang Anda miliki atau dapatkan melalui itu? Saya tahu bahwa kami memiliki kehadiran besar-besaran pagi ini dan satu hal yang saya yakin ada dalam pikiran semua orang adalah “Bagaimana cara saya memotong seluruh lapisan yang menantang dari papan bawah ke tingkat manajemen, oh itu terlalu open source dan terlalu berdarah? "Bagaimana percakapan yang Anda lakukan dengan klien dan bagaimana Anda memotong ke titik di mana Anda semacam menghilangkan jenis ketakutan untuk mempertimbangkan mengadopsi orang seperti StreamAnalytix?
Anand Venugopal: Kami sebenarnya menemukan cukup mudah untuk menjual proposisi nilai kami karena pelanggan secara alami bergerak menuju open source sebagai opsi yang disukai. Mereka tidak mudah menyerah begitu saja dan berkata, "Oke, sekarang saya akan menjadi open source." Mereka benar-benar melalui evaluasi yang sangat berkomitmen terhadap produk utama, katakanlah itu adalah IBM atau produk khas, karena mereka memiliki hubungan vendor ini. Mereka tidak akan memperlakukan kami atau mesin sumber terbuka terhadap produk itu. Mereka akan menjalani enam hingga delapan hingga dua belas minggu evaluasi. Mereka akan meyakinkan diri mereka sendiri bahwa ada tingkat kinerja dan stabilitas di sini yang saya inginkan dan kemudian mereka memutuskan, "Wow, Anda tahu, saya benar-benar bisa melakukan ini."
Sebagai contoh hari ini, kami memiliki perusahaan telekomunikasi tingkat satu yang memiliki aliran analitik dalam produksi di atas banyak tumpukan dan mereka mengevaluasi hal itu terhadap vendor terkenal yang sangat besar lainnya dan mereka diyakinkan hanya setelah kami membuktikan semua. kinerja, stabilitas dan semua hal itu. Mereka tidak menerima begitu saja. Mereka menemukan open source kompeten melalui evaluasi mereka dan mereka menyadari bahwa, kasus terburuk, “Mungkin ada dua kasus penggunaan yang mungkin tidak bisa saya lakukan tetapi sebagian besar kasus percepatan penggunaan bisnis saya saat ini sangat mungkin dilakukan dengan sumber terbuka stack. "Dan kami memungkinkan penggunaannya. Jadi itulah titik manis yang besar di sana. Mereka menginginkan sumber terbuka. Mereka benar-benar ingin keluar dari situasi penguncian vendor yang telah biasa mereka lakukan selama bertahun-tahun. Kemudian di sini kita datang dan berkata, "Anda tahu, kami akan membuat open source lebih mudah, lebih mudah dan ramah digunakan untuk Anda."
Dez Blanchfield: Saya pikir tantangan lain yang ditemukan perusahaan adalah ketika mereka mendatangkan petahana tradisional, mereka sering merupakan generasi di belakang beberapa hal menarik yang sedang kita bicarakan di sini dan yang saya maksud bukan sebagai negatif sedikit. Hanya saja kenyataannya adalah mereka memiliki generasi dan perjalanan yang harus dilalui untuk merilis apa yang mereka anggap platform stabil untuk dilalui, pengembangan sekolah tua dan siklus integrasi UATN dan pengujian dan dokumentasi, serta pemasaran dan penjualan. Sedangkan dalam jenis yang Anda lakukan, saya pikir hal yang saya tertarik untuk pikirkan adalah bahwa melihat beberapa rilis terbaru Anda tadi malam melakukan beberapa jenis pekerjaan penelitian, Anda memiliki campuran ini sekarang di mana Anda mendapatkan kompetensi dari sudut pandang konsultasi dimuka dan implementasi tetapi Anda juga punya setumpuk yang dapat Anda masukkan. Saya pikir ini adalah di mana petahana akan berjuang untuk beberapa waktu. Kami telah melihat banyak dari mereka seperti yang saya lakukan di pasar. Mereka sering berada dalam apa yang saya sebut node catch-up sedangkan dari apa yang Anda katakan kepada kami ketika Anda di luar sana membuat percakapan itu dan Anda di luar sana menerapkan.
Bisakah Anda memberi kami beberapa contoh beberapa garis batas vertikal yang telah Anda adopsi? Misalnya, ada lingkungan yang benar-benar unik seperti ilmu roket dan menempatkan satelit di ruang angkasa dan mengumpulkan data dari Mars. Hanya ada segelintir orang yang melakukan itu di planet ini. Tetapi ada vertikal besar seperti kesehatan misalnya, dalam aeronautika, dalam pengiriman dan logistik, di bidang manufaktur dan teknik, apa saja beberapa contoh dari sektor industri yang lebih besar dan lebih luas yang telah Anda sejauh yang Anda lihat sangat bagus adopsi?
Anand Venugopal: Telco adalah contoh besar.
Saya hanya akan dengan cepat memperbaiki slide saya di sini. Apakah Anda dapat melihat slide di sini, studi kasus 4?
Ini adalah kasus telco besar yang menelan data set-top box dan melakukan banyak hal dengannya. Mereka melihat apa yang sebenarnya dilakukan pelanggan secara langsung. Mereka melihat di mana kesalahan terjadi secara real time di set-top box. Mereka mencoba memberi tahu pusat panggilan tentang, jika pelanggan ini menelepon sekarang, informasi tautan kode dari kotak set-top pelanggan ini, informasi tiket perawatan dengan cepat menghubungkan apakah kotak set-top pelanggan tertentu ini mempunyai masalah atau tidak bahkan sebelum pelanggan berbicara sepatah kata pun. Setiap perusahaan kabel, setiap perusahaan besar berusaha melakukan ini. Mereka mencerna data set-top box, melakukan analisis waktu nyata, melakukan analisis kampanye sehingga mereka dapat menempatkan iklan mereka. Ada kasus penggunaan yang sangat besar.
Seperti yang saya katakan, ada perusahaan hipotek yang sekali lagi merupakan pola umum di mana sistem besar terlibat dalam pemrosesan data. Data yang mengalir melalui sistem A ke sistem B ke sistem C dan ini adalah bisnis yang diatur yang semuanya harus konsisten. Seringkali, sistem tidak sinkron satu sama lain, satu sistem mengatakan, "Saya sedang memproses seratus pinjaman dengan nilai total $ 10 juta." Sistem itu mengatakan, "Tidak, saya sedang memproses 110 pinjaman dari yang lain nomor yang berbeda. ”Mereka harus menyelesaikannya dengan sangat cepat karena mereka sebenarnya memproses data yang sama dan membuat interpretasi yang berbeda.
Apakah itu kartu kredit, pemrosesan pinjaman, proses bisnis, atau apakah itu proses bisnis hipotek atau yang lainnya, kami membantu mereka melakukan korelasi dan rekonsiliasi secara real time untuk memastikan bahwa proses bisnis tersebut tetap selaras. Itu kasus penggunaan lain yang menarik. Ada kontraktor pemerintah AS utama yang melihat lalu lintas DNS untuk melakukan deteksi anomali. Ada model pelatihan offline yang mereka buat dan mereka melakukan penilaian berdasarkan model itu pada lalu lintas waktu nyata. Beberapa kasus penggunaan yang menarik. Ada maskapai besar yang sedang melihat antrian keamanan dan mereka berusaha memberi Anda informasi itu, “Hei, itu gerbang Anda untuk pesawat Anda untuk penerbangan Anda. Antrian TSA hari ini sekitar 45 menit versus dua jam versus yang lain. ”Anda mendapat pembaruan di muka. Mereka masih mengerjakannya. Kasus penggunaan IoT yang menarik tetapi sangat baik dalam analisis streaming yang mengarah ke pengalaman pelanggan.
Rebecca Jozwiak: Ini adalah Rebecca. Sementara Anda berada di subjek kasus penggunaan, ada pertanyaan besar dari anggota audiens yang bertanya-tanya, "Apakah ini studi kasus, apakah inisiatif ini didorong dari sisi analitik sistem informasi rumah atau mereka lebih didorong dari bisnis yang memiliki pertanyaan atau kebutuhan spesifik dalam pikiran? "
Anand Venugopal: Saya pikir kita melihat sekitar 60 persen atau lebih, 50 persen hingga 55 persen, sebagian besar sangat proaktif, inisiatif teknologi antusias yang kebetulan tahu, yang kebetulan cukup cerdas dan memahami persyaratan bisnis tertentu dan mereka mungkin memiliki satu sponsor yang mereka miliki. diidentifikasi tetapi ini adalah tim teknologi yang bersiap-siap untuk serangan kasus penggunaan bisnis datang dan kemudian setelah mereka membangun kemampuan, mereka tahu bahwa mereka dapat melakukan ini dan kemudian mereka pergi ke bisnis dan menjual ini secara agresif. Dalam 30 hingga 40 persen kasus, kami melihat bisnis sudah memiliki kasus penggunaan tertentu yang meminta kemampuan analitik streaming.
Rebecca Jozwiak: Itu masuk akal. Saya mendapat pertanyaan teknis yang sedikit lebih banyak dari anggota audiens. Dia bertanya-tanya apakah sistem ini mendukung aliran data terstruktur dan tidak terstruktur, seperti sedimen aliran Twitter atau posting Facebook secara real time, atau apakah perlu awalnya disaring?
Anand Venugopal: Produk dan teknologi yang kita bicarakan sangat segera mendukung data terstruktur dan tidak terstruktur. Mereka dapat dikonfigurasi. Semua data memiliki semacam struktur apakah itu teks atau XML atau apa pun. Ada beberapa struktur dalam hal ada umpan waktu. Mungkin ada gumpalan lain yang perlu diuraikan sehingga Anda dapat menyuntikkan parse ke dalam aliran untuk mengurai struktur data. Jika terstruktur, maka kami hanya memberi tahu sistem, "Oke, jika ada nilai yang dipisahkan koma dan yang pertama adalah string, yang kedua adalah tanggal." Jadi kita bisa menyuntikkan kecerdasan parsing itu ke dalam lapisan layar-atas dan memproses data terstruktur dan tidak terstruktur dengan mudah.
Rebecca Jozwiak: Saya punya pertanyaan lain dari penonton. Saya tahu kami telah berlari sedikit melewati puncak jam. Peserta ini ingin tahu, sepertinya aplikasi streaming real-time mungkin mengembangkan kebutuhan dan peluang untuk mengintegrasikan kembali ke dalam sistem transaksi, misalnya sistem pencegahan penipuan yang mereka kemukakan. Dalam hal itu, apakah sistem transaksi perlu disesuaikan agar sesuai dengan itu?
Anand Venugopal: Ini penggabungan, bukan? Ini adalah gabungan dari sistem transaksi. Terkadang mereka menjadi sumber data tempat kami menganalisis transaksi secara real time dan dalam banyak kasus di mana katakanlah ada aliran aplikasi dan di sini saya mencoba untuk menunjukkan situs pencarian data statis dan kemudian dalam kasus kami di mana semacam streaming dan Anda mencari basis data statis seperti HBase atau RDBMS untuk memperkaya data streaming dan data statis bersama-sama untuk membuat keputusan atau wawasan analitis.
Ada tren industri besar lain yang juga kami lihat - konvergensi OLAP dan OLTP - dan itulah mengapa Anda memiliki basis data seperti Kudu dan basis data dalam-memori yang mendukung transaksi dan pemrosesan analitik pada saat yang bersamaan. Lapisan pemrosesan aliran akan sepenuhnya berada dalam memori dan kita akan melihat atau berinteraksi dengan beberapa basis data transaksional ini.
Rebecca Jozwiak: Beban kerja campuran telah menjadi salah satu rintangan terakhir untuk dilompati, saya pikir. Dez, Robin, apakah kalian berdua punya pertanyaan lagi?
Dez Blanchfield: Saya akan melompat ke satu pertanyaan terakhir dan menyelesaikannya jika Anda tidak keberatan. Tantangan pertama yang dihadapi organisasi-organisasi yang telah saya tangani selama sepuluh tahun terakhir ini mengarah ke tantangan analitik arus yang menarik ini, hal pertama yang cenderung mereka kembalikan ketika kami memulai percakapan seputar seluruh tantangan ini adalah di mana kita mendapatkan keahlian? Bagaimana kita melatih kembali rangkaian keterampilan dan bagaimana kita mendapatkan kemampuan itu secara internal? Memiliki Impetus datang dan memegangi kami melalui perjalanan dan kemudian menerapkannya sebagai langkah pertama yang hebat dan sangat masuk akal melakukan hal itu.
Tetapi untuk organisasi menengah hingga besar, apa saja hal-hal yang Anda lihat saat ini untuk mempersiapkan hal ini, untuk membangun kemampuan itu secara internal, untuk mendapatkan apa pun dari hanya kosakata dasar di sekitarnya dan pesan seperti apa yang dapat mereka lakukan dengan organisasi sekitar transisi ke kerangka kerja semacam ini dan memperlengkapi kembali staf teknis mereka yang sudah ada dari IT dari CEO sehingga mereka dapat menjalankannya sendiri begitu Anda membangun dan mengimplementasikannya? Secara singkat, tantangan seperti apa dan bagaimana mereka menyelesaikannya, pelanggan yang Anda hadapi, jenis tantangan yang mereka temukan dan bagaimana mereka melalui pemecahan pelatihan ulang dan mendapatkan kembali pengalaman dan pengetahuan untuk bersiap-siap untuk ini dan untuk menjadi dapat berkeliling secara operasional?
Anand Venugopal: Seringkali, sekelompok kecil orang yang mencoba untuk keluar dan membeli platform analitik streaming sudah cukup pintar karena mereka sadar Hadoop, mereka sudah mendapatkan keterampilan Hadoop MapReduce mereka, dan karena mereka bekerja sama dengan Hadoop vendor distribusi, mereka akrab. Semuanya mendapatkan Kafka, misalnya. Mereka melakukan sesuatu dengannya dan Storm atau Spark streaming ada dalam domain open-source mereka. Tentunya, orang-orang akrab dengannya atau membangun keterampilan di sekitarnya. Tapi itu dimulai dengan sekelompok kecil orang yang cukup terampil dan cukup pintar. Mereka menghadiri konferensi. Mereka belajar dan bahwa mereka mengajukan pertanyaan cerdas kepada vendor dan dalam beberapa kasus mereka belajar dengan vendor. Karena vendor datang dan mempresentasikan pada pertemuan pertama, mereka mungkin tidak tahu hal-hal tetapi mereka membaca bersama dan kemudian mereka mulai bermain dengannya.
Kelompok kecil orang itu adalah inti dan kemudian mulai tumbuh dan semua orang sekarang menyadari bahwa kasus penggunaan bisnis pertama dioperasionalkan. Di sana dimulai gelombang dan kita melihat di puncak Spark minggu lalu di mana perusahaan besar seperti Capital One ada di sana dan dengan kekuatan penuh. Mereka memilih Spark. Mereka membicarakannya. Mereka mendidik banyak orang di Spark karena mereka berkontribusi juga dalam banyak kasus sebagai pengguna. Kami melihat hal yang sama dengan banyak, banyak perusahaan besar. Dimulai dengan sekelompok kecil orang yang sangat cerdas dan kemudian mulai gelombang pendidikan secara keseluruhan dan orang-orang tahu bahwa begitu seorang VP senior atau sekali direktur senior selaras dan mereka ingin bertaruh pada hal ini dan kata itu menyebar dan mereka semua mulai mengambil keterampilan ini.
Dez Blanchfield: Saya yakin Anda memiliki waktu yang fantastis untuk membangun para juara itu juga.
Anand Venugopal: Ya. Kami melakukan banyak pendidikan saat kami bekerja dengan para juara awal dan kami mengadakan kursus pelatihan dan banyak, banyak untuk pelanggan besar kami, kami telah kembali dan memiliki gelombang dan gelombang pelatihan untuk membawa banyak pengguna ke fase penggunaan utama terutama di situs Hadoop MapReduce. Kami menemukan bahwa di perusahaan kartu kredit besar yang merupakan pelanggan kami, kami telah memberikan setidaknya lima sampai delapan program pelatihan yang berbeda. Kami juga memiliki edisi komunitas gratis untuk semua produk ini termasuk produk kami, kotak pasir yang dapat diunduh orang, terbiasa dan mendidik diri mereka sendiri dengan cara itu juga.
Dez Blanchfield: Hanya itu yang saya miliki pagi ini untuk Anda. Terima kasih banyak. Saya merasa sangat menarik untuk melihat jenis-jenis model dan kasus penggunaan yang Anda miliki untuk kami hari ini. Terima kasih.
Anand Venugopal: Hebat. Terima kasih banyak kawan.
Rebecca Jozwiak: Terima kasih semuanya telah bergabung dengan kami di webcast Teknologi Panas ini. Sangat menarik untuk mendengar dari Dez Blanchfield, Dr. Robin Bloor dan dari Impetus Technologies, Anand Venugopal. Terima kasih presenter. Terima kasih pembicara dan audiens terima kasih. Kami memiliki Teknologi Panas lain bulan depan, jadi lihatlah itu. Anda selalu dapat menemukan konten kami diarsipkan di Insideanalysis.com. Kami juga menaruh banyak konten di SlideShare dan juga beberapa bit menarik di YouTube.
Itu semua orang. Terima kasih lagi dan semoga harimu menyenangkan. Sampai jumpa.
