10 Data besar harus dan tidak boleh dilakukan

Data besar membawa banyak janji untuk semua jenis industri. Jika data besar ini dimanfaatkan dengan efektif dan efisien, ini dapat memiliki dampak signifikan dalam pengambilan keputusan dan analitik. Tetapi manfaat big data hanya dapat dicapai jika dikelola secara terstruktur. Praktik terbaik big data secara bertahap ditetapkan, tetapi sudah ada beberapa yang harus dilakukan dan tidak boleh dilakukan dalam hal implementasi.

Panduan berikut didasarkan pada pengalaman praktis dan pengetahuan yang dikumpulkan dari proyek-proyek kehidupan nyata. Berikut adalah data dan tindakan terbaik saya yang tidak boleh dilakukan.

Libatkan semua bagian bisnis dalam inisiatif data besar

Inisiatif big data bukanlah kegiatan yang terisolasi dan independen, dan keterlibatan semua unit bisnis adalah suatu keharusan untuk mendapatkan nilai dan wawasan yang nyata. Data besar dapat membantu organisasi meningkatkan volume data yang besar dan mendapatkan wawasan tentang perilaku, peristiwa, tren, prediksi pelanggan, dll. Ini tidak mungkin dilakukan dengan snapshot data, yang hanya menangkap sebagian dari seluruh volume data yang diproses dalam data besar. Akibatnya, perusahaan semakin berkonsentrasi pada semua jenis data yang berasal dari semua kemungkinan jalan / unit bisnis untuk memahami pola yang benar.

Lakukan evaluasi semua model infrastruktur untuk implementasi big data

Volume data dan manajemennya merupakan perhatian utama untuk setiap inisiatif big data. Karena big data berkaitan dengan petabytes data, satu-satunya solusi untuk mengelolanya adalah dengan menggunakan pusat data. Pada saat yang sama, komponen biaya harus dipertimbangkan sebelum memilih dan menyelesaikan fasilitas penyimpanan. Layanan cloud seringkali merupakan pilihan terbaik, tetapi layanan dari lingkungan cloud yang berbeda harus dievaluasi untuk menentukan yang tepat. Karena penyimpanan adalah salah satu komponen terpenting dalam setiap implementasi big data, itu adalah faktor yang harus dievaluasi dengan sangat hati-hati dalam setiap inisiatif big data. (Dapatkan perspektif lain dalam Tantangan Big Data Today Berasal dari Variety, Bukan Volume atau Velocity.)

Pertimbangkan sumber data tradisional dalam perencanaan data besar

Ada berbagai sumber data besar dan jumlah sumber juga meningkat dari hari ke hari. Volume data yang sangat besar ini digunakan sebagai input untuk pemrosesan data yang besar. Akibatnya, beberapa perusahaan berpikir bahwa sumber data tradisional tidak ada gunanya. Ini tidak benar, karena data tradisional ini merupakan komponen penting untuk keberhasilan setiap cerita big data. Data tradisional mengandung informasi yang berharga, sehingga harus digunakan bersama dengan sumber data besar lainnya. Nilai sebenarnya dari big data hanya dapat diturunkan jika semua sumber data (tradisional dan non-tradisional) diperhitungkan. (Pelajari lebih lanjut di Take That, Big Data! Mengapa Data Kecil Mungkin Mengemas Pukulan yang Lebih Besar.)

Pertimbangkan serangkaian data yang konsisten

Dalam lingkungan data besar, data berasal dari berbagai sumber. Format, struktur, dan tipe data berbeda dari satu sumber ke sumber lainnya. Bagian terpenting adalah bahwa data tidak dibersihkan ketika menyangkut lingkungan data besar Anda. Jadi, sebelum Anda mempercayai data yang masuk, Anda perlu memeriksa konsistensi dengan pengamatan dan analisis berulang. Setelah konsistensi data dikonfirmasi, itu dapat diperlakukan sebagai set metadata yang konsisten. Menemukan set metadata yang konsisten dengan pengamatan yang cermat terhadap pola adalah latihan penting dalam perencanaan data besar apa pun.

Apakah mendistribusikan data

Volume data adalah masalah utama ketika kami mempertimbangkan lingkungan pemrosesan. Karena volume data yang sangat besar yang berkaitan dengan data besar, pemrosesan pada server tunggal tidak dimungkinkan. Solusinya adalah lingkungan Hadoop, yang merupakan lingkungan komputasi terdistribusi yang berjalan pada perangkat keras komoditas. Ini memberi kekuatan pemrosesan lebih cepat pada banyak node. (Pelajari lebih lanjut dalam 7 Hal yang Perlu Diketahui Tentang Hadoop.)

Jangan pernah mengandalkan pendekatan analitik data besar tunggal

Ada berbagai teknologi yang tersedia di pasar untuk memproses data besar. Dasar dari semua teknologi data besar adalah Apache Hadoop dan MapReduce. Karena itu, penting untuk mengevaluasi teknologi yang benar untuk tujuan yang benar. Beberapa pendekatan analitik penting adalah analitik prediktif, analitik preskriptif, analitik teks, analitik data stream, dll. Pemilihan metode / pendekatan yang tepat penting untuk mencapai tujuan yang diinginkan. Yang terbaik adalah menghindari mengandalkan satu pendekatan, tetapi untuk menyelidiki berbagai pendekatan dan memilih pasangan yang cocok untuk solusi Anda.

Jangan memulai inisiatif big data besar sebelum Anda siap

Selalu disarankan untuk memulai dengan langkah-langkah kecil untuk inisiatif data besar apa pun. Jadi, mulailah dengan proyek percontohan untuk mendapatkan keahlian dan kemudian lakukan implementasi yang sebenarnya. Potensi big data sangat mengesankan, tetapi nilai sebenarnya hanya dapat dicapai setelah kita mengurangi kesalahan dan mendapatkan lebih banyak keahlian.

Jangan gunakan data secara terpisah

Sumber data besar tersebar di sekitar kita dan mereka bertambah dari hari ke hari. Penting untuk mengintegrasikan semua data ini untuk mendapatkan hasil analitik yang benar. Berbagai alat tersedia di pasar untuk integrasi data, tetapi harus dievaluasi dengan benar sebelum digunakan. Integrasi big data adalah tugas yang kompleks karena data dari sumber yang berbeda memiliki format yang berbeda, tetapi sangat diperlukan untuk mendapatkan hasil analisis yang baik.

Jangan abaikan keamanan data

Keamanan data adalah pertimbangan utama dalam perencanaan data besar. Awalnya, (sebelum melakukan pemrosesan apa pun), data dalam petabyte, sehingga keamanan tidak diterapkan secara ketat. Tetapi setelah beberapa pemrosesan, Anda akan mendapatkan subset data yang memberikan beberapa wawasan. Pada titik ini, keamanan data menjadi penting. Semakin banyak data diproses dan disetel dengan baik, semakin berharga pula bagi suatu organisasi. Data keluaran yang disetel dengan baik ini adalah kekayaan intelektual dan harus diamankan. Keamanan data harus diimplementasikan sebagai bagian dari siklus hidup data besar.

Jangan abaikan bagian kinerja analitik data besar

Output dari analitik data besar hanya berguna ketika memberikan kinerja yang baik. Big data menawarkan lebih banyak wawasan berdasarkan pemrosesan sejumlah besar data dengan kecepatan lebih cepat. Karena itu, penting untuk mengelolanya secara efektif dan efisien. Jika kinerja big data tidak dikelola dengan hati-hati, itu akan menyebabkan masalah dan membuat seluruh upaya menjadi tidak berarti.

Dalam diskusi kami, kami telah fokus pada yang harus dan tidak boleh dilakukan dalam inisiatif data besar. Big data adalah bidang yang muncul dan ketika datang ke implementasi, banyak perusahaan masih dalam tahap perencanaan. Sangat penting untuk memahami praktik terbaik big data untuk meminimalkan risiko dan kesalahan. Poin diskusi telah diperoleh dari pengalaman proyek langsung, sehingga akan memberikan beberapa panduan untuk membuat strategi big data berhasil.