sqlschool.gr logo

articles

Articles of SQLschool.gr Team

Data Modernization Challenges to Transform your Data into Value in 2023

Antonios Chatzipavlis
Saturday 21 January 2023

Εισαγωγή

Τα δεδομένα στον 21ο αιώνα είναι σαν το πετρέλαιο τον 18ου αιώνα όπως αρκετοί αναφέρουν. Υπάρχει όμως μια διαφορά στην μεταξύ τους συσχέτιση. Το πετρέλαιο είναι εμπόρευμα, επομένως, ένα βαρέλι πετρελαίου είναι ισοδύναμο με οποιοδήποτε άλλο βαρέλι πετρελαίου. Από την άλλη πλευρά τα δεδομένα είναι ετερογενή και μοναδικά για τον κάθε επιχειρηματικό χώρο (εταιρία, οργανισμό ή κράτος), και με αυτό το πρίσμα πρέπει να αντιμετωπιστούν.

Είναι ένα πολύτιμο, αναξιοποίητο περιουσιακό στοιχείο για τον κάθε επιχειρηματικό χώρο ξεχωριστά. Αυτοί που έγκαιρα θα δουν τη αξία των δεδομένων και των πληροφοριών που μπορούν να εξαγάγουν από αυτά θα έχουν τεράστιες ανταμοιβές.

Ημερήσια παραγωγή δεδομένων

Μελέτες της Forbes, έδειξαν ότι περίπου 2,5 MB νέων πληροφοριών παράγονται κάθε δευτερόλεπτο και μέχρι το 2025 θα παράγονται ημερησίως 463 ΕΒ. Το 2020, ο όγκος των αποθηκευμένων δεδομένων αυξήθηκε σε 40-44 ΖΒ. Μέχρι το 2025, θα αγγίξουμε και ίσως ξεπεράσουνε 1ΥΒ.

a day in data
Source: Raconteur

Αυτό σημαίνει ότι παράγουμε και καταναλώνουμε περισσότερα δεδομένα από ποτέ, και τα δεδομένα είναι στην πραγματικότητα παντού. Όλα αυτά τα δεδομένα, φωτογραφίες μέχρι οικονομικά δεδομένα, έχουν αρχίσει να αναλύονται για να παράγουν πολύτιμες πληροφορίες για ατομικές εταιρείες, οργανισμούς αλλά και ολόκληρα κράτη.

Δαπάνες για την Ανάλυση δεδομένων

Δημοσκόπηση που διεξήχθη από τη NewVantage Partners το 2017, το 85% των επιχειρήσεων κατεβάλλαν προσπάθειες να γίνουν data-driven και παγκoσμίως προβλέπονταν να δαπανηθούν για αυτό 128,21 δισεκατομμύρια δολάρια έως το 2022, από μόλις 19,75 δισεκατομμύρια δολάρια το 2016.

Το 2022 η Gartner με μελέτη της έδειξε ότι το 2022 δαπανήθηκαν για τα Data Analytics 4,4 τρισεκατομμύρια δολάρια τα οποία ήταν 4% αυξημένα σε σχέση με το 2021.

Data Analytics Field

Είμαστε σε μια ψηφιακή οικονομία όπου τα δεδομένα είναι περισσότερο πολύτιμα από ποτέ. Είναι το κλειδί για την ομαλή λειτουργικότητα όλων και χωρίς την αξιοποίηση τους η πρόοδος θα σταματήσει.

Οι μεγάλες αναλύσεις δεδομένων χρησιμοποιούνται πλέον πάνω από το 50% των εταιρειών παγκοσμίως, ενώ στο όχι μακρινό 2015 το ποσοστό αυτό ήταν μόλις 17%.

Το Data Analytics ως πεδίο είναι γεμάτο πλέον με μεγάλες προοπτικές και η τέχνη της ανάλυσης δεδομένων περιλαμβάνει προσεγγίσεις ή τεχνολογίες που χρησιμοποιούνται για την πρόσβαση και τη διερεύνηση των δεδομένων μιας εταιρείας, ενός οργανισμού αλλά ακόμα και ενός κράτους. Μετρά τις οικονομικές και άλλες μετρήσεις του επιχειρηματικού χώρου με σκοπό την παραγωγή πολύτιμων στοιχείων για την ενίσχυση του σχεδιασμού και της απόδοσης. Συνήθως χρησιμοποιεί στατιστική ανάλυση και μοντέλα πρόβλεψης για να καθορίσει τις τάσεις, κατανοώντας γιατί συνέβη και κάνοντας μια εκπαιδευμένη εικασία για το πώς τα πράγματα θα ξεφύγουν στο μέλλον.

Όλα τα παραπάνω δεν θα είχαν καμία αξία αν ήταν μόνο για λίγους. Τα Data Analytics tools & software περιλαμβάνουν data visualization και business intelligence tools για όλους, από statisticians μέχρι information workers, για την χρήση για την εξαγωγή values και insights από συνεχώς αυξανόμενους όγκους μεγάλων δεδομένων.

Μέγεθος δεδομένων

Το μέγεθος των δεδομένων που κάθε επιχειρηματικός χώρος έχει, ποικίλει, αλλά πλέον στους περισσότερους μιλάμε για Big Data. Τα Big Data είναι πληροφορίες μεγάλου όγκου, υψηλής ταχύτητας και μεγάλης ποικιλίας που υποβάλλονται σε επεξεργασία και αναλύονται. Αυτά μπορεί να είναι δομημένα ή μη, τα οποία συγκεντρώνονται και επεξεργάζονται με αυτοματοποιημένα εργαλεία ή τεχνολογίες. Κατά συνέπεια, η διαχείριση δομημένων και αδόμητων δεδομένων με τη χρήση σύγχρονης τεχνολογίας είναι ένας τομέας που αποκτά όλο και μεγαλύτερη σημασία.

Υποδομή δεδομένων

Για τους επιχειρηματικούς χώρους, η υποδομή δεδομένων τους δεν πρέπει να αποτελεί κέντρο κόστους, πρέπει να γίνει κέντρο κερδών, χρησιμοποιώντας τα δεδομένα για να βελτιώσει τα πάντα, μέρα με τη μέρα. Πρέπει να αρχίσουν να θεωρούν τα δεδομένα ως περιουσιακό στοιχείο και να επεξεργάζονται αυτά με βάση τον κανόνα του ότι μπορεί να μετρηθεί μπορεί να βελτιωθεί.

Κάθε επιχειρηματικός χώρος οφείλει να έχει έγκαιρα διαγνώσει την ανάγκη και στρατηγικά να έχει αποφασίσει την αξιοποίηση των δεδομένων που διαθέτει, με σκοπό την ουσιαστικότερη πληροφόρηση.

Προκλήσεις

Όπως αναφέρθηκε παραπάνω το Data Analytics ως πεδίο είναι γεμάτο με προοπτικές αλλά και προκλήσεις. Αυτές τις προκλήσεις θα πρέπει κάθε επιχειρηματικός χώρος να τις αντιμετωπίσει.

Note

Πριν γίνει όμως η αναφορά στις προκλήσεις αυτές θα πρέπει να γίνουν κατανοητά δύο βασικά στοιχεία:

  • Η ανάλυση των δεδομένων είναι κάτι που έχει αρχή αλλά δεν έχει τέλος.
  • Παρόλο που έχουμε αρκετά εξελισσόμενες τεχνολογίες απαιτείται προσπάθεια που μάλιστα είναι συνεχής και δεν μοιάζει με καμία από αυτές που απαιτούνται σε άλλα έργα πληροφορικής.

Συλλογή δεδομένων

Η εύρεση και η συλλογή των απαραίτητων στοιχείων είναι το πρώτο βήμα σε οποιοδήποτε έργο δεδομένων. Ωστόσο, η διαθεσιμότητα των κατάλληλων δεδομένων είναι μία από τις μεγαλύτερες προκλήσεις που αντιμετωπίζουν οι επιχειρηματικοί χώροι. Το κύριο ζήτημα είναι ότι οι αυτοί συλλέγουν τεράστιες ποσότητες δεδομένων χωρίς να τα τροποποιούν για να προσδιορίσουν αν είναι χρήσιμα ή όχι. Αυτό γίνεται γιατί υπάρχει ο φοβος του ότι θα χάσουμε βασικές πληροφορίες στα δεδομένα και επειδή το κόστος αποθήκευσης είναι χαμηλό. Δυστυχώς, αυτό χρησιμεύει μόνο στο να φράξει τους οργανισμούς με άχρηστα δεδομένα που προκαλούν περισσότερο κακό παρά καλό.

Αφθονία Πηγών Δεδομένων

Οι επιχειρηματικοί χώροι χρησιμοποιούν διαφορετικά είδη εργαλείων για τη συλλογή δεδομένων σχετικά με τις πωλήσεις, τους πελάτες, τους υπαλλήλους τους κ.λπ. Αυτό μπορεί να προκαλέσει προβλήματα όσον αφορά τη διαχείριση και την ενοποίηση δεδομένων. Για να παραμείνουν πάνω από το νερό και να αποφύγουν να πνιγούν από αυξανόμενους όγκους δεδομένων, απαιτούν μια κεντρική πλατφόρμα που μπορεί να ενσωματώσει τις πηγές δεδομένων τους και να παρέχει άμεση πρόσβαση σε, οργανωμένες, δομημένες και ουσιαστικές πληροφορίες – εξοικονομώντας δυνητικά τεράστια ποσά χρημάτων και χρόνου.

Απόρρητο και ασφάλεια δεδομένων

Οι κυβερνοεπιθέσεις έχουν γίνει ένα κοινό πρόβλημα τα τελευταία χρόνια, ως εκ τούτου η ανάγκη για την ασφάλεια των δεδομένων γίνεται απαραίτητη. Οι επιχειρηματικοί χώροι έχουν παραχωρήσει στα ενδιαφερόμενα μέρη πρόσβαση στα σύνολα δεδομένων τους, εξαιτίας αυτού, αντιμετωπίζουν την πρόσθετη πρόκληση της διασφάλισης της συνεχούς ασφάλειας και της συμμόρφωσης με τους κανονισμούς προστασίας δεδομένων, όπως ο GDPR. Για να ξεπεραστεί αυτό, πρέπει να ασκήσουν περισσότερο έλεγχο στους κανονισμούς δεδομένων.

Προετοιμασία Δεδομένων

Ενώ πολλοί θεωρούν ότι η προετοιμασία δεδομένων είναι το πιο δύσκολο μέρος οποιουδήποτε έργου δεδομένων, είναι μια κρίσιμη διαδικασία που διασφαλίζει ότι τα μοντέλα ανάλυσης των δεδομένων θα είναι χτισμένα σε δεδομένα υψηλής ποιότητας. Αυτό τελικά οδηγεί σε ένα πιο ισχυρό μοντέλο που μπορεί να κάνει πιο ακριβείς προβλέψεις. Ευτυχώς, πολλά εργαλεία είναι πλέον διαθέσιμα στην αγορά για να βοηθήσουν στην προεπεξεργασία των δεδομένων τους, αυτοματοποιώντας ορισμένες πτυχές της διαδικασίας καθαρισμού δεδομένων.

Διαχείριση μεγάλων όγκων δεδομένων

Για να αντιμετωπίσουν την πρόκληση της διαχείρισης του συνεχώς αυξανόμενου όγκου δεδομένων, οι επιχειρηματικοί χώροι στρέφονται όλο και περισσότερο σε πλατφόρμες μεγάλων δεδομένων για αποθήκευση, διαχείριση, καθαρισμό και ανάλυση, επιτρέποντάς τους να εξάγουν τις πληροφορίες που απαιτούν οι οργανισμοί τους όταν τις χρειάζονται.

Ανακάλυψη δεδομένων

Οι επιχειρηματικοί χώροι συχνά αποτυγχάνουν να αποκτήσουν την πλήρη κυριότητα των συνόλων δεδομένων τους, καθιστώντας δύσκολη την εύρεση του κατάλληλου ατόμου που μπορεί να απαντήσει στις ερωτήσεις τους. Αυτό το ζήτημα μπορεί να λυθεί με τη λεπτομερή τεκμηρίωση των συνόλων δεδομένων και άλλων στοιχείων δεδομένων. Αυτό είναι όλο. Η ενδελεχής τεκμηρίωση αποτρέπει την επανειλημμένη εμφάνιση βασικών ερωτημάτων, κάτι που είναι εξάντληση πόρων και χάσιμο χρόνου.

Εξαγωγή των κατάλληλων πληροφοριών δεδομένων

Οι επιχειρηματικοί χώροι πιέζουν ολοένα και περισσότερο για ταχύτερη παράδοση ή/και self-service reporting για την εξαγωγή πληροφοριών. Για να το επιτύχουν αυτό, στρέφονται σε μια νέα γενιά εργαλείων και πλατφορμών ανάλυσης που μπορούν να μειώσουν γρήγορα τον χρόνο που απαιτείται για τη δημιουργία πληροφοριών.

Προσδιορισμός της γενεαλογίας δεδομένων (data lineage)

Η γενεαλογία δεδομένων είναι η διαδικασία κατανόησης, καταγραφής και οπτικοποίησης δεδομένων καθώς ρέουν από τις πηγές δεδομένων στην κατανάλωση. Το να γνωρίζετε από πού προήλθε ένα σύνολο δεδομένων δεν είναι πάντα αρκετό για να το κατανοήσετε πλήρως. Ο προσδιορισμός της γενεαλογίας δεδομένων μπορεί να δείξει σημαντικό αντίκτυπο στη μετεγκατάσταση δεδομένων, τη διακυβέρνηση δεδομένων και τη στρατηγική εξάρτηση δεδομένων.

Επίλογος

Κάθε επιχειρηματικός χώρος που θέλει να πορευτεί με γνώμονα την ανάλυση δεδομένων πρέπει να ξεκινήσει με ένα σχέδιο που βασίζεται σε στόχους που θα επιτευχθούν τμηματικά λαμβάνοντας σοβαρά και εξ αρχής τις παραπάνω προκλήσεις. Το 2023 ίσως είναι η τελευταία ευκαιρία που δίνεται σε αυτούς να ξεκινήσουν το ταξίδι αυτό καθώς απλά θα τρέχουν πίσω από τις εξελίξεις που ο ανταγωνισμός θα δίνει.

Antonios Chatzipavlis

Antonios Chatzipavlis

Antonios is a Data Solutions Consultant and Trainer. He has been working in IT since 1988. In his career, he has worked as senior developer, IT Manager, Solutions Architect and IT Consultant. Since 1995 he has been devoted on new technologies and software development tools, mainly by Microsoft, either by training company staff and colleagues or assisting them in design, development and implementation as a consultant or chief developer. He has focused in Databases and Data Science since 1995. He specialized in Microsoft SQL Server since version 6.0 in areas like SQL Server Internals, Database Design and Development, Business Intelligence and in 2010 he has started working with Azure Data Platform, NoSQL databases, Big Data Technologies and Machine Learning. He is an active member of many IT communities in Greece, answering colleagues' questions and writing articles in his web site. He is the owner of SQLschool.gr which is a community portal with a lot of information about Microsoft SQL Server. He has been a Microsoft Certified Trainer (MCT) since 2000. Microsoft honored him as MVP on Data Platform due to his activities in SQL Server since 2010. He holds a large number of Microsoft Certifications and Microsoft SQL Server Certifications since version 6.5.

Tip

What's New in SQL Server 2022 - Episodes

More Tips...

Become a member

If you want to receive updates from us become a member to our community.

Connect

Explore

Learn


sqlschool.gr © 2010-2024 All rights reserved

This site uses cookies for operational and analytics purposes only. By continuing to browse this site, you agree to their use.