Την εποχή του θριάμβου των Δεδομένων, η αποθήκευση και ο τρόπος διατήρησης και επεξεργασίας των δεδομένων της δεκαετίας του ’90 μπορεί να φαντάζει σαν ένας απαρχαιωμένος δεινόσαυρος σε σχέση με τους σημερινούς τρόπους αποθήκευσης.
Του Γιώργου Σιούτζου
Business Analyst
Ενώ οι εταιρείες συνεχίζουν να κάνουν πολύ λόγο στις παρουσιάσεις τους για Big Data και AI, βαθιά στα datacenters τους εξακολουθεί να συντηρείται μία κοστοβόρα αποθήκη δεδομένων και ο τρόπος οργάνωσης και αποθήκευσης των δεδομένων που βρίσκονται εκεί σε κάθε προσπάθεια βελτίωσης και ποιοτικής αναβάθμισης, έχει κοινούς παρανομαστές το κόστος, το χρόνο καθώς και την επεκτασιμότητα.
Η αποθήκη δεδομένων, με τη διαδικασία της τροφοδοσίας κατά παρτίδες, την υπερ-άκαμπτη δομή αστέρι ή νιφάδα χιονιού, την αναπόφευκτη γλώσσα SQL και τις μεγάλες εγκαταστάσεις, στο κέντρο δεδομένων είναι ακόμα εκεί. Το Hadoop, οι πιο σύγχρονες βάσεις δεδομένων NoSQL και οι άπειρες δυνατότητες του Cloud, ανάγκασαν τις αποθήκες δεδομένων να προσαρμοστούν και να απορροφήσουν στην λειτουργικότητα τους νέες εξελίξεις στον τρόπο αποθήκευσης. Το μεγάλο στοίχημα φυσικά, είναι η διασφάλιση της ακολουθίας στα δεδομένα, καθώς γίνεται η προσαρμογή και το λιγότερο κόστος σε όλους τους τομείς. Επίσης, μία άλλη πρόκληση είναι η εκτέλεση βασικών λειτουργιών και η ύπαρξη επιπρόσθετων δυνατοτήτων όσο αφορά τις βάσεις δεδομένων μέσα στην ίδια βάση, χωρίς να υπάρχουν άλλα προγράμματα και ενδιάμεσοι φορείς για την γνωσιακή επεξεργασία των δεδομένων.
Βάσεις με πολλαπλές εγγενείς λειτουργικότητες
Οι multirole βάσεις δεδομένων είναι μία σύγχρονη τάση. O πελάτης έχει τη δυνατότητα να αναπτύξει ένα μοντέλο βάσης δεδομένων, με τη δυνατότητα μέσα στο ίδιο μηχάνημα, να αφιερώσει κόμβους σε συναλλαγές και κόμβους για τη λήψη αποφάσεων. Η βάση δεδομένων του μέλλοντος θα μπορεί να χρησιμοποιείται εξίσου καλά ώστε να υποστηρίξει τη συναλλαγή και τη λήψη αποφάσεων αξιοποιώντας την ομαδοποίηση και χρησιμοποιώντας Exadata για την επιτάχυνση των ερωτημάτων.
Μία βάση δεδομένων βελτιστοποιημένης αρχιτεκτονικής για την αποθήκευση δεδομένων που φιλοξενείται σε Exadata συσκευές που είναι αυτοδιοικούμενες με παραμέτρους auto-tuning της κάθε βάσης δεδομένων, αυτο-ασφαλή με την αυτόματη κρυπτογράφηση δεδομένων και την αυτόματη εφαρμογή των ενημερωμένων εκδόσεων ασφαλείας και τελικά αυτοπαρασχείσα είναι η φιλόδοξη μελλοντική βάση δεδομένων..
Το νέο ως συνέχεια του παλιού
Η ενσωμάτωση του Cloud στους χάρτες πορείας της Oracle και της Teradata, αποτελεί ένδειξη της ολίσθησης της αγοράς σύννεφου, ειδικά της βάσης δεδομένων και των προσφορών Data Warehouse As A Service. Πράγματι, η άνοδος της Google με την προσφορά Cloud BigQuery και οι υπηρεσίες Amazon Web Services με το RedShift κλονίζουν την αγορά.
Ωστόσο, πολλά ξεκινήματα βασίστηκαν σε στοιχήματα σε αυτές τις λύσεις cloud για να δημιουργήσoυν την πρώτη αποθήκη δεδομένων (from scratch) και εταιρείες όπως η Nasdaq, η NTT DoCoMo, η Johnson που έχουν συνεργαστεί για την αποθήκευση των δεδομένων της με τη RedShift, ενώ η BNP Paribas Fortis, Motorola, Ferrero έχει κάνει την επιλογή του BigQuery.
Οι προσφορές που είναι σήμερα διαθέσιμες στο Cloud, προέρχονται κυρίως ως συνέχεια των υπαρχουσών βάσεων δεδομένων με στόχο μία δημιουργική και αποτελεσματική συνέχεια και ολοκλήρωση. Η «από το μηδέν» αρχή μίας τεχνολογίας και μίας φιλοσοφίας αποθήκευσης, μπορεί να ενέχει προβλήματα ειδικά στη μεταφερσιμότητα αλλά και στη διαχείριση των δεδομένων που βρίσκονται με άλλες μεθόδου αποθηκευμένα.
Η αρχιτεκτονική Snowflake είναι πολύ καινοτόμος λύση, δεδομένου ότι μια παραδοσιακή βάση δεδομένων έχει ένα σύστημα αποθήκευσης, ένα σύστημα προστασίας, ένα σύστημα συναλλαγών και ούτω καθεξής. Μια πιο σύγχρονη προσέγγιση είναι η Snowflake. Η κοινή χρήση δεδομένων Snowflake έχει φέρει επανάσταση στο πώς οι οργανισμοί διανέμουν και καταναλώνουν κοινά δεδομένα. Η μοναδική αρχιτεκτονική της ενσωματωμένης με την cloud φιλοσοφία αποθήκευσης δεδομένων Snowflake, επιτρέπει την ανταλλαγή ζωντανών δεδομένων χωρίς αντιγραφή και μετακίνηση συνόλων δεδομένων. Οι πάροχοι δεδομένων, επιτρέπουν την ανταλλαγή δεδομένων με ασφαλή τρόπο και διαχειριζόμενα δεδομένα εμφανιζόμενα στην οθόνη σε λίγα λεπτά για τους καταναλωτές, οι οποίοι μπορούν να τα δουν και να τα συνδυάσουν απρόσκοπτα με τις δικές τους πηγές δεδομένων. Όταν ένας πάροχος δεδομένων προσθέτει ή ενημερώνει δεδομένα, οι καταναλωτές βλέπουν πάντοτε την πιο πρόσφατη έκδοση σε πραγματικό χρόνο.
Με αυτήν την αρχιτεκτονική κοινών δεδομένων, οι σχεδιαστές ισχυρίζονται ότι είναι σε θέση να προσφέρουν 200 φορές την απόδοση των παραδοσιακών λύσεων και να μειώσουν το κόστος αποθήκευσης κατά 80%. Η λύση μιλάει πολύ και πολλές εταιρείες που έχουν δοκιμάσει την λύση Snowflake συμπεριλαμβανομένου του Adobe, Deliveroo, Capital One.
Τι γίνεται με την SQL;
Γεννημένη στη δεκαετία του ’70 – μια αιωνιότητα στη χρονική κλίμακα της πληροφορικής – η γλώσσα διαχείρισης βάσεων δεδομένων SQL φαίνεται να εξαφανίζεται κατά την εμφάνιση της νέας γενιάς βάσεων δεδομένων NoSQL. Ωστόσο, αυτή η καλή παλιά SQL εξακολουθεί να είναι παρούσα στις αρχιτεκτονικές λήψης αποφάσεων και οι αναλυτικές λύσεις νέας γενιάς, όπως το Tableau ή το Qlik, βασίζονται στην απολιθωμένη αυτή γλώσσα για την αναζήτηση πηγών δεδομένων. Επιπλέον, η διαθεσιμότητα των βάσεων δεδομένων SQL στο σύννεφο θα διαιωνίσει την παρουσία της μόνο στο σύστημα πληροφόρησης των επιχειρήσεων στο μέλλον, με σεβασμό σε όλες τις άλλες λύσεις NoSQL που διακηρύσσουν πιο αποτελεσματική και καλύτερη προσαρμοσμένη στους μεγάλους όγκους δεδομένων. Με δεδομένη την απόδοση που επιτεύχθηκε σήμερα σε βάσεις δεδομένων SQL στο σύννεφο, η SQL δεν θα εξαφανιστεί εντελώς όσο σύντομα υπολογίζουμε.
2018, ο υβριδισμός γίνεται ο κανόνας
Αν και οι νεοσύστατες επιχειρήσεις που ξεκινούν από ένα κενό φύλλο χαρτιού θα ευνοούνταν να υιοθετήσουν καινοτόμες λύσεις, σε άλλες εταιρείες, η συνύπαρξη μεταξύ παλαιών και νέων θα δημιουργήσει αρχιτεκτονικές που είναι μερικές φορές εκπληκτικές και υβριδικές με στόχο να ικανοποιήσουν τις υβριδικές ανάγκες. Οι βάσεις δεδομένων συναλλαγών, η αποθήκη δεδομένων με τη χρήση της SQL και οι υποδομές μεγάλων δεδομένων βρίσκονται στη διαδικασία συνύπαρξης και αποτελεσματικής ενσωμάτωσης. Το παράδειγμα της ανακάλυψης ενός μοντέλου αποθήκευσης εντός μνήμης στον τομέα λήψεως αποφάσεων είναι σίγουρα η πιο προφανής απόδειξη.
Αυτή η τεχνολογία εισήχθη στην αγορά από τον Qlik. Τώρα, όλοι οι εκδότες την ενσωμάτωσαν στις βάσεις δεδομένων τους και ενώ πολλοί θεωρούν την προσέγγιση πολύ περιορισμένη από άποψη όγκου για τη μεγάλη αποθήκη δεδομένων, με τη HANA, η SAP έχει αποδείξει τη συνάφεια της προσέγγισης με τους χρήστες SAP BW. Το SAP χρησιμοποιεί τώρα μνήμη σε συναλλαγές, προσφέροντας μια ισχυρή εναλλακτική λύση στην παραδοσιακή σχέση για να κάνει το OLTP.
Μετά από αυτό τη γενιά του cloud, ίσως η γενιά των φωτονίκών υπολογιστές του αύριο, με χιλιάδες δυνατότητες μνήμης memristor yottabytes θα υπογράψουν την άνοδο μιας νέας γενιάς Data Warehouse σε 100% πραγματικό χρόνο.
Η εξέλιξη του υλικού επηρεάζει το σχεδιασμό Data Warehouse
Οι νέες εξελίξεις στο υλικό κομμάτι πέρα από το λογισμικό σίγουρα επηρεάζουν τη λογική αλλά και τη φυσική σχεδίαση των βάσεων δεδομένων. Ο τρόπος με τον οποίο σχεδιάζουμε φυσικά μοντέλα δεδομένων αλλάζει. Όχι μόνο λύσεις in-memory, αλλά λύσεις υψηλής ταχύτητας σε πραγματικό χρόνο / streaming, λύσεις εγγράφων και περισσότερα μας αναγκάζουν να ξανασκεφτούμε πώς τα φυσικά δεδομένα πρέπει να είναι δομημένα ή ημι-δομημένα για να επιτύχουν τα κέρδη απόδοσης των επιχειρηματικών χρηστών ζήτηση. Η εστίαση της πληροφορικής και των πρωτοβουλιών φυσικού-πραγματικού σχεδιασμού πρέπει τώρα να κυριαρχεί στις επιχειρηματικές διαδικασίες και να λαμβάνεται υπόψη στο λογικό σχεδιασμό. Το υλικό πάντοτε είναι βελτιωμένο σε σχέση με χθες, γρηγορότερες και φθηνότερες λύσεις προκύπτουν και φτάνει τώρα στο σημείο που μας αναγκάζει να ξανασκεφτούμε το φυσικό σχεδιασμό (φυσικά μοντέλα δεδομένων).
