Προ εκπαιδευμένες βιβλιοθήκες - μετασχηματιστές για ΑΙ
To 2022, η Meta AI δημοσίευσε το «OPT: Open Pre-Trained Transformer Language Models» και ένα σχετικό αποθετήριο κώδικα με σκοπό τη δημιουργία ανοιχτού κώδικα μοντέλων μεγάλων γλωσσών υψηλής απόδοσης (LLM) στο κοινό.
Συγκεκριμένα, το OPT παρέχει μια ολόκληρη σουίτα LLM, που κυμαίνονται σε μέγεθος από 125 εκατομμύρια έως 175 δισεκατομμύρια παραμέτρους, μαζί με τον κωδικό που χρησιμοποιείται για την εκπαίδευση αυτών των μοντέλων.
Εντυπωσιακά, το μεγαλύτερο μοντέλο OPT-175B (δεν υπάρχει στο αποθετήριο κώδικα αλλά διατίθεται κατόπιν αιτήματος) φαίνεται ότι λειτουργεί παρόμοια με το GPT-3 , το οποίο περιέχει επίσης 175 δισεκατομμύρια παραμέτρους, παρά το γεγονός ότι χρησιμοποιεί μόνο το 15% του GPT-3 κατά την ανάπτυξη και την εκπαίδευση.
Παρά το γεγονός ότι τα LLM έχουν επιδείξει εντυπωσιακή απόδοση σε πολυάριθμες εργασίες (π.χ. μηδενική και ελάχιστη μάθηση), έχουν γίνει διαθέσιμα στο κοινό μόνο μέσω API.
Αυτή η περιορισμένη πρόσβαση περιορίζει την ικανότητα των ερευνητών να κατανοήσουν πώς και γιατί λειτουργούν αυτά τα μεγάλα γλωσσικά μοντέλα, εμποδίζοντας την πρόοδο στις προσπάθειες βελτίωσης της ευρωστίας τους και μετριασμού γνωστών ζητημάτων όπως η μεροληψία και η τοξικότητα.
Με την κυκλοφορία του OPT, η ερευνητική κοινότητα βαθιάς μάθησης έχει πλέον πλήρη πρόσβαση σε μια ολόκληρη σουίτα LLM (συμπεριλαμβανομένων μικρότερων μοντέλων), επιτρέποντας την ανάλυση που ενισχύει περαιτέρω την κατανόηση του τρόπου λειτουργίας αυτών των μοντέλων.
Η πλήρης έκδοση OPT περιλαμβάνει: Προεκπαιδευμένα γλωσσικά μοντέλα πολλών μεγεθών, μια βάση κώδικα για την εκπαίδευση και την ανάπτυξη αυτών των μοντέλων και βιβλία καταγραφής που περιγράφουν λεπτομερώς τη διαδικασία ανάπτυξης μοντέλων.
Η κυκλοφορία προεκπαιδευμένων LLM στο OPT σηματοδοτεί την πρώτη φορά κατά την οποία μοντέλα γλώσσας αυτής της κλίμακας έχουν γίνει πλήρως διαθέσιμα στην ερευνητική κοινότητα. Προηγουμένως, τέτοια μοντέλα ήταν προσβάσιμα μόνο μέσω API επί πληρωμή και μόνο λίγα ερευνητικά εργαστήρια είχαν πλήρη πρόσβαση στην πηγή των μοντέλων.
Συγκεκριμένα, το API για το GPT-3 που δημιουργήθηκε από την OpenAI προσφέρει πολλά διαφορετικά μεγέθη μοντέλων και χρεώνει τους χρήστες ανά αριθμό κουπονιών που δημιουργούνται. Πηγαίνοντας ακόμη πιο μακριά, το GPT-3 API χρεώνει επίσης τους χρήστες για τη λεπτομέρεια του LLM τους και ακόμη και τη δημιουργία ενσωματώσεων κειμένου.
Αν και ένα τέτοιο API μπορεί να είναι το πιο κατάλληλο για εμπορικές εφαρμογές, η βιβλιοθήκη OPT δίνει τη δυνατότητα στην ερευνητική κοινότητα στο σύνολό της να αναλύσει τη συμπεριφορά των LLM, να βελτιώσει την ευρωστία τους και να μετριάσει γνωστά ζητήματα όπως η μεροληψία και η τοξικότητα παρέχοντας πλήρη πρόσβαση σε τέτοια μοντέλα.
Η σουίτα προεκπαιδευμένων μοντέλων γλώσσας που παρέχονται στο OPT ακολουθεί μια αρχιτεκτονική μετασχηματιστή μόνο με αποκωδικοποιητή - μια αρχιτεκτονική που διαδόθηκε για μοντελοποίηση γλώσσας με την κυκλοφορία του GPT-2 και επεκτάθηκε από το GPT-3 .
H αρχιτεκτονική μετασχηματιστή μόνο για αποκωδικοποιητή είναι απλώς ένα μοντέλο μετασχηματιστή με ολόκληρο τον κωδικοποιητή και τις μονάδες αυτοπροσοχής κωδικοποιητή-αποκωδικοποιητή.
Σημείωση του Γιάννη Κουρδομένου: Ευελπιστώ τώρα να έχετε καταλάβει έστω και τα βασικά. Γιατί δεν υπάρχουν πολιτικές στη χώρα μας για την ΑΙ το γνωρίζουν τα αστικά πολιτικά κόμματα και ειδικότερα της ΝΔ που παρείχε προεκλογικά από δυο εκ. ευρώ οικονομική ενίσχυση σε πέντε ολιγάρχες !
Η Nvidia αναφέρει ότι τα συστήματα που παρέχει θα διαμορφώσουν το πλαίσιο ώστε την τεχνητή νοημοσύνη να μπορεί να την διαχειρίζεται ακόμα και ο αδαής, ακόμα και αυτός που δεν γνωρίζει ούτε μια γλώσσα κώδικα.
Εμείς γιατί ''φάγαμε'' δεκαετίες έρευνας για κάτι το οποίο πλέον το κάνουν οι πολυεθνικές fast food ; Για πολλοστή φορά δεν θα μας δικαιώσει κανείς.
ΕΛΛΗΝΙΚΗ ΤΕΧΝΗΤΗ ΝΟΗΜΟΣΥΝΗ ΤΣΕΠΗΣ - VIDEO
Ακόμα και το GLYFADA.AI είναι πιο ''προχωρημένο'' από το τσάτ διότι το τσάτ δεν μιλάει όπως το έχουν υλοποιήσει ούτε ακούει ! Είναι για γραπτό κείμενο. Να βάλουν μικρόφωνο και μεγάφωνο στο τσάτ ώστε να διαπιστώσεται πόσο θα αργεί να απαντήσει, ενώ το εικονιζόμενο απαντά αμέσως.
Ασφαλώς η ΑΙ τύπου GhatGPT είναι ένα κτήριο υπολογιστές και μεγάλη βάση βιβλιοθηκών, ενώ στον αντίποδα η ΑΙ που τοποθετείτε σε ένα μικρό τσιπάκι είναι για συγκεκριμένες λειτουργίες. Ακόμα και σε μια πλακέτα τσέπης με ένα νανοτσιπάκι μπορεί να υπάρχει ΑΙ αντίστοιχη του GhatGPT αν συνδεθεί με wifi και το cloud. Μέχρι το 2029 τα νανοτσιπάκια θα δεσπόζουν στον φλοιό του εγκεφάλου πολλών ανθρώπων χωρίς να χρειάζονται κινητά και pc ! Η σύνδεση με την ΑΙ θα γίνεται αυτόματα μέσω του ανθρώπινου εγκεφάλου.
Εμείς σε αντιδιαστολή όσων αναπτύσσουν ΑΙ τεραστίου μεγέθους η οποία προυποθέτει υπολογιστές , σέρβερ , βιβλιοθήκες δεκάδων και εκατοντάδων γίγα, κ.α. διαόλους και τριβόλους , αναπτύσσουμε ακόμα και μια πλακέτα σε μέγεθος τρίχας με υποτυπώδη νοημοσύνη. Το μικροφωνάκι χρυσού χρώματος ξέρετε τι μέγεθος έχει ; 2 χιλιοστά ! Τα led είναι ενός χιλιοστού.
Καλώς η κακώς, δεν γνωρίζω πως αντιλαμβάνεται κάθε ένας, σήμερα υπάρχουν εκατομμύρια άνθρωποι που έχουν κάνει βασικό τους εργαλείο την ΑΙ. Υπάρχουν εταιρίες, υπάρχουν επιχειρηματίες που κερδίζουν χρόνο και χρήμα αξιοποιώντας την παρεχόμενη ΑΙ τύπου GhatGPT.
Παράλληλα υπάρχουν και οι αρνητές, όμως η Ιστορία έχει αποδείξει ότι οι αρνητές στο τέλος θα χάνουν σε σχέση με όσους/ες προηγήθηκαν και αξιοποίησαν τις παρεχόμενες τεχνολογίες.
Αναφέρομαι σε άτομα που έχουν μπροστά τους δεκαετίες ζωής, άρα το μέλλον τους θα είναι αλληλένδετο με την τεχνολογία. Στον αντίποδα εμείς ''φάγαμε '' δεκαετίες έρευνας , πρωτοστατήσαμε σε σειρά από τομείς , ενώ το κέρδος το αντλούν οι ημέτεροι της ΝΔ , του ΠΑΣΟΚ και του ΣΥΡΙΖΑ !
Οι νεοέλληνες/ιδες είναι μόνο για προδοσίες και για εισαγωγή και χρήση ξένων τεχνολογιών. Τόσες δεκαετίες υπήρξαν πολιτικές από τις εκόστοτε κυβερνήσεις ώστε η χώρα μας να παράξει έστω και καρφίτσες ? Στην Ελλάδα δεν υπάρχουν Πανεπιστήμια, ερευνητές, επιστήμονες; Πως δεν υπάρχουν. Τους έχουν εξαγοράσει όλους οι ξένες πολυεθνικές, και στον αντίποδα για όσους δεν έχουν εξαγοράσει δεν υπάρχει αρωγός Πολιτεία - Κράτος.
ΠΑΡΑΔΕΙΓΜΑ: Αν το 1999 είχα δημιουργήσει ένα σέρβερ και παρείχα σε πρώιμο στάδιο για πρώτη φορά ΕΛΛΗΝΙΚΗ ΑΙ τύπου GhatGPT ξέρετε τι θα είχε ισχύσει ; Δίωξη - Κατάσχεση και καταλήστευση των εξοπλισμών. Το αντίστοιχο που έκαναν επί δεκαετίες σε βάρος μας και των τεχνολογιών που δημιουργούσαμε στην Ραδιοφωνία. Το Αμερικάνικο το πολυεθνικό και οτιδήποτε ξένο το προσκυνάνε, τόσο οι κυβερνήσεις όσο και οι ραγιάδες.
Άλλωστε μην μακρηγορούμε με τους ξεφτίλες. Πριν υπάρξουν διαδικτυακά σόσιαλ και ΑΙ είχα καταθέσει στον Δήμο Γλυφάδας φάκελλο Πρόταση - Μελέτη - Αίτηση. Γνωρίζετε την συνέχεια ; Τα σόσιαλ στη χώρα μας υπήρχαν δεκαετίες πριν την διάδοση του διαδικτύου του wifi και του κινητού. Ποιοι έκαναν την διάδοση οι πολυεθνικές ;
Ο νεοελληνικός λαός γνωρίζεται πόσο εύκολα ξεχνά όταν του πετάξουν μια σειρά από πολυεθνικά καθρεφτάκια ; Δεν μου λέτε , με ειλικρίνεια , διότι ειλικρινής δεν είναι η φάρα των νεοελλήνων , αν οι αμερικανοί δεν είχαν δημιουργήσει το ίντερνετ , το android κ.α. τεχνολογίες ώστε στη συνέχεια να υπάρχουν σόσιαλ , τι θα έκαναν μερικά εκατομμύρια νεοελλήνων ? ( Τι έκαναν τις δεκαετίες 60,70,80,90 ; )
Είναι το λιγότερο καφρίλ@, τόσο σε πολιτικό επίπεδο όσο και σε κοινωνικό, και ειδικότερα σε τοπικό, όταν πολλοί/ες και διάφοροι/ες που πλέον η χούφτα τους έχει γίνει ένα με το κινητό γράφοντας στα κοινωνικά - σόσιαλ κάνουν τον αδαή από που ξεκίνησαν και τι ίσχυσε/ει στη χώρα μας.
Το γεγονός να πληρώνει ο Ελληνικός λαός χιλιάδες μισθούς για διαχειριστές/ιες των σόσιαλ πολιτικών , βουλευτών, περιφερειαρχών , προέδρων , και δημάρχων δεν τιμά κανέναν ψηφοφόρο τους. Δεν αρκεί που δανείζονται ώστε να πληρώσουν για εξαγορά ψήφων διαμορφώντας για πολλοστή φορά μεσοπρόθεσμα εθνική οικονομική καταστροφή την οποία θα πληρώσει ξανά η κοινωνία, δανείζονται ώστε να πληρώνουν και χιλιάδες διαχειριστές σόσιαλ !
Όσοι ψηφίζετε ΝΔ, ΠΑΣΟΚ, ΣΥΡΙΖΑ, κ.α. συστημικά κόμματα υπηρέτησης μιας χούφτας οικογενειών, οι οποίες παρεμπιπτόντως γνωρίζετε ότι δεν πρωτοστάτησαν πουθενά, και ειδικότερα κοινωνικά, που ακριβός συμμετέχετε ; Αναφορικά με τον Δήμο Γλυφάδας και όσα ισχύουν επί δεκαετίες και έπειτα του 2014 ...αρσενικές - θηλυκές σ%ρό$ες. Τώρα που τα έχετε πλέον όλα δικά σας χορτάσατε ; ΄
Δικά σας τα κόμματα, δική σας η εξουσία, δικό σας το πελατειακό σύστημα, δικό σας το κρατικό μαγαζί, δικοί σας οι Ο.Τ.Α , αδιαφανώς δικά σας τα χρήματα του κοινωνικού συνόλου σε βάρος της κοινωνίας, δικά σας και τα σόσιαλ. Χορτάσατε ;
Ο άνθρωπος σε πλήρη αντιδιαστολή με την ΑΙ, ( τεχνητή νοημοσύνη), διαθέτει επαρκή νοημοσύνη και εγκέφαλο για συγκεκριμένη δομή λειτουργίας η οποία στον Δήμο Γλυφάδας παντελώς απουσιάζει.
0 σχόλια:
Δημοσίευση σχολίου