Il progetto ha visto l’impegno di tutte le risorse disponibili ed il meglio della tecnologia è sceso in campo
Parametrare tutte le sfaccettature del linguaggio umano è stata la sfida che si è posto questo interessante progetto, nato dalla partnership tra le aziende Microsoft e Nvidia.
Il risultato è una macchina con una rete neurale artificiale a cui è stato dato il nome di Megatron-Turing Natural Language Generation (MT-NLG). Questa particolare intelligenza artificiale, ha visto scendere in campo parecchio tempo e risorse da parte delle società di Big tech. Tuttavia si può affermare che sono state ripagate ampiamente visto lo sviluppo di un prodotto unico, innovativo e con specifiche fuori dal comune.
LEGGI ANCHE: Ami l’orto e l’high tech? ecco quello verticale di Living Farming Tree
MT-NLG ha superato di 3 volte quelle che era considera la migliore rete neurale artificiale, la GPT-3 di OpenAI, grazie a i 530 miliardi di parametri. Si colloca quindi ben al di sopra di quella che era la portata delle macchine conosciute fino ad oggi e proprio per questo si guarda ad essa con grande curiosità, soprattutto in prospettiva delle sue applicazioni pratiche.
Il progetto di Megatron-Turing Natural Language Generation e le sue caratteristiche tecniche
Il progetto è stato addestrato su Microsoft Azure NDv4 e sul supercomputer di apprendimento automatico Selene di Nvidia. È inoltre costituito da 560 server di tipo DGX A100, composti da otto GPU A100 da 80 GB.
L’aspetto dell’immagazzinamento dei dati è il tema caldo di questo prodotto. Il suo è un assest davvero significativo, di scala esponenziale, a cui è stato dato il nome di The Pile. Al suo interno sono inseriti 825 GB di dati di testo. Questi sono stati selezionati attraverso i contenuti della rete, come ad esempio Wikipedia ma anche testate scientifiche.
LEGGI ANCHE: Il nuovo robot che vola sullo skateboard: ecco Leonardo
L’AI quindi è in grado di elaborare testi e sviluppare quello che potrebbe essere considerato un embrionale pensiero critico. Inoltre così facendo si sono poste delle basi importanti su quello che è l’addestramento robotico e la produzione sul mercato del largo consumo, andando quindi a riparametrare i costi di produzione che al momento sono proibitivi.