search feed
Al DevDay 2024 del 1° ottobre, OpenAI ha annunciato aggiornamenti API volti ad aiutare gli sviluppatori a personalizzare i modelli, creare applicazioni vocali, ridurre i costi e migliorare le prestazioni dei modelli più piccoli.

Banner Pubblicitario Animato

In occasione dell’evento di San Francisco, OpenAI ha evidenziato miglioramenti incrementali dei suoi strumenti di intelligenza artificiale e delle sue API, anziché lanci di prodotti nuovi.

L’azienda ha introdotto quattro aggiornamenti API chiave:

  • Prompt
  • Caching
  • Model Distillation
  • Realtime
  • Vision fine tuning

Questi strumenti riflettono il cambiamento di OpenAI verso il potenziamento del suo ecosistema di sviluppatori, anziché competere direttamente nel mercato delle applicazioni per l’utente finale.
API in tempo reale

OpenAI ha reso disponibile la sua Advanced Voice Mode a tutti gli abbonati a ChatGPT e ora consente agli sviluppatori di creare applicazioni speech-to-speech. In precedenza, la creazione di applicazioni basate sull’intelligenza artificiale che parlavano agli utenti richiedeva la trascrizione dell’audio, l’elaborazione con un modello linguistico come GPT-4 e la riconversione in parlato, il che spesso comportava una latenza evidente.

La nuova API Realtime elabora l’audio all’istante senza collegare più applicazioni. Supporta la chiamata di funzione, abilitando attività come ordinare una pizza o programmare appuntamenti, con futuri aggiornamenti pianificati per esperienze multimodali, tra cui video.

Banner Pubblicitario

L’API costa 5 dollari per milione di token di input e 20 dollari per milione di token di output per il testo, mentre l’elaborazione audio ha un prezzo di 100 dollari per milione di token di input e 200 dollari per milione di token di output, il che equivale a circa 0,06 dollari al minuto di input audio e 0,24 dollari al minuto di output audio.

OpenAI DevDay in 5 minuti: 4 importanti aggiornamenti API

Introduzione di Vision all’API Fine-Tuning

Gli sviluppatori possono ora ottimizzare GPT-4o con le immagini, migliorandone il riconoscimento visivo per applicazioni quali la ricerca visiva, il rilevamento di oggetti e l’analisi avanzata delle immagini mediche.

Ad esempio, OpenAI afferma che Grab, un’azienda di consegna di cibo e ridesharing, trasforma le immagini stradali raccolte dai conducenti in dati di mappatura per GrabMaps. Utilizzando 100 esempi, hanno addestrato GPT-4o a localizzare i segnali stradali e contare i divisori di corsia, aumentando la precisione del conteggio delle corsie del 20% e la localizzazione dei segnali dei limiti di velocità del 13%, automatizzando il processo di mappatura.

Per supportare gli sviluppatori, OpenAI offrirà un milione di token di training gratuiti al giorno a ottobre. A partire da novembre, la messa a punto di GPT-4o con immagini costerà 25 $ per milione di token.
Memorizzazione nella cache dei prompt

Prompt Caching riduce i costi delle API consentendo agli sviluppatori di riutilizzare prompt frequenti a una tariffa scontata. I prefissi lunghi, spesso utilizzati per guidare il comportamento del modello e migliorare la coerenza, in genere aumentano i costi delle chiamate API.

L’API di OpenAI ora memorizza automaticamente nella cache i prefissi lunghi per un’ora, offrendo uno sconto del 50% se riutilizzati. Questa funzionalità si applica agli ultimi GPT-4o , GPT-4o mini, o1-preview, o1-mini e ai loro modelli ottimizzati, aiutando gli sviluppatori a risparmiare denaro.
Distillazione del modello

Model Distillation potenzia modelli più piccoli, come GPT-4o mini, utilizzando output da modelli più grandi. In precedenza, il processo era soggetto a errori, richiedendo agli sviluppatori di gestire più attività per la generazione di set di dati e la misurazione delle prestazioni. La nuova suite Model Distillation nella piattaforma API semplifica questo processo consentendo agli sviluppatori di creare set di dati con modelli avanzati, ottimizzare modelli più piccoli e valutarne le prestazioni su attività specifiche.

Per aiutare gli sviluppatori con la distillazione, OpenAI offre due milioni di token di formazione gratuiti al giorno per GPT-4o mini e un milione per GPT-4o fino al 31 ottobre. Oltre questo limite, la formazione e l’utilizzo di un modello distillato saranno valutati alle tariffe di fine-tuning standard di OpenAI.

Seguici anche su:

Banner Pubblicitario

@INSTAGRAM https://www.instagram.com/hackerpunk2019/
@LINKEDIN https://www.linkedin.com/company/hackerpunk
@FACEBOOK https://www.facebook.com/hackerpunk2019
@EBOOK
https://amzn.eu/d/6dcujGr
@EBOOK (English version)
https://amzn.eu/d/0yu1ldv
@YOUTUBE https://www.youtube.com/channel/UCiAAq1h_ehRaw3gi09zlRoQ

Banner Pubblicitario Animato

Di HPadmin