Benvenuto su Hackerpunk — notizie e analisi su intelligenza artificiale, LLM, automazione offensiva e difensiva. Copriamo ricerca, policy e impatto reale dell'AI sulla sicurezza digitale.
Al DevDay 2024 del 1° ottobre, OpenAI ha annunciato aggiornamenti API volti ad aiutare gli sviluppatori a personalizzare i modelli, creare applicazioni vocali, ridurre i costi e migliorare le prestazioni dei modelli più piccoli. In occasione dell'evento di San Francisco, OpenAI ha evidenziato miglioramenti incrementali dei suoi strumenti di intelligenza artificiale e delle sue API, anziché lanci di prodotti nuovi. L'azienda ha introdotto quattro aggiornamenti API chiave: 
Introduzione di Vision all'API Fine-Tuning Gli sviluppatori possono ora ottimizzare GPT-4o con le immagini, migliorandone il riconoscimento visivo per applicazioni quali la ricerca visiva, il rilevamento di oggetti e l'analisi avanzata delle immagini mediche. Ad esempio, OpenAI afferma che Grab, un'azienda di consegna di cibo e ridesharing, trasforma le immagini stradali raccolte dai conducenti in dati di mappatura per GrabMaps. Utilizzando 100 esempi, hanno addestrato GPT-4o a localizzare i segnali stradali e contare i divisori di corsia, aumentando la precisione del conteggio delle corsie del 20% e la localizzazione dei segnali dei limiti di velocità del 13%, automatizzando il processo di mappatura. Per supportare gli sviluppatori, OpenAI offrirà un milione di token di training gratuiti al giorno a ottobre. A partire da novembre, la messa a punto di GPT-4o con immagini costerà 25 $ per milione di token. Memorizzazione nella cache dei prompt Prompt Caching riduce i costi delle API consentendo agli sviluppatori di riutilizzare prompt frequenti a una tariffa scontata. I prefissi lunghi, spesso utilizzati per guidare il comportamento del modello e migliorare la coerenza, in genere aumentano i costi delle chiamate API. L'API di OpenAI ora memorizza automaticamente nella cache i prefissi lunghi per un'ora, offrendo uno sconto del 50% se riutilizzati. Questa funzionalità si applica agli ultimi GPT-4o , GPT-4o mini, o1-preview, o1-mini e ai loro modelli ottimizzati, aiutando gli sviluppatori a risparmiare denaro. Distillazione del modello Model Distillation potenzia modelli più piccoli, come GPT-4o mini, utilizzando output da modelli più grandi. In precedenza, il processo era soggetto a errori, richiedendo agli sviluppatori di gestire più attività per la generazione di set di dati e la misurazione delle prestazioni. La nuova suite Model Distillation nella piattaforma API semplifica questo processo consentendo agli sviluppatori di creare set di dati con modelli avanzati, ottimizzare modelli più piccoli e valutarne le prestazioni su attività specifiche. Per aiutare gli sviluppatori con la distillazione, OpenAI offre due milioni di token di formazione gratuiti al giorno per GPT-4o mini e un milione per GPT-4o fino al 31 ottobre. Oltre questo limite, la formazione e l'utilizzo di un modello distillato saranno valutati alle tariffe di fine-tuning standard di OpenAI.
- Prompt
- Caching
- Model Distillation
- Realtime
- Vision fine tuning
Introduzione di Vision all'API Fine-Tuning Gli sviluppatori possono ora ottimizzare GPT-4o con le immagini, migliorandone il riconoscimento visivo per applicazioni quali la ricerca visiva, il rilevamento di oggetti e l'analisi avanzata delle immagini mediche. Ad esempio, OpenAI afferma che Grab, un'azienda di consegna di cibo e ridesharing, trasforma le immagini stradali raccolte dai conducenti in dati di mappatura per GrabMaps. Utilizzando 100 esempi, hanno addestrato GPT-4o a localizzare i segnali stradali e contare i divisori di corsia, aumentando la precisione del conteggio delle corsie del 20% e la localizzazione dei segnali dei limiti di velocità del 13%, automatizzando il processo di mappatura. Per supportare gli sviluppatori, OpenAI offrirà un milione di token di training gratuiti al giorno a ottobre. A partire da novembre, la messa a punto di GPT-4o con immagini costerà 25 $ per milione di token. Memorizzazione nella cache dei prompt Prompt Caching riduce i costi delle API consentendo agli sviluppatori di riutilizzare prompt frequenti a una tariffa scontata. I prefissi lunghi, spesso utilizzati per guidare il comportamento del modello e migliorare la coerenza, in genere aumentano i costi delle chiamate API. L'API di OpenAI ora memorizza automaticamente nella cache i prefissi lunghi per un'ora, offrendo uno sconto del 50% se riutilizzati. Questa funzionalità si applica agli ultimi GPT-4o , GPT-4o mini, o1-preview, o1-mini e ai loro modelli ottimizzati, aiutando gli sviluppatori a risparmiare denaro. Distillazione del modello Model Distillation potenzia modelli più piccoli, come GPT-4o mini, utilizzando output da modelli più grandi. In precedenza, il processo era soggetto a errori, richiedendo agli sviluppatori di gestire più attività per la generazione di set di dati e la misurazione delle prestazioni. La nuova suite Model Distillation nella piattaforma API semplifica questo processo consentendo agli sviluppatori di creare set di dati con modelli avanzati, ottimizzare modelli più piccoli e valutarne le prestazioni su attività specifiche. Per aiutare gli sviluppatori con la distillazione, OpenAI offre due milioni di token di formazione gratuiti al giorno per GPT-4o mini e un milione per GPT-4o fino al 31 ottobre. Oltre questo limite, la formazione e l'utilizzo di un modello distillato saranno valutati alle tariffe di fine-tuning standard di OpenAI.
