Progettare un'imbracatura di servizio AI costruita per durare

Sponsorizzato Il prossimo vantaggio competitivo nell’IA aziendale ha meno a che fare con il modello che scegli piuttosto che con quello che costruisci intorno ad esso. È un cambiamento importante. Negli ultimi anni, gran parte della conversazione sull’intelligenza artificiale si è concentrata sulla capacità del modello: modelli più grandi, ragionamento migliore, finestre di contesto più ampie, punteggi di riferimento più elevati. Quei progressi sono stati straordinari

Ma mentre l’IA passa dalla sperimentazione alla produzione, la domanda che gli imprenditori devono affrontare è cambiata: non si tratta più di «cosa può fare il modello?», ma di «Possiamo fornire quell' intelligenza in modo affidabile, economico e su larga scala?

» Sempre più spesso, la risposta dipende dal sistema ingegneristico che circonda il modello, tra cui l’architettura, la gestione della memoria, la pianificazione e le decisioni di ottimizzazione che determinano l’efficienza con cui l’intelligenza del modello diventa un

capacità di produzione. Per i dirigenti tecnici, questo cambia dove dovrebbero andare gli investimenti in intelligenza artificiale e cosa dovrebbero richiedere dall’architettura che lo supporta. Inizia con il carico di lavoro, non con il modello Non esiste un modello universalmente «migliore» o un’architettura AI. Esiste solo la soluzione giusta per il problema aziendale.

Un assistente rivolto al cliente ottimizzato per risposte rapide ha requisiti fondamentalmente diversi da una pipeline di elaborazione dei documenti che può funzionare da un giorno all’altro

. Un’applicazione di conoscenza interna e una piattaforma di servizio clienti ad alto volume possono utilizzare lo stesso modello di base ma richiedono architetture di servizio molto diverse. Il carico di lavoro definisce i vincoli. I vincoli dovrebbero determinare l’architettura. Sembra semplice, ma è in contrasto con il modo in cui molte organizzazioni si sono avvicinate alle prime implementazioni dell’IA. Durante un proof of concept, l’accuratezza del modello domina naturalmente la discussione

. La produzione introduce vincoli che sono molto più facili da ignorare quando sono coinvolti solo pochi utenti: latenza, concorrenza, pressione della memoria, utilizzo della GPU, costi dell’infrastruttura e traffico imprevedibile. Un modello che produce risposte marginalmente migliori non è necessariamente la scelta di produzione migliore se raddoppia i costi di inferenza o non può soddisfare i requisiti di latenza dell’applicazione. Non tutti i carichi di lavoro hanno bisogno di una Ferrari

A volte la decisione ingegneristica più intelligente è il modello che offre esattamente le prestazioni di cui l’azienda ha bisogno senza pagare per la capacità che non ha. L’obiettivo dovrebbe essere quello di distribuire l’intelligenza giusta al giusto costo per il carico di lavoro. Ciò rende il servizio all’architettura più di una preoccupazione ingegneristica.

Diventa una decisione di investimento: dove spendere per l’elaborazione, dove ottimizzare e dove la capacità aggiuntiva del modello semplicemente non vale il costo

Progetta il sistema, non il modello Una volta che l’IA raggiunge la produzione, le decisioni ingegneristiche apparentemente isolate iniziano a influenzarsi a vicenda. L’architettura al servizio influenza l’utilizzo della memoria. La gestione della memoria influisce sulla concorrenza. La concorrenza modella il batch e la pianificazione e la pianificazione influisce sull’utilizzo e sulla latenza della GPU.

Solo allora tecniche come la quantizzazione, la decodifica speculativa o meccanismi di attenzione ottimizzati possono fornire il loro pieno valore

. Questa interdipendenza è importante perché le organizzazioni possono spendere molto di più per l’infrastruttura senza risolvere il vincolo che limita le prestazioni. La memoria GPU è un buon esempio. Durante l’inferenza, i pesi del modello rimangono fissi, ma la cache chiave-valore (KV) cresce con le richieste attive e la lunghezza del contesto. Con l’aumento della concorrenza, un sistema può esaurire la memoria GPU utilizzabile anche quando la capacità di calcolo è ancora disponibile

. Aggiungere più elaborazione senza capire che il collo di bottiglia può semplicemente rendere più costoso un sistema inefficiente. La lezione per i leader tecnologici è più ampia della gestione della memoria: misurare prima di ottimizzare. Identificare il vincolo dominante. Affrontalo. Misura il risultato. Quindi determinare se è emerso un altro collo di bottiglia. Ripeto, non pensare alle tecniche di ottimizzazione come a delle carte Pokémon: l’obiettivo non è quello di collezionarle tutte

. L’obiettivo è applicare la tecnica che rimuove il vincolo di maggior impatto preservando i requisiti di business dell’applicazione. Per i leader tecnologici, ciò richiede una domanda di governance diversa. Invece di chiedere quali capacità di intelligenza artificiale l’organizzazione può implementare, chiedi quali vincoli si frappongono tra una capacità comprovata e un valore di business sostenibile

. Costruisci per il cambiamento, non il punto di riferimento di oggi Forse la ragione più importante per investire nell’imbracatura di servizio è che il modello leader di oggi probabilmente non sarà quello di domani. I modelli miglioreranno. L’hardware si evolverà. Emergeranno nuove tecniche di ottimizzazione. L’architettura che li circonda dovrebbe rendere questi cambiamenti più facili da assorbire, non costringere l’azienda a ricostruire la sua piattaforma AI ogni volta che la tecnologia avanza

. Ciò rende l’adattabilità un risultato sempre più importante della strategia di IA. Le organizzazioni che costruiscono sistemi di servizio basati su requisiti di carico di lavoro, chiari obiettivi di livello di servizio ed economia di produzione misurabile acquisiscono la capacità di valutare nuovi modelli e infrastrutture rispetto a ciò di cui l’azienda ha effettivamente bisogno. Una modifica del modello può diventare una decisione di valutazione e configurazione piuttosto che un reset architetturale

. I ricercatori EXL hanno esplorato queste sfide di produzione in modo più approfondito nella serie EXL Engineering the Harness. Esamina in che modo l’architettura al servizio, la gestione della memoria, la pianificazione e l’ottimizzazione delle inferenze collaborano per rendere l’IA aziendale più efficiente, scalabile ed economicamente sostenibile. Sempre più spesso, le imprese hanno accesso a molti degli stessi modelli

. La differenziazione sostenibile deriva dall’efficacia con cui un’organizzazione trasforma tale intelligenza in risultati aziendali. Il modello fornisce l’intelligenza. L’imbracatura determina se l’impresa può fornire risultati in modo affidabile, economico e su larga scala. Questo contenuto è stato prodotto da EXL. Non era la redazione di