9. lezione: Gestione API e token

Come usare le API dei services AI?

Se già venite da un qualsiasi ambiente di programmazione, non avete bisogno che vi spieghi come ci si connette ad un servizio API. Le dinamiche strutturali rimangono le stesse che avete incontrato ad esempio in un servizio REST, ed è comune trovare snippet come questo:

                from openai import OpenAI
                
                client = OpenAI(api_key="API_KEY")
                
                response = client.responses.create(
                    model="gpt-4o-mini",
                    input="Spiegami cos'è un embedding"
                )

                print(response.output_text)
            

                import os
                client = OpenAI(api_key=os.getenv("OPENAI_API_KEY"))
            

Ma cosa sono i token in ambito AI?

Ora nasce un problema di omonimia che è bene chiarire da subito. Nel mondo delle API capita spesso di utilizzare credenziali chiamate "token", ad esempio gli access token di OAuth. Tuttavia non tutti i sistemi API usano token: molti servizi, tra cui OpenAI, utilizzano normalmente API key.

Proviamo a stimare un costo, in termini di token, di un’interrogazione sportiva ad OpenAi.

                import os
                from openai import OpenAI

                client = OpenAI(api_key=os.getenv("OPENAI_API_KEY"))

                prompt = """
                Sei un giornalista sportivo ed oggi è il 22 aprile 1990.
                Devi commentare i risultati delle partite di serie A, ponendo enfasi sull'arbitraggio di Verona-Milan.
                Scrivi un commento con tono da quotidiano sportivo, utilizzando un titolo ad effetto e 
                descrivendo i fatti in maniera obiettiva.
                """

                response = client.responses.create(
                    model="gpt-4o-mini",
                    input=prompt
                )

                print(response.output_text)
            

Una stima spesso utilizzata è che 1 token corrisponda mediamente a circa 4 caratteri di testo inglese, ma il rapporto varia in base alla lingua e al contenuto. Siamo, nel nostro prompt, circa a 300 caratteri e quindi possiamo aspettarci un consumo dell'ordine di alcune decine di token, ad esempio tra 60 e 90 token.. In output potremmo avere un testo di 400 parole. In molte lingue occidentali una parola corrisponde mediamente a circa 1-1,5 token, ma il rapporto varia in funzione del vocabolario utilizzato.per cui il costo sarebbe di oltre 500 token.

Costano tanto i token?

I token, presi singolarmente, hanno un costo irrisorio. Un modello come GPT-4o mini, al momento della stesura di questo articolo, costa 15 centesimi di dollaro per 1 milione di token in entrata e 60 centesimi per 1 milione di token in uscita. Sono costi molto contenuti per milione di token, ma le tariffe possono variare nel tempo. È sempre opportuno verificare il listino aggiornato del provider prima di effettuare stime economiche.

Tuttavia questo semplice esempio ci fa capire che la stima dei costi è parte integrante del processo di sviluppo di un sistema AI, perché lavorando bene sul RAG possiamo ottimizzare i flussi delle eventuali chiamate alle API per il risultato finale.