Sviluppo di workflow con agenti
Un agente combina un modello con istruzioni, strumenti e stato applicativo. Il lavoro comprende la definizione dei compiti, l’implementazione dei tool, la preparazione del contesto e il controllo di ciò che può leggere o modificare.
Tool e API. Schemi degli argomenti, validazione, autenticazione e gestione della risposta. Separazione fra lettura, scrittura e operazioni da approvare.
Stato ed esecuzione. Passi del workflow, risultati intermedi, timeout, cancellazione e ripresa. Un esito sconosciuto va controllato prima di ripetere una scrittura.
Supervisione. Log utilizzabili, condizioni di arresto, limiti di risorse e passaggi di revisione umana. Test anche sui tool non disponibili e sui permessi negati.
TypeScript / Rust · API LLM · JSON Schema · Python per dati e test
Preparazione delle informazioni per il modello
Documenti, codice e record non sono un unico prompt da incollare. Occorre selezionare le fonti, estrarre il contenuto utile, conservarne provenienza e versione e decidere quali informazioni rendere disponibili a ogni passaggio.
Preparazione. Acquisizione autorizzata, estrazione, normalizzazione, metadati e identificazione dei duplicati. Conservazione degli originali e degli errori di importazione.
Selezione. Suddivisione del contenuto, ricerca e composizione del contesto entro il budget del modello. Istruzioni, dati esterni e risultati dei tool hanno ruoli distinti.
Aggiornamento. Versioni, riferimenti alle fonti e controlli sui contenuti mancanti o obsoleti. Accessi e permanenza dei dati vanno definiti con il progetto.
Python · JSON / JSONL · SQL · parsing · metadati · token budget
Dataset di prova e confronto dei risultati
Un dataset di valutazione raccoglie input, risultati attesi e criteri di giudizio. Serve a confrontare modelli, prompt o workflow sullo stesso compito e a riconoscere regressioni quando cambia una parte del sistema.
Campioni. Organizzazione dei record, formati e campi, duplicati, valori mancanti e provenienza. Esempi ordinari, casi limite e input che devono essere rifiutati.
Esecuzioni. Registrazione di modello, configurazione, versione del workflow e output. Confronti ripetibili senza modificare il campione per favorire un risultato.
Analisi. Errori per categoria, controlli automatici sul formato e revisione dei contenuti. Tempi e consumi misurati separatamente dalla qualità delle risposte.
Python · CSV / JSONL · validazione degli schemi · test harness
Esecuzione locale e analisi dei runtime
La scelta di un modello riguarda anche formato dei pesi, quantizzazione, memoria, lunghezza del contesto e backend di calcolo. Una configurazione va provata sul sistema che dovrà eseguirla.
Configurazione. Compatibilità fra modello, runtime e CPU/GPU; dipendenze, licenza e risorse disponibili. Prove di caricamento e generazione.
Misure. Memoria occupata, tempi di caricamento e comportamento su richieste ripetute. Versioni e condizioni della prova rimangono associate al risultato.
Ricerca nativa. Nei lavori specialistici: operatori, componenti CPU/CUDA e confronti numerici. La correttezza di un componente non dimostra il supporto completo di un modello.
C · Rust · CPU / CUDA · formati dei pesi · quantizzazione