Ricerca e sviluppo · runtime di inferenza
YVEX
Sviluppo attivo
Un compiler e runtime nativo per preparare ed eseguire modelli AI. Dalla sorgente del modello al calcolo su CPU e GPU.
Apri il repositoryC11 · Rust · CUDA · Inferenza
Panoramica
Studiare e costruire il percorso che porta un modello alla sua esecuzione nativa: preparazione degli artefatti, memoria, runtime e componenti di calcolo.
Architettura e sviluppo del core computazionale, shell operatore, pipeline di compilazione, backend e contratti di evidenza.
Contesto
L’esecuzione locale di un modello coinvolge formati, memoria e backend di calcolo. La ricerca esamina questi confini e verifica singoli componenti senza confonderli con prestazioni end-to-end del modello.
Architettura
Core C11, componenti e strumenti Rust, pipeline di preparazione degli artefatti e backend CPU/CUDA. Il percorso Metal è distinto. Buffer, dati e operazioni hanno contratti espliciti, con confronti numerici di riferimento.
- Core C11 e client Rust
- Backend CPU e CUDA; primitive Metal iniziali con qualifica separata
- Gestione esplicita di artefatti, deployment, sessioni e stato
Implementazione e decisioni
Controllo del core computazionale
C11 e Rust servono livelli diversi dell’implementazione. I percorsi CPU e CUDA richiedono contratti espliciti per dati, memoria e operazioni eseguite.
Riferimenti numerici e limiti di memoria
Nei test dei kernel MoE il risultato viene confrontato con un riferimento. Controlli sui bordi dei buffer aiutano a rilevare scritture inattese: un output plausibile non dimostra da solo la correttezza del kernel.
Qualificare il componente giusto
Un test CPU, una prova su GPU e l’inferenza di un intero modello dimostrano cose diverse. I risultati vengono letti insieme all’hardware, al backend e alla parte effettivamente esercitata.
Verifica
L’evidenza pubblica include suite CPU e test numerici CUDA nel sorgente. Un’esecuzione CI CPU non prova che i test GPU siano stati eseguiti. Le registrazioni di prove su componenti CUDA non vengono presentate come benchmark end-to-end di modelli.
Stato attuale
Ricerca e sviluppo. Supporto e maturità dipendono dal modello e dal backend. Metal ha un percorso separato e non viene dichiarato equivalente ai percorsi CPU/CUDA.