ZML lancia LLMD: un server di inferenza per l’IA su chip eterogenei
In Breve
- Cos'è ZML LLMD?
- ZML LLMD è un server di inferenza per modelli di linguaggio che supporta diversi chip.
- Qual è l'obiettivo di LLMD?
- L'obiettivo è ottimizzare l'uso di chip eterogenei per migliorare l'efficienza nell'IA.
- Chi ha fondato ZML?
- ZML è stata fondata da Steeve Morin, ex VP of Engineering di Zenly.
La startup francese ZML ha recentemente lanciato LLMD, un server di inferenza progettato per eseguire modelli open source di linguaggio su una vasta gamma di chip, tra cui Nvidia, AMD, Google TPU, Apple Metal e Intel Arc. Questo prodotto, distribuito gratuitamente al lancio ma non open source, si propone di superare i vincoli software e architetturali che spesso costringono le aziende a rimanere legate a singoli fornitori.
Il fondatore di ZML, Steeve Morin, ha dichiarato: «L’idea è restituire alle persone il potere di creare il proprio sistema e ottenere reali guadagni di efficienza che permettano la diffusione dell’IA». Con LLMD, l’obiettivo è consentire a imprese e operatori cloud di utilizzare mix di chip, anche quelli meno costosi o più efficienti dal punto di vista energetico, per massimizzare le prestazioni e ridurre i costi.
ZML ha anche manifestato l’intenzione di collaborare con nuovi produttori di chip, molti dei quali europei, citando aziende come Axelera, Fractile, Kalray, OLIX, Q.ANT, SiPearl, SpiNNcloud e VSORA. Morin ha aggiunto: «Siamo arrivati al punto in cui stiamo co-progettando il silicio», sottolineando l’importanza di innovare nel settore hardware.
Il lancio di LLMD avviene in un contesto altamente competitivo, con operatori come Baseten, Inferact e RadixArk che offrono servizi simili, oltre a progetti open source come vLLM e SGLang che si sovrappongono parzialmente alle funzionalità di LLMD. Nonostante ciò, ZML mantiene rapporti di collaborazione con Nvidia, un colosso del settore.
Con sede a Parigi e un team di circa 20 persone, ZML ha raccolto 20 milioni di dollari da investitori come 20VC, commit, AALVC, Drysdale Ventures, Kima Ventures, Kindred Capital, LocalGlobe e Puzzle Ventures. Morin, che in precedenza ha ricoperto il ruolo di VP of Engineering di Zenly, acquisita da Snapchat nel 2017, ha dichiarato che il rilascio gratuito di LLMD serve a misurare l’utilizzo del prodotto prima di decidere eventuali politiche commerciali: «Preferisco misurare e poi generare ricavi dove è più efficace, senza ostacolare stupidamente la crescita perché sono stato troppo avido fin dall’inizio».
Tra i sostenitori presenti nel capitale di ZML figurano nomi noti come Solomon Hykes, Clément Delangue, Julien Chaumond e Yann LeCun, a conferma dell’interesse crescente verso l’ecosistema europeo dell’IA. Morin ha infine sottolineato che non avrebbe potuto realizzare ZML se non fosse stato per l’innovativa atmosfera imprenditoriale di Parigi.
