Lokale KI: Nemotron 70B auf vier Mac minis M4 Pro mit Thunderbolt-5-Interconnect from Heise's blog

Exolabs, das sich auf lokale KI spezialisiert hat, zeigt, wie man aus vier Kompakt-Macs ein großes LLM bauen kann. Es läuft Nemotron 70B – und bald Llama 405B.

Source: https://www.heise.de/news/Lokale-KI-Nemotron-70B-auf-vier-Mac-minis-M4-Pro-mit-Thunderbolt-5-Interconnect-10014248.html?wt_mc=rss.red.ho.ho.rdf.beitrag.beitrag