vor 17 Stunden
47
AI
AI & LLM
Apple
Sprachmodelle auf dem eigenen Rechner ausführen: Apple Silicon, Quantisierung und was tatsächlich passt
Lokale Sprachmodelle sind für einen großen Teil der praktischen Arbeit gut genug. Wie die Speicherbandbreite die Geschwindigkeit begrenzt, was in den vorhandenen Arbeitsspeicher passt und wie viel Qualität die Quantisierung tatsächlich kostet.
