Exécuter des modèles de langage sur sa propre machine : puces Apple Silicon, quantification et ce qui tient vraiment en mémoire
Les modèles de langage locaux sont assez bons pour une grande partie du travail réel. Comment la bande passante mémoire fixe le plafond de vitesse, ce qui tient dans votre RAM, ce que coûte vraiment la quantification en qualité.