AI & LLM

vor 17 Stunden 55

AI AI & LLM Apple

Sprachmodelle auf dem eigenen Rechner ausführen: Apple Silicon, Quantisierung und was tatsächlich passt

Lokale Sprachmodelle sind für einen großen Teil der praktischen Arbeit gut genug. Wie die Speicherbandbreite die Geschwindigkeit begrenzt, was in den vorhandenen Arbeitsspeicher passt und wie viel Qualität die Quantisierung tatsächlich kostet.

vor 2 Monaten 107

AI & LLM

LLMs aus Python aufrufen: Request-Schleife, Tokens, Kosten und Wiederholungen

Rufen Sie Sprachmodelle aus Python mit dem Claude SDK auf: die Nachrichtenschleife, Tokens und Kosten sowie einen Client mit Timeouts und Wiederholungen, den Sie injizieren und testen können.

vor 2 Monaten 112

AI & LLM

Structured Outputs und Function Calling: Zuverlässiges JSON von LLMs erhalten

Erhalten Sie verlässliches JSON von Sprachmodellen mit Structured Outputs und Function Calling und validieren Sie es mit Pydantic, damit Ihr Code mit typisierten Objekten arbeitet.

vor 2 Monaten 101

AI & LLM

RAG-Dienst mit FastAPI aufbauen: Chunking, Embeddings und Vektorsuche

Bauen Sie einen RAG-Dienst von Grund auf: Dokumente zerlegen, Embeddings erzeugen, per Ähnlichkeit suchen und Antworten liefern, die sich nur auf den abgerufenen Kontext stützen: alles über einen FastAPI-Endpunkt.

vor 2 Monaten 159

AI & LLM

LLM-Antworten mit FastAPI und SSE an den Browser streamen

Eine echte Modellantwort an den Browser streamen: den Modell-Stream in Python konsumieren, über einen FastAPI-SSE-Endpunkt weiterleiten und live darstellen.

vor 2 Monaten 122

AI & LLM

Eine KI-Agent-API entwickeln: Tool-Aufrufe, Gedächtnis und Leitplanken

Entwickeln Sie eine kleine KI-Agent-API: die Tool-Aufrufschleife, das Gesprächsgedächtnis und die Leitplanken, die einen handelnden Agenten sicher und begrenzt halten.