Aufbau eines privaten RAG-Systems: Architektur, Embeddings, Vektordatenbanken und Evaluierung

Retrieval-Augmented Generation (RAG) ist die Methode, mit der ein Sprachmodell Fragen zu Ihren Daten beantwortet: Ihre Dokumente, Tickets, Codebasis: ohne dass Sie es neu trainieren müssen. Ein „privates“ RAG-System hält diese Daten in Ihrer eigenen Infrastruktur, was für viele Organisationen die einzige Möglichkeit ist, die rechtliche Freigabe für das Projekt zu erhalten. Dieser Leitfaden führt Sie durch die gesamte Pipeline: Aufnahme, Chunking, Embeddings, den Vektorspeicher, Retrieval, Generierung und die Evaluierungsschleife, die Ihnen zeigt, ob das Ganze tatsächlich funktioniert.

Das große Ganze: zwei Pipelines

Jedes RAG-System besteht eigentlich aus zwei Pipelines, die sich einen Vektorspeicher teilen. Die Offline-Pipeline läuft immer dann, wenn sich Ihre Daten ändern; die Online-Pipeline läuft bei jeder Benutzerfrage. Wenn Sie diese beiden gedanklich trennen, wird das gesamte Design handhabbar.

OFFLINE (indexing, runs when data changes)
  documents ─▶ clean ─▶ chunk ─▶ embed ─▶ store vectors + metadata
                                              │
                                       [ VECTOR DB ]
                                              │
ONLINE (querying, runs per question)          ▼
  question ─▶ embed ─▶ similarity search ─▶ top-k chunks
          ─▶ build grounded prompt ─▶ LLM ─▶ answer + citations

Schritt 1: Aufnahme und Bereinigung

Garbage in, garbage out gilt bei RAG besonders drastisch. Bevor Sie irgendetwas anderes tun, extrahieren Sie sauberen Text aus Ihren Quellen (PDFs, HTML, Wikis, Tickets), entfernen Sie Boilerplate wie Navigationsleisten und Fußzeilen und bewahren Sie die Struktur: Überschriften, Listen, Tabellen -, denn diese Struktur trägt Bedeutung, die das Modell nutzen wird. Hängen Sie jetzt Metadaten an jedes Dokument an: Quelle, URL, Autor, letzte Aktualisierung, Zugriffsebene. Sie werden sie später für Filterung und Zitate benötigen.

Schritt 2: Chunking: die am meisten unterschätzte Entscheidung

Modelle rufen Chunks ab und schlussfolgern über sie, nicht über ganze Dokumente. Chunken Sie zu groß, verwässern Sie die Relevanz und verschwenden Kontext; chunken Sie zu klein, durchtrennen Sie die Bedeutung, die sich über Sätze erstreckt. Gute Standardwerte sind einige hundert Token pro Chunk mit moderater Überlappung, damit Ideen, die eine Grenze überspannen, nicht verloren gehen: aber die richtige Größe ist inhaltsabhängig und sollte anhand Ihrer Evaluierungen abgestimmt werden.

from langchain_text_splitters import RecursiveCharacterTextSplitter

splitter = RecursiveCharacterTextSplitter(
    chunk_size=800,          # characters; tune against your eval set
    chunk_overlap=120,       # keep ideas that straddle a boundary
    separators=["\n\n", "\n", ". ", " "],  # prefer natural boundaries
)
chunks = splitter.split_text(clean_document_text)

Schritt 3: Embeddings

Ein Embedding-Modell wandelt jeden Chunk in einen Vektor um: eine Liste von Zahlen -, sodass semantisch ähnlicher Text im Raum nahe beieinander liegt. Dasselbe Modell bettet Ihre Chunks zur Indexzeit und Ihre Fragen zur Abfragezeit ein; Sie müssen für beides dasselbe Modell verwenden, sonst passt die Geometrie nicht zusammen. Betreiben Sie für ein privates System ein offenes Embedding-Modell lokal, damit Ihr Text das Netzwerk nie verlässt.

Schritt 4: Die Vektordatenbank

Der Vektorspeicher enthält Ihre Chunk-Vektoren plus Metadaten und beantwortet schnell die Frage: „Welche Chunks sind diesem Abfragevektor am ähnlichsten?“: unter Verwendung der approximativen Nächste-Nachbarn-Suche (ANN). Die Optionen reichen von eingebetteten Bibliotheken bis zu vollständigen Servern, und die richtige Wahl hängt von der Skalierung und dem Betriebsaufwand ab.

Schritt 5: Retrieval und der fundierte Prompt

Zur Abfragezeit betten Sie die Frage ein, rufen die Top-k ähnlichsten Chunks ab (gefiltert nach der Zugriffsebene des Benutzers) und erstellen einen Prompt, der diese Chunks mit strengen Anweisungen an das Modell übergibt: Antworten Sie nur aus dem bereitgestellten Kontext, zitieren Sie Quellen und sagen Sie „Ich weiß es nicht“, wenn der Kontext die Antwort nicht enthält. Diese letzte Anweisung macht aus einem selbstbewussten Halluzinierer einen vertrauenswürdigen Assistenten. Der Zugriffsfilter gehört in die Abfrage selbst, sodass ein Benutzer niemals einen Chunk abrufen kann, den er nicht sehen darf:

def retrieve(question: str, user, k: int = 6):
    qvec = embed(question)                       # SAME model used at index time

    # pgvector similarity search WITH access control pushed into the SQL.
    rows = db.execute(
        """
        SELECT id, title, text, (embedding <=> %(q)s) AS distance
        FROM chunks
        WHERE acl_level <= %(level)s              -- never return chunks above the user's level
        ORDER BY embedding <=> %(q)s              -- cosine distance, ANN-indexed
        LIMIT %(k)s
        """,
        {"q": qvec, "level": user.acl_level, "k": k},
    ).fetchall()

    # Abstain instead of answering from weak evidence.
    return [r for r in rows if r.distance < RELEVANCE_THRESHOLD]

SYSTEM = (
    "Answer the question using ONLY the context below. "
    "Cite the source id in brackets after each claim, e.g. [doc-12]. "
    "If the context does not contain the answer, say you don't know."
)

context = "\n\n".join(f"[{c.id}] {c.title}\n{c.text}" for c in top_k_chunks)
prompt = f"{SYSTEM}\n\nContext:\n{context}\n\nQuestion: {question}"
answer = llm.complete(prompt)

Schritt 6: Evaluierung: der Teil, den Teams überspringen und dann bereuen

Ohne Evaluierung optimieren Sie blind. Die RAG-Qualität hat zwei Hälften, und Sie müssen beide messen, denn eine großartige Antwort ist unmöglich, wenn die Retrieval-Stufe dem Modell die falschen Chunks geliefert hat.

Halluzination kontrollieren

Grounding verhindert nicht automatisch, dass ein Modell Dinge erfindet, aber mehrere Kontrollen zusammen bringen Sie dem Ziel sehr nahe: Weisen Sie das Modell an, sich zu enthalten, wenn der Kontext unzureichend ist, verlangen Sie Zitate, damit Behauptungen nachvollziehbar sind, setzen Sie einen Relevanzschwellenwert, sodass schwache Abrufe ein „Ich weiß es nicht“ statt einer Vermutung auslösen, und erwägen Sie einen Reranking-Schritt, um die wirklich relevanten Chunks vor der Generierung nach oben zu schieben.

Die private RAG-Checkliste