Facet
EnglishInstallieren

Lokale Suche mit Ollama

Finde die Antwort in deinem Produkt. Lokal.

Verbinde FACET mit Ollama, baue einen Suchindex aus deinen Records und finde zu einer Geschäftsfrage die passenden Quellen.

Etwa 10 Minuten Lesezeit; Modelldownload und Indexlauf kommen hinzu

Dein Coding-Agent

Diese Auswahl gilt für die Website-Beispiele. Sie richtet keine Verbindung auf deinem Rechner ein.

Ollama vorbereiten

Installiere Ollama nach der offiziellen Anleitung. Starte die Ollama-Anwendung oder bei einer Kommandozeileninstallation ollama serve in einem eigenen Terminal. Läuft der Dienst bereits, verwende diesen weiter.

Lade ein Modell für Texteinbettungen herunter:

sh
ollama pull embeddinggemma

Prüfe den OpenAI-kompatiblen Endpunkt, den FACET verwenden wird. Diese direkte HTTP-Anfrage braucht keinen Platzhalter-Schlüssel:

sh
curl http://localhost:11434/v1/embeddings \  -H 'Content-Type: application/json' \  -d '{"model":"embeddinggemma","input":"Ein abgelaufener Rabattcode muss abgelehnt werden."}'

Erwartet wird eine JSON-Antwort mit data und einem embedding-Array. Die Zahlen hängen vom Modell ab. Kläre einen Endpunktfehler, bevor du das Projekt indexierst.

FACET verbinden

Öffne die vorhandene .facetrc.yaml des Projekts und ergänze diesen Block auf oberster Ebene. Bestehende Registry- und Projekteinstellungen bleiben erhalten:

yaml
embedding:  provider: openai  base_url: http://localhost:11434/v1  model: embeddinggemma

openai wählt hier das kompatible HTTP-Anfrageformat. Es bedeutet nicht, dass die Anfrage an OpenAI geht. FACET hängt /embeddings an base_url an. Verwende für diese Konfiguration nicht Ollamas separaten Endpunkt /api/embed.

Lasse api_key_env für gewöhnliches lokales Ollama weg. Ist die Einstellung noch für einen anderen Anbieter gesetzt, entferne sie für diese lokale Konfiguration. Die lokale API benötigt keine Anmeldung. Manche SDK-Beispiele verwenden ollama als Blindwert, weil das SDK einen Schlüssel verlangt; FACETs HTTP-Client verlangt ihn nicht.

FACETs provider: local bezeichnet die eingebaute Suche nach Wortüberschneidungen, nicht Ollama. Der Block oben wählt bewusst einen HTTP-Endpunkt mit Einbettungsmodell.

Mit einem Agenten arbeiten

Formuliere die Frage und die erwarteten Belege ausdrücklich:

text
Finde das dokumentierte Verhalten für abgelaufene Rabattcodes in diesem Projekt.Nutze die FACET-Suche, falls verfügbar. Lies passende Records und ihre Szenarien.Nenne die Quelldateien und unterscheide dokumentierte Versprechen von bestandenen Tests.Wenn die Quellen die Frage nicht beantworten, benenne die Lücke, statt zu raten.

Ist deine Agentenanwendung mit dem facet mcp-Server des Projekts verbunden, bietet FACET das Werkzeug rag_query an. Das folgende Beispiel zeigt Werkzeugname und Argumente. Es ist kein Shell-Befehl und kein Nachweis einer bereits eingerichteten Verbindung:

json
{  "tool": "rag_query",  "arguments": {    "query": "Was passiert, wenn ein Kunde einen abgelaufenen Rabattcode verwendet?",    "limit": 5,    "kind": "record"  }}

Die Antwort enthält Quellpfade und Text. Kennt der Agent die Feature-Id, kann er anschließend das Serverwerkzeug feature_get verwenden. Der Client kann Werkzeugnamen einen eigenen Präfix voranstellen. Der MCP-Prozess muss im selben konfigurierten Projekt laufen und gegebenenfalls die Umgebungsvariablen des Einbettungsendpunkts erhalten.

Ohne diese MCP-Verbindung kann ein Agent mit Shell-Berechtigung Folgendes ausführen:

sh
facet rag query "Was passiert, wenn ein Kunde einen abgelaufenen Rabattcode verwendet?" --limit 5 --json

Fehlt der Suchindex, hilft auch eine direkte Textsuche:

sh
rg -n -i 'abgelaufen|Rabatt|Gutschein' docs/facets

rg ist ein eigenes Kommandozeilenwerkzeug. Es sucht Wörter statt Bedeutung. Passe Suchbegriffe und Verzeichnis an Sprache und Ablage deines Projekts an. Mensch oder Agent müssen die gefundenen Dateien weiterhin lesen.

Schlüssel richtig einordnen

Für die lokale Einrichtung oben musst du keinen Token beschaffen, erzeugen oder irgendwo einfügen.

Verwendet eure Organisation einen OpenAI-kompatiblen Endpunkt hinter einem Proxy mit Bearer-Token, stellt dessen Betreiber den Token bereit. Einen Ollama-Cloud-Schlüssel erhältst du in den API-Schlüssel-Einstellungen deines Ollama-Kontos. Dieser ist nicht automatisch ein Zugangsschlüssel für euren eigenen Proxy. Diese Anleitung nutzt weder Cloud-Inferenz noch einen geschützten Proxy.

Für einen solchen separat eingerichteten Endpunkt unterstützt FACET:

yaml
embedding:  provider: openai  base_url: https://embeddings.example.invalid/v1  model: your-approved-embedding-model  api_key_env: FACET_EMBEDDING_TOKEN

Hostname und Modell sind Platzhalter, kein funktionierender Dienst. Ersetze sie nur durch die Angaben des Endpunktbetreibers. Setze FACET_EMBEDDING_TOKEN über eure übliche Geheimnisverwaltung in der Umgebung des FACET-Prozesses. FACET liest die Variable und sendet Authorization: Bearer ... nur bei einem nicht leeren Schlüssel. Es erzeugt oder beschafft den Token nicht selbst. Andere Anmeldeverfahren lassen sich mit diesem Feld nicht konfigurieren.

Wenn etwas nicht passt

  • Verbindung abgelehnt: Starte den lokalen Ollama-Dienst auf dem Rechner, auf dem FACET läuft. In Containern oder Fernsitzungen bezeichnet localhost diese Umgebung, nicht unbedingt deinen Desktop.
  • Modell nicht gefunden: Prüfe den Namen und schließe ollama pull embeddinggemma ab.
  • 404 oder unerwartete Antwort: Verwende die API-Basis http://localhost:11434/v1. FACET ergänzt /embeddings selbst.
  • Keine Records zum Indexieren: Wechsle in das Projekt mit den Records oder verwende FACETs globale Option --root. Diese Anleitung legt keine Records an und dokumentiert keine Codebasis nach.
  • Kein Index: Führe zuerst facet rag index mit derselben Projektkonfiguration aus.
  • Suche nur nach Wortüberschneidungen: Prüfe embedding.provider: openai und baue den Index mit dem konfigurierten Modell neu. Der eingebaute Anbieter local arbeitet lexikalisch.
  • 401 an einem geschützten Endpunkt: Prüfe dessen Zugangsanforderungen und die Prozessumgebung. Füge bei gewöhnlichem lokalem Ollama keinen Schlüssel ein, nur um ein SDK-Beispiel nachzuahmen.

Quellen und weitere Informationen