Erweiterte Einstellungen

Der Chatbot gibt sich standardmäßig als "hilfreicher Assistent" für den aktuellen Mandanten aus. Dabei wird als Bezeichnung der eingestellte Mandanten Titel verwendet. Sie können stattdessen auch eine eigene Bezeichnung für die verwendete Plattform einstellen. 

Die Anzahl der Quellen gibt an, wie viele Suchtreffer maximal für die Bereitstellung des Kontext verwendet werden sollen (Standard: 5). Bitte beachten Sie, dass die Größe des übergebenen Kontext an das LLM eine vom Model, bzw. Hardware, abhängige Obergrenze hat. Zu viel Kontext kann das LLM dazu verleiten, diesen zu ignorieren. Empfohlen werden deshalb möglichst wenig Quellen. Ihre Inhalte sollten ausführlich und vollständig sein.

Jede Folge-Frage an den Chatbot sendet den bisherigen Verlauf an das LLM weiter (Standard: 5). So kann dieses den Kontext der bereits gestellten Fragen und gegebenen Antworten berücksichtigen. Auch der Verlauf zählt zur maximalen Kontext-Größe des LLM dazu. Dies gilt es zu beachten.

Standardmäßig durchsucht der Chatbot alle Seiten des Mandanten. Sie können hier zusätzlich bestimmte Seiten als Kategorien auswählen, welche vor dem Start einer Unterhaltung mit dem Chatbot ausgewählt werden können. Dies geschieht in Form einer Auswahlliste. Ist eine Kategorie ausgewählt, werden nur die Seiten unterhalb dieser Seite für die Unterhaltung berücksichtigt.

Sie können über die Checkbox Unterseiten festlegen, dass nicht die ausgewählte Seite als Kategorie zur Verfügung steht, sondern stattdessen die direkten Unterseiten dieser Seite.

Geben Sie vordefinierte Fragen an, die Ihre Benutzer dem Chatbot optional stellen können. Das Eingabefeld für die eingehende Frage wird dabei um eine entsprechende Auswahlliste erweitert.

Standardmäßig durchsucht der Chabot nur die Seiten des aktuellen Mandanten. Sie können stattdessen auch mehrere Mandanten auswählen, in denen gesucht werden soll.

Standardmäßig verwendet der Chatbot als LLM das öffentlich zugängliche ChatGPT (Model gpt-4o). Es wird aus Gründen des Datenschutz empfohlen eine Ollama Installation zu verwenden. Geben Sie hier die URL zu dieser Installation an.

Falls Sie keine Ollama URL angeben, wird standardmäßig das ChatGPT Model gpt-4o verwendet. Mit dem Prefix openai: können Sie bei Bedarf auch das verwendete ChatGPT Model wechseln.

Geben Sie bei eingestellter Ollama URL hier die Bezeichnung des Models ein, das verwendet werden soll. Stellen Sie sicher, dass das Model in Ihrer Ollama Installation auch installiert ist.

Die Temperatur gibt einem LLM an, wie kreativ es bei seinen Antworten sein soll. Standardmäßig ist diese Kreativität im Chatbot sehr niedrig eingestellt. Falls Sie kreativere Antworten wünschen, geben Sie hier einen höheren Wert an. Der maximale Wert für die Temperatur hängt vom verwendeten Model ab.

Falls gewünscht, können Sie für den Score einen prozentualen Wert zwischen 0 und 1 angeben, der zusätzlich zum von Elasticsearch berechneten Score für die relevanten Suchtreffer angerechnet wird. Somit können Sie bei einem Wert von z.B. 0.8 erzielen, dass nur Suchtreffer als Quellen anerkannt werden, deren Score mindestens bei 80% des höchsten Scores aller Suchtreffer liegt.

Das Rephrasing der gestellten Fragen findet über einen Standard Prompt an das LLM statt. Sie können diesen Prompt bei Bedarf überschreiben. Bitte beachten Sie, dass am Ende dieses Prompts automatisch die ursprüngliche Frage angehängt wird.

Am Ende der letzten Antwort stehen ggf. Werkzeuge zur Verfügung, die Sie hier aktivieren können. Diese Werkzeuge sind:

• Vorlesen: Die letzte Antwort wird vorgelesen.
• Neue Versuche: Die letzte Antwort wird neu generiert.
• Bewertungen: Die letzte Antwort kann bewertet werden (positiv oder negativ).

Falls Sie das Werkzeug Bewertungen aktiviert haben, erhalten Sie einen neuen Reiter Bewertungen, in dem Sie alle abgegebenen Bewertungen einsehen oder löschen können. Unter den Details einer Bewertung finden Sie den Verlauf der Unterhaltung bis zur Bewertung. Zusätzlich können Sie die verwendeten Quellen prüfen, sowie die als Kontext verwendeten Texte dieser Quellen. Auch die aktiven Chatbot Einstellungen zum Zeitpunkt der Bewertung sind einsehbar.

Standardmäßig verwendet der Chatbot die eingestellte Suchrelevanz des aktuellen Mandanten für die Felder Schlagwörter, Name, Titel, Kurzbeschreibung und Inhalt. Bei Bedarf können Sie diese Einstellungen für den Chatbot überschreiben.

Es wird empfohlen für die Suchrelevanz den Inhalt immer am höchsten zu bewerten.

Der Chatbot verwendet standardmäßig ausgearbeitete System Prompts, um das Verhalten des LLM zu steuern. Sie können bei Bedarf diese Prompts vollständig überschreiben.

Sie können mehrere Prompts aneinander hängen und jeweils unterschiedliche Rollen zuweisen:

• System: Der Prompt wird als System-Anweisung ausgewertet.
• Benutzer: Der Prompt wird als Benutzer-Anweisung ausgewertet.
• Assistent: Der Prompt wird als Assistent-Anweisung ausgewertet.

Für Ihre Prompts stehen mehrere Platzhalter zur Verfügung, die Sie in Ihre Prompts integrieren sollten. Dies sind:

• {platform}: Der Name der Plattform.
• {context}: Der übergebene Inhalt aller Quellen als Kontext.
• {query}: Der eingegebene Text vom Benutzer. Dieser Platzhalter ist optional, da der eingegebene Text immer in der automatisch bereitgestellten Historie steht.