Eigenes KI-Modell betreiben

Die KI-Funktionen von Akollo nutzen die Modelle, die Akollo bereitstellt, bis ein Administrator etwas anderes anbindet. Diese Anleitung ist für den Fall gedacht, dass das Modell auf Hardware laufen soll, die Sie selbst kontrollieren: ein Laptop für einen Test, eine Workstation oder ein Server im eigenen Netz. Sie installieren eine Modell-Laufzeitumgebung, starten sie als OpenAI-kompatiblen Server und fügen sie in Akollo als Verbindung vom Typ Own model server (eigener Modellserver) hinzu, direkt oder über den AI Connector.

Warum ein eigenes ModellLink zur Überschrift kopieren

• Die Daten bleiben bei Ihnen. Fragen und Antworten gehen an einen Rechner, den Ihre Organisation betreibt, nicht an einen externen KI-Anbieter.
• Sie wählen das Modell. Sie entscheiden, welches offene Modell in welcher Größe läuft und wann es aktualisiert wird.
• Keine KI-Tokens verbraucht. Anfragen über Ihre eigene Verbindung verbrauchen keine Akollo-KI-Tokens Ihrer Organisation. Siehe KI-Zugang und KI-Tokens.
• Ein guter erster Schritt. Für einen Test mit einem kleinen Modell genügt ein Laptop, bevor Sie einen Server planen. Für eine vollständige Installation im Institut siehe Das Modell im Institut betreiben.

Laufzeitumgebung wählenLink zur Überschrift kopieren

Jeder Server, der die OpenAI-kompatible API anbietet, funktioniert. Diese drei sind am verbreitetsten und kostenlos nutzbar.

Für einen gemeinsamen Server, den die ganze Organisation nutzt, ist llama.cpp (oder vLLM auf einem Server mit Grafikkarte) meist die bessere Wahl. Ollama und LM Studio sind der einfachste Weg, etwas auf einem einzelnen Rechner auszuprobieren.

InstallierenLink zur Überschrift kopieren

# llama.cpp (enthält llama-server)
brew install llama.cpp

# oder Ollama
brew install ollama

Welches Modell für welchen RechnerLink zur Überschrift kopieren

Die folgenden Modelle liegen auch Akollos eigener Dimensionierung zugrunde. Es sind offene Modelle, die Sie von Hugging Face herunterladen oder in Ollama und LM Studio per Name laden können.

Quantisierung bedeutet, dass die Zahlen des Modells mit weniger Bits gespeichert werden. Eine Q4-Datei (4 Bit) ist etwa halb so groß wie eine Q8-Datei (8 Bit), lädt schneller und antwortet schneller, bei leicht geringerer Qualität. Q4 ist ein guter Standard. Wählen Sie Q8 nur, wenn der Rechner genug Speicher übrig hat. Modelldateien für llama.cpp haben die Endung .gguf, und die Quantisierung steht meist im Dateinamen (zum Beispiel Q4_K_M).

Wie Sie einen Server für Hunderte oder Tausende Personen dimensionieren, steht unter Das Modell im Institut betreiben.

Server startenLink zur Überschrift kopieren

In den Beispielen ist <port> ein Port Ihrer Wahl und <model-file> das heruntergeladene Modell. Der OpenAI-kompatible Endpunkt ist die Serveradresse gefolgt von /v1.

# Chat-Modell
llama-server -m <model-file>.gguf --port <port>

# Oder llama-server lädt ein Modell von Hugging Face
llama-server -hf <publisher>/<model>-GGUF:Q4_K_M --port <port>

# Embedding-Modell, auf eigenem Port
llama-server -m <embedding-model-file>.gguf --embeddings --port <port>

Wer den Server erreichen kannLink zur Überschrift kopieren

Standardmäßig lauschen alle drei Laufzeitumgebungen nur auf dem Rechner selbst (localhost). Das ist die sicherste Einstellung und genügt, wenn der AI Connector auf demselben Rechner läuft.

In Akollo verbindenLink zur Überschrift kopieren

Verbindungen verwalten Inhaber und Administratoren der Organisation. Die ganze Seite ist unter KI-Verbindungen beschrieben.

Eine sinnvolle Aufteilung mit den Modellen von oben:

Server im FirmennetzLink zur Überschrift kopieren

Von einer Cloud-Installation aus verbindet sich Akollo nicht mit privaten Netzadressen. Steht Ihr Modellserver im Firmennetz oder möchten Sie keinen eingehenden Port öffnen, verwenden Sie den AI Connector. Das ist ein kleiner Container, der in Ihrem Netz neben dem Modellserver läuft. Er verbindet sich über HTTPS nach außen mit Akollo, holt Anfragen ab, gibt sie an den Modellserver weiter und schickt die Antworten zurück. Es wird kein eingehender Port geöffnet.

docker run --restart unless-stopped \
  -e AKOLLO_URL=https://<your-akollo-address> \
  -e AKOLLO_CONNECTOR_TOKEN=<connector-token> \
  -e AKOLLO_CONNECTOR_TARGET=http://<model-server>:<port>/v1 \
  -e AKOLLO_CONNECTOR_TARGET_KEY=<model-server-key> \
  <ai-connector-image>

• Der Connector braucht nur ausgehendes HTTPS zu Akollo und einen Weg zum Modellserver. Der Modellserver selbst kann in Ihrem Netz bei einfachem HTTP bleiben.
• Betreiben Sie pro Token genau eine Instanz, die bei einem Ausfall automatisch neu startet. Eine zweite Instanz mit demselben Token wird abgewiesen.
• Der Connector leitet die Modellliste und Chat-Antworten weiter. Für die Aufgabe Search nutzen Sie eine direkte Verbindung vom Typ Own model server oder die Modelle, die Akollo bereitstellt.
• New token (neues Token) macht das alte Token sofort ungültig. Starten Sie den Connector mit dem neuen Token neu und testen und aktivieren Sie die Verbindung danach erneut.
• Der Connector protokolliert pro Anfrage eine Zeile, nie das Token oder den Inhalt.

FehlerbehebungLink zur Überschrift kopieren

Häufige FragenLink zur Überschrift kopieren

Verwandte SeitenLink zur Überschrift kopieren

• KI-Verbindungen
• Modelle, die im Institut bleiben
• Das Modell im Institut betreiben
• Was die Assistenz sehen kann
• KI-Zugang und KI-Tokens