Anbieter und Modelle

English: Providers and Models

Ein Anbieter ist in AI Studio die Kombination aus einem Dienst, der KI-Modelle betreibt, und einem seiner Modelle, zum Beispiel OpenAI mit einem bestimmten GPT-Modell oder ollama auf Ihrem Computer mit einem Modell, das Sie heruntergeladen haben. Sie können beliebig viele Anbieter einrichten und für jede Aufgabe den passenden wählen.

Drei Arten von Anbietern

Anbieter richten Sie unter „Einstellungen“ ein:

Art	Wofür	Abschnitt in den Einstellungen
Anbieter für LLMs	den Chat und die Assistenten	„Anbieter für LLMs konfigurieren“
Anbieter für Transkriptionen	die Spracheingabe und das Transkribieren von Audio- und Videodateien	„Anbieter für Transkriptionen konfigurieren“
Anbieter für Einbettungen (Beta)	das Durchsuchen Ihrer Datenquellen	„Anbieter für Einbettungen konfigurieren“, nur wenn die Vorschaufunktion für Datenquellen eingeschaltet ist

AI Studio braucht mindestens einen Anbieter für LLMs. Die beiden anderen Arten brauchen Sie nur für die Funktionen, denen sie dienen.

Einen Anbieter für LLMs hinzufügen

Klicken Sie auf „Anbieter hinzufügen“ und füllen Sie den Dialog von oben nach unten aus:

1. „Anbieter“: der Dienst. „Konto erstellen“ öffnet seine Anmeldeseite.
2. „API-Schlüssel“: der Schlüssel aus Ihrem Konto bei dem Dienst. Bei „Selbst gehostet“ heißt das Feld „(Optional) API-Schlüssel“ und erscheint, sobald Sie einen Host gewählt haben.
3. „Hostname“: nur bei „Selbst gehostet“ und „LiteLLM“. Die Adresse des Servers, beginnend mit http:// oder https://, zum Beispiel http://localhost:1234.
4. „Host“: nur bei „Selbst gehostet“. Das Programm, das das Modell betreibt: LM Studio, llama.cpp, ollama, vLLM oder llmman.
5. „Hugging Face Inferenz-Anbieter“: nur bei „Hugging Face“. Wählen Sie einen Anbieter, der das Modell betreibt, oder lassen Sie Hugging Face den schnellsten, den günstigsten oder einen nach Ihrer bevorzugten Reihenfolge wählen.
6. „Modellauswahl“: Klicken Sie auf „Modelle laden“ und wählen Sie ein Modell. AI Studio braucht dafür den API-Schlüssel oder, bei einem selbst gehosteten Modell, einen Host, der seine Modelle auflisten kann. Bei einigen Diensten tippen Sie den Namen des Modells stattdessen ein; „Verfügbare Modelle anzeigen“ öffnet dann deren Modellliste.
7. „Instanzname“: ein Name Ihrer Wahl, höchstens 40 Zeichen lang und verschieden von Ihren übrigen Anbietern.

Mit „Hinzufügen“ speichern Sie den Anbieter. Um ihn später zu ändern, nutzen Sie „Bearbeiten“; der Knopf heißt dann „Aktualisieren“.

Experten-Einstellungen

„Experten-Einstellungen anzeigen“ blendet Einstellungen für Sonderfälle ein. Falsche Werte können das Modell unbrauchbar machen; ändern Sie sie also nur, wenn Sie wissen, was das Modell kann:

• „Modellfähigkeiten überschreiben“: sagt AI Studio, welche Eingaben das Modell annimmt, etwa mehrere Bilder, Audio oder Video, und ob es Werkzeuge aufrufen kann. „Zurücksetzen“ kehrt zu dem zurück, was AI Studio über das Modell weiß.
• „Verhalten bezüglich Schlussfolgerungen (Denken)“: ob das Modell nachdenkt, bevor es antwortet, von „Automatisch“ bis „Immer an“.
• „Modellbeschränkungen überschreiben“: das „Kontextfenster in Token“, also wie viel Text das Modell auf einmal verarbeiten kann, und wie viele „Bilder“ eine Nachricht mitnehmen darf, pro Nachricht und pro Anfrage. Das zählt vor allem bei Modellen, die Sie selbst betreiben, denn deren Grenzen hängen davon ab, wie sie eingerichtet wurden.
• „Zusätzliche API-Parameter“: weitere Einstellungen für den Dienst, etwa "temperature": 0.5, im JSON-Format ohne die umgebenden geschweiften Klammern.

Ist die Vorschaufunktion für Datenquellen eingeschaltet, können Sie außerdem eine Tokenizer-Datei für diesen Anbieter wählen, damit AI Studio Token genauer zählt.

Ihre Anbieter verwalten

Die Tabelle unter „Konfigurierte Anbieter für LLMs“ ordnet Ihre Anbieter nach Dienst. Jede Zeile bietet diese Aktionen:

• „Dashboard öffnen“: öffnet die Website des Dienstes, auf der Sie Ihre Nutzung und Kosten sehen. Nicht jeder Dienst hat eine.
• „Bearbeiten“: ändert den Anbieter.
• „Löschen“: entfernt den Anbieter und seinen gespeicherten API-Schlüssel.

Einen Anbieter importieren

Eine Kollegin oder ein Kollege kann Ihnen einen Anbieter als Text weitergeben. Klicken Sie auf „Anbieter importieren“, fügen Sie den Text in „Exportierte Konfiguration“ ein und bestätigen Sie. AI Studio liest nur die Werte; den eingefügten Text führt es nie aus. Danach öffnet sich der gewohnte Dialog, damit Sie alles prüfen, bevor Sie speichern.

Ein importierter Anbieter kommt meist ohne API-Schlüssel; geben Sie also Ihren ein, bevor Sie speichern. Ihre Organisation hat das Importieren womöglich abgeschaltet.

Anbieter Ihrer Organisation

Betreut Ihre Organisation AI Studio, stammen manche Anbieter von Ihrer IT-Abteilung:

• Ein Schloss bedeutet „Dieser Anbieter wird von Ihrer Organisation verwaltet.“ Sie können den Anbieter nutzen, ihn aber weder ändern noch löschen.
• Ein Schlüssel-Symbol bedeutet „Dieser Anbieter wird von Ihrer Organisation verwaltet. Sie können Ihren eigenen API-Schlüssel einrichten.“ Klicken Sie darauf, um Ihren persönlichen Schlüssel einzugeben. Alles andere bleibt, wie Ihre Organisation es festgelegt hat.

Ihre Organisation kann Ihnen auch verwehren, Anbieter hinzuzufügen oder zu importieren. Die Knöpfe zeigen dann ein Schloss.

Welcher Anbieter vorausgewählt ist

AI Studio kann einen Anbieter für Sie vorauswählen, damit Sie ihn nicht jedes Mal wählen müssen:

• Für die ganze App: „Einstellungen“ → „App-Einstellungen“ → „Vorausgewählter Anbieter“.
• Für den Chat: Öffnen Sie im Chat mit dem Zahnrad die „Chat-Optionen“, schalten Sie „Chat-Optionen vorauswählen?“ ein und wählen Sie unter „Vorausgewählter Anbieter“ den Anbieter. Dort legen Sie auch fest, ob neue Chats mit dem zuletzt genutzten oder immer mit dem vorausgewählten Anbieter beginnen.
• Für einen Assistenten: Öffnen Sie im Assistenten mit dem Zahnrad seine Optionen, schalten Sie die Vorauswahl ein, zum Beispiel „Übersetzeroptionen vorauswählen?“, und wählen Sie unter „Vorausgewählter Anbieter“ den Anbieter.

Die Wahl eines Assistenten oder des Chats geht der für die ganze App vor. Haben Sie nur einen Anbieter eingerichtet, nutzt AI Studio immer diesen.

Wo Ihre API-Schlüssel liegen

AI Studio legt API-Schlüssel im Anmeldedaten-Speicher Ihres Betriebssystems ab: im Schlüsselbund unter macOS, in der Anmeldeinformationsverwaltung unter Windows und unter Linux in einem Passwortmanager mit Secret Service. Sicherungen von AI Studio lassen sie aus.

Kann AI Studio einen Schlüssel nicht speichern oder lesen, nennt der Dialog den Grund unter dem Feld für den API-Schlüssel. Unter Linux heißt das meist, dass Ihr Passwortmanager gesperrt ist oder fehlt; siehe Sichere Ablage von API-Schlüsseln.

Anbieter für Transkriptionen

Für die Spracheingabe fügen Sie unter „Anbieter für Transkriptionen konfigurieren“ mit „Anbieter für Transkriptionen hinzufügen“ einen Anbieter hinzu und wählen ihn dann unter „Einstellungen“ → „App-Einstellungen“ → „Wählen Sie einen Transkriptionsanbieter aus“. Ohne diese Wahl bleiben Diktieren und Transkribieren ausgeschaltet.

Transkribieren können Sie mit OpenAI, Mistral, Fireworks.ai, Groq, GWDG, Helmholtz, LiteLLM, Requesty, Hugging Face oder auf Ihrem eigenen Computer mit ollama, vLLM, whisper.cpp oder llmman.

Anbieter für Einbettungen (Beta)

Datenquellen brauchen einen Anbieter für Einbettungen, der Ihre Texte in Zahlen verwandelt, die AI Studio durchsuchen kann. Fügen Sie ihn unter „Anbieter für Einbettungen konfigurieren“ mit „Einbettung hinzufügen“ hinzu. Mit „Testen“ probieren Sie ihn an einem Text Ihrer Wahl aus.

Einbettungen gibt es von OpenAI, Mistral, Google, Alibaba Cloud, IONOS, GWDG, Helmholtz, OpenRouter, LiteLLM, Requesty, Hugging Face oder auf Ihrem eigenen Computer mit LM Studio, ollama, vLLM oder llmman.

Wie es weitergeht

• Vertrauen in Anbieter: wie sehr Sie jedem Anbieter vertrauen und wie Sie heikle Aufgaben von manchen fernhalten.