Repository navigation
Releases
Podlight 0.4.0
Podlight 0.4.0
New
- Server mode. A Podlight server keeps your models reachable for agents while your Mac is off: for n8n, agents on other machines, or a team. It is one container (
ghcr.io/login-tb/podlight-server) for a VPS, a NAS or Coolify, with its own RunPod key, and runs by the same rules as the Mac: "runs until", idle stop, spending limits checked before a wake, deletion of unused stopped pods, and the safety stop in every pod, which now also covers a server that goes down. - Add Server… pairs the app with a server using the code from its log. Each server gets its own section in the sidebar with its models, Connection, Costs and Server Settings. The overview, the menu bar and the cost figures show the Mac and every server side by side.
- Access keys. Agents reach a server with keys of their own, created in the app, one per agent or machine, optionally limited to some models, revocable one by one. The configuration files for OpenCode, pi, Claude Code and Codex are written for the server, with functions named after it (
claude-podlight-office), so they sit beside the ones for this Mac. - HTTPS only. The app connects to servers over https, except on this Mac and the local network, where it says the connection is unencrypted. The server expects a reverse proxy with a certificate in front of it; Coolify does that when the service has a domain.
Fixed
- The first request after waking a model could get an empty 404 from RunPod's proxy, which had not started routing to the new pod yet, although the engine already answered. Podlight now waits up to 30 seconds for the proxy instead of passing the 404 on, on the Mac and on the server.
Under the hood
- The rules both implementations must follow are now one set of 334 cases in
spec/, including card suggestions, the pod request, hosting and the gateway's error codes, recorded from the Mac app. The Mac app and the server pass the same cases; the server's API is described inspec/openapi.json.
Deutsch
- Servermodus: Ein Podlight-Server hält deine Modelle für Agenten erreichbar, auch wenn der Mac aus ist, etwa für n8n, Agenten auf anderen Rechnern oder ein Team. Ein Container (
ghcr.io/login-tb/podlight-server) für VPS, NAS oder Coolify, mit eigenem RunPod-Key, nach denselben Regeln wie der Mac: „Läuft bis“, Leerlauf-Stopp, Ausgabenlimits vor dem Aufwecken, Löschen ungenutzter Pods und die Notbremse in jedem Pod, die jetzt auch greift, wenn der Server ausfällt. - „Server hinzufügen …“ koppelt die App mit dem Code aus dem Log des Servers. Jeder Server hat einen eigenen Abschnitt in der Seitenleiste mit Modellen, Verbindung, Kosten und Server-Einstellungen. Übersicht, Menüleiste und Kosten zeigen Mac und Server nebeneinander.
- Zugangsschlüssel: Agenten erreichen einen Server mit eigenen Schlüsseln, die du in der App anlegst, einen pro Agent oder Rechner, auf Wunsch auf einzelne Modelle beschränkt und einzeln widerrufbar. Die Konfigurationen für OpenCode, pi, Claude Code und Codex werden für den Server erzeugt, mit Funktionen nach seinem Namen (
claude-podlight-office). - Nur HTTPS: Die App verbindet sich mit Servern über https, außer auf diesem Mac und im lokalen Netz, wo sie auf die unverschlüsselte Verbindung hinweist.
- Behoben: Die erste Anfrage nach dem Aufwecken bekam manchmal ein leeres 404 von RunPods Proxy, obwohl die Engine schon antwortete. Podlight wartet jetzt bis zu 30 Sekunden auf den Proxy, auf dem Mac und auf dem Server.
Podlight 0.3.2
Podlight 0.3.2
Changed
- Each part copies on its own. Under Connection → Configuration files for experts, every part is now a box of its own with a heading, a line saying where it goes, and its own Copy button. Claude Code shows "Once, in a terminal" and "Permanently as claude-podlight" separately, Codex its two steps (the provider for
~/.codex/config.tomland the functioncodex-podlightfor~/.zshrc). Copy takes exactly that box, without comment lines, so nothing has to be cut out with the mouse. OpenCode, pi and the environment variables get the same boxes.
The commands themselves are unchanged.
Deutsch
- Jeder Teil lässt sich einzeln kopieren. Unter „Verbindung“ → „Konfigurationsdateien für Fortgeschrittene“ steht jeder Teil in einem eigenen Kasten mit Überschrift, einem Hinweis, wohin er gehört, und einem eigenen Knopf „Kopieren“. Bei Claude Code stehen „Einmalig im Terminal“ und „Dauerhaft als claude-podlight“ getrennt, bei Codex die beiden Schritte (Anbieter für
~/.codex/config.tomlund Funktioncodex-podlightfür~/.zshrc). Kopiert wird genau der Kasten, ohne Kommentarzeilen. Die Befehle selbst sind unverändert.
Podlight 0.3.1
Podlight 0.3.1
Fixed
- Claude Code with Qwen and similar models. Claude Code answered every prompt with "500 … System message must be at the beginning" and kept retrying. Claude Code sends a second system message after your first prompt (its working directory and environment); the engine passed it on, and the chat templates of Qwen and many other models refuse a system message that is not the first. Podlight's gateway now hands such messages on in the same place as a
<system-reminder>note, so the model still reads them. This applies to both engines.
Measured
Against huihui-ai/Huihui-Qwen3.8-27B-abliterated-GGUF (Q4_K_M, llama.cpp, A40), the real claude command with Podlight's settings first reproduced the error, then, with the system message rewritten as 0.3.1 does, read a file with its Read tool and answered from it. The rewrite in that run was applied by a test proxy in front of 0.3.0's gateway; the gateway code itself is covered by swift test against a fake engine.
Deutsch
- Behoben: Claude Code mit Qwen und ähnlichen Modellen. Claude Code antwortete mit „500 … System message must be at the beginning“ und versuchte es immer wieder. Claude Code schickt nach der ersten Eingabe eine zweite Systemnachricht (Arbeitsordner und Umgebung); viele Chat-Vorlagen, darunter die von Qwen, lehnen eine Systemnachricht ab, die nicht die erste ist. Das Gateway reicht solche Nachrichten jetzt an derselben Stelle als
<system-reminder>-Hinweis weiter. Das gilt für beide Engines.
Podlight 0.3.0
Podlight 0.3.0
New
- GGUF models. Models that exist only as GGUF now run, with llama.cpp. Pick the quantisation when you add the model (Podlight suggests Q4_K_M); how much memory a token needs is read from the file's header without downloading the model. llama.cpp's engine is smaller, so new pods are often ready sooner (85 seconds in the measurement).
- Claude Code and Codex. Connection → Configuration files for experts now has Claude Code and Codex, each with the install command and a ready terminal command or shell function (
claude-podlight,codex-podlight) that leaves your normal setup alone. Podlight passes through the Anthropic Messages API and the OpenAI Responses API they need, on both engines. Anthropic does not officially support other models in Claude Code; Podlight says so next to the command. - Overview. Podlight opens with an overview: what is running and what it costs, the next steps to a connected agent, spending against your limits, your models with Start, and the address to connect.
- Location per model. Where a model's pods may run (anywhere, EU, EU and EEA, Secure Cloud) is chosen when you add it, at the top of the card step. Settings hold the default for new models.
- Start where you look. A stopped model shows a large Start button right under its status, and adding a model ends with "Add and Start…".
Fixed
- Changing the context while adding or editing a model now changes the card selection with it: the suggestion is followed unless you picked a card yourself, a card that needs more of itself for the longer context moves up, and a card that no longer fits gives way, with a note. Editing no longer jumps back to the saved card. The memory the model needs for the chosen context is shown above the list.
- The model's detail shows the card under its catalog name and the price as "card + storage", so it matches the list.
- Speed estimates for B300, A100 40 GB, RTX 3070 and more cards that had none.
Measured
On RunPod, both engines served chat with tool calls, the Anthropic Messages API (with tool use, streaming and token counting) and the Responses API (with a function call) through Podlight: llama.cpp with a GGUF model, ready after 85 seconds, and vLLM, ready after 308 seconds (measurement). A full Claude Code or Codex session against a large model was not part of it.
Deutsch
- GGUF-Modelle laufen jetzt, mit llama.cpp. Die Quantisierung wählst du beim Anlegen (Vorschlag Q4_K_M); den Speicher pro Token liest Podlight aus dem Dateikopf, ohne das Modell zu laden.
- Claude Code und Codex: unter „Verbindung“ → „Konfigurationsdateien für Fortgeschrittene“ mit Installationsbefehl und fertigem Terminalbefehl bzw. Funktion (
claude-podlight,codex-podlight). Podlight reicht die Anthropic-Messages-API und die Responses-API durch. Anthropic unterstützt andere Modelle in Claude Code nicht offiziell; Podlight sagt das dazu. - Übersicht als Startbildschirm: was läuft und was es kostet, die nächsten Schritte, Ausgaben, Modelle mit „Starten“, die Adresse für Agenten.
- Standort pro Modell, gewählt beim Anlegen oben im Kartenschritt. Die Einstellungen sind der Standard für neue Modelle.
- „Starten“ dort, wo man hinschaut: großer Knopf unter dem Status eines gestoppten Modells, und „Hinzufügen und starten …“ am Ende des Anlegens.
- Behoben: Ändert sich der Kontext, folgt die Kartenauswahl; beim Bearbeiten springt sie nicht mehr zurück. Über der Liste steht, wie viel Kartenspeicher der Kontext braucht. Karte und Preis im Detail stimmen mit der Liste überein.
Podlight 0.2.0
Podlight 0.2.0
New
- Long contexts, several cards. Choose the context first, up to the model's own limit (256k, 1M), and Podlight shows only cards that hold it, including 2, 4 or 8 cards in one pod. How much memory a token needs is now read from the model itself instead of estimated.
- No disk unless you want one. New models no longer keep a disk at RunPod: the pod is deleted at the end of a run and nothing is billed in between. Switch on "Keep model on disk" for one-minute restarts; its monthly cost is shown when you add the model, when you start it and under Costs, and counts towards your limits.
- EU hosting. Settings → Hosting: anywhere, EU only, or EU and EEA, and "Secure Cloud only". RunPod treats regions as a preference, so Podlight checks where each pod landed and deletes it at once if it is outside.
- Use your models from other computers. Settings → Network: "This Mac and the local network". The key stays required.
- Simpler connection. Address, key and model name to copy into any agent; configuration files for OpenCode, pi and environment variables for experts.
- Settings in the sidebar, next to your models, Connection and Costs. "Change Limits…" changes only the limits.
- Edit a model (context, card, disk, idle stop) while it is stopped.
- Notifications: model ready, ten minutes before the end (with "Extend by One Hour"), spending limit, safety stop.
- Hugging Face token in setup (optional, recommended): pods download over shared RunPod addresses, which Hugging Face limits more strictly without an account.
- Nicer install. A designed disk image window, and Podlight offers to move itself into Applications.
- Current macOS design: standard sidebar and toolbar in Liquid Glass, with Start/Stop as the one prominent action.
Changed
- Models from 0.1 keep their disk until you switch it off under Edit.
- The cost figures now include storage (container and kept disks).
- With a region chosen, Podlight uses Secure Cloud only: community hosts report no location.
- When the engine fails in a pod, Podlight shows its last lines and ends the pod.
Not yet verified
- Several cards in one pod are covered by tests, but RunPod had no two-card capacity in the EU during the live measurement, so a real tensor-parallel run is still open (measurement).
Deutsch
- Lange Kontexte, mehrere Karten. Erst den Kontext wählen, bis zum Maximum des Modells (256k, 1M), dann zeigt Podlight nur Karten, die ihn fassen, auch 2, 4 oder 8 in einem Pod. Den Speicher pro Token liest Podlight jetzt aus dem Modell selbst.
- Keine Festplatte, außer du willst eine. Neue Modelle behalten keine Festplatte bei RunPod: Am Ende eines Laufs wird der Pod gelöscht, dazwischen kostet nichts. Mit „Modell zwischenspeichern“ startet er in etwa einer Minute; die Kosten pro Monat stehen beim Anlegen, beim Start und unter „Kosten“ und zählen zu den Limits.
- Hosting in der EU. Einstellungen → Hosting: überall, nur EU oder EU und EWR, dazu „Nur Secure Cloud“. Podlight prüft, wo jeder Pod gelandet ist, und löscht ihn sofort, wenn er außerhalb liegt.
- Zugriff aus dem lokalen Netzwerk, weiterhin nur mit Schlüssel.
- Einfachere Verbindung: Adresse, Schlüssel und Modellname zum Kopieren; Konfigurationsdateien für OpenCode, pi und Umgebungsvariablen für Fortgeschrittene.
- Mit einer Region nutzt Podlight nur Secure Cloud, weil Community-Rechner keinen Standort melden.
- Bricht die Engine ab, zeigt Podlight die letzten Zeilen und beendet den Pod.
- Noch nicht live bestätigt: mehrere Karten in einem Pod. Die Tests decken es ab, aber RunPod hatte bei der Messung in der EU keine zwei Karten frei.
- Einstellungen in der Seitenleiste, Modelle bearbeiten, Mitteilungen, Hugging-Face-Token im Setup, gestaltetes Disk-Image und Angebot zum Verschieben in den Programme-Ordner, aktuelles macOS-Design.
Podlight 0.1.0
Podlight 0.1.0
The first version of Podlight for Mac: your own LLM on a rented RunPod GPU, used by the coding agent
on your Mac through an OpenAI-compatible address. macOS 26 or later.
What it does
- Setup in a minute. Podlight asks for your RunPod API key, shows where to create it, and checks
it on the spot. - Add a model from Hugging Face. Search or paste a link. Podlight checks the format, the size and
whether the model can make tool calls, and suggests smaller 4-bit builds. - GPU suggestion with prices. Economical, balanced or fast, with price per hour and an estimated
speed. If a card is taken at start, Podlight tries the next ones that still hold the context. - Every start has an end. You choose how long it runs and see the most it can cost.
- Connect OpenCode. Copy a ready configuration; the model appears as
podlight/<name>. - Costs stay in check.
- Idle stop after 30 minutes.
- Daily and monthly limits, which also block waking a pod.
- A safety stop inside each pod after 15 minutes without Podlight (sleeping Mac, app quit).
- A question before quitting while pods run.
- German and English throughout, with built-in help.
Good to know
- A new pod takes 10–25 minutes, because the GPU host first downloads the 9 GB engine and then the
model. Measured: 22 minutes. Resuming a stopped pod takes about a minute. - Podlight 0.1 runs models with vLLM. GGUF and MLX builds are recognised and declined.
- Not yet included: notifications before a run ends, server mode, and the Windows app.
Podlight is independent and not affiliated with RunPod.
Deutsch
Die erste Version von Podlight für den Mac: dein eigenes LLM auf einer gemieteten Grafikkarte bei
RunPod, nutzbar für den Coding-Agenten auf deinem Mac über eine OpenAI-kompatible Adresse. Ab macOS 26.
- Einrichtung in einer Minute, mit Prüfung des RunPod-API-Keys.
- Modelle von Hugging Face suchen oder per Link übernehmen. Podlight prüft sie und schlägt eine Karte
mit Preis und geschätztem Tempo vor. - Jeder Start hat ein Ende. Dazu kommen der Leerlauf-Stopp, Ausgabelimits, eine Notbremse im Pod und
eine Nachfrage beim Beenden. - OpenCode-Konfiguration zum Kopieren, Hilfe auf Deutsch.
Ein neuer Pod braucht 10 bis 25 Minuten, ein gestoppter ist nach etwa einer Minute wieder da.