Repository navigation
Podlight 0.1.0
Podlight 0.1.0
The first version of Podlight for Mac: your own LLM on a rented RunPod GPU, used by the coding agent
on your Mac through an OpenAI-compatible address. macOS 26 or later.
What it does
- Setup in a minute. Podlight asks for your RunPod API key, shows where to create it, and checks
it on the spot. - Add a model from Hugging Face. Search or paste a link. Podlight checks the format, the size and
whether the model can make tool calls, and suggests smaller 4-bit builds. - GPU suggestion with prices. Economical, balanced or fast, with price per hour and an estimated
speed. If a card is taken at start, Podlight tries the next ones that still hold the context. - Every start has an end. You choose how long it runs and see the most it can cost.
- Connect OpenCode. Copy a ready configuration; the model appears as
podlight/<name>. - Costs stay in check.
- Idle stop after 30 minutes.
- Daily and monthly limits, which also block waking a pod.
- A safety stop inside each pod after 15 minutes without Podlight (sleeping Mac, app quit).
- A question before quitting while pods run.
- German and English throughout, with built-in help.
Good to know
- A new pod takes 10–25 minutes, because the GPU host first downloads the 9 GB engine and then the
model. Measured: 22 minutes. Resuming a stopped pod takes about a minute. - Podlight 0.1 runs models with vLLM. GGUF and MLX builds are recognised and declined.
- Not yet included: notifications before a run ends, server mode, and the Windows app.
Podlight is independent and not affiliated with RunPod.
Deutsch
Die erste Version von Podlight für den Mac: dein eigenes LLM auf einer gemieteten Grafikkarte bei
RunPod, nutzbar für den Coding-Agenten auf deinem Mac über eine OpenAI-kompatible Adresse. Ab macOS 26.
- Einrichtung in einer Minute, mit Prüfung des RunPod-API-Keys.
- Modelle von Hugging Face suchen oder per Link übernehmen. Podlight prüft sie und schlägt eine Karte
mit Preis und geschätztem Tempo vor. - Jeder Start hat ein Ende. Dazu kommen der Leerlauf-Stopp, Ausgabelimits, eine Notbremse im Pod und
eine Nachfrage beim Beenden. - OpenCode-Konfiguration zum Kopieren, Hilfe auf Deutsch.
Ein neuer Pod braucht 10 bis 25 Minuten, ein gestoppter ist nach etwa einer Minute wieder da.