Skip to content

Podlight 0.1.0

Choose a tag to compare

@LOGIN-TB LOGIN-TB released this 20 Nov 20:53
cac585b

Podlight 0.1.0

The first version of Podlight for Mac: your own LLM on a rented RunPod GPU, used by the coding agent
on your Mac through an OpenAI-compatible address. macOS 26 or later.

What it does

  • Setup in a minute. Podlight asks for your RunPod API key, shows where to create it, and checks
    it on the spot.
  • Add a model from Hugging Face. Search or paste a link. Podlight checks the format, the size and
    whether the model can make tool calls, and suggests smaller 4-bit builds.
  • GPU suggestion with prices. Economical, balanced or fast, with price per hour and an estimated
    speed. If a card is taken at start, Podlight tries the next ones that still hold the context.
  • Every start has an end. You choose how long it runs and see the most it can cost.
  • Connect OpenCode. Copy a ready configuration; the model appears as podlight/<name>.
  • Costs stay in check.
    • Idle stop after 30 minutes.
    • Daily and monthly limits, which also block waking a pod.
    • A safety stop inside each pod after 15 minutes without Podlight (sleeping Mac, app quit).
    • A question before quitting while pods run.
  • German and English throughout, with built-in help.

Good to know

  • A new pod takes 10–25 minutes, because the GPU host first downloads the 9 GB engine and then the
    model. Measured: 22 minutes. Resuming a stopped pod takes about a minute.
  • Podlight 0.1 runs models with vLLM. GGUF and MLX builds are recognised and declined.
  • Not yet included: notifications before a run ends, server mode, and the Windows app.

Podlight is independent and not affiliated with RunPod.


Deutsch

Die erste Version von Podlight für den Mac: dein eigenes LLM auf einer gemieteten Grafikkarte bei
RunPod, nutzbar für den Coding-Agenten auf deinem Mac über eine OpenAI-kompatible Adresse. Ab macOS 26.

  • Einrichtung in einer Minute, mit Prüfung des RunPod-API-Keys.
  • Modelle von Hugging Face suchen oder per Link übernehmen. Podlight prüft sie und schlägt eine Karte
    mit Preis und geschätztem Tempo vor.
  • Jeder Start hat ein Ende. Dazu kommen der Leerlauf-Stopp, Ausgabelimits, eine Notbremse im Pod und
    eine Nachfrage beim Beenden.
  • OpenCode-Konfiguration zum Kopieren, Hilfe auf Deutsch.

Ein neuer Pod braucht 10 bis 25 Minuten, ein gestoppter ist nach etwa einer Minute wieder da.