Skip to content

Podlight 0.2.0

Choose a tag to compare

@LOGIN-TB LOGIN-TB released this 21 Nov 10:42
b87c871

Podlight 0.2.0

New

  • Long contexts, several cards. Choose the context first, up to the model's own limit (256k, 1M), and Podlight shows only cards that hold it, including 2, 4 or 8 cards in one pod. How much memory a token needs is now read from the model itself instead of estimated.
  • No disk unless you want one. New models no longer keep a disk at RunPod: the pod is deleted at the end of a run and nothing is billed in between. Switch on "Keep model on disk" for one-minute restarts; its monthly cost is shown when you add the model, when you start it and under Costs, and counts towards your limits.
  • EU hosting. Settings → Hosting: anywhere, EU only, or EU and EEA, and "Secure Cloud only". RunPod treats regions as a preference, so Podlight checks where each pod landed and deletes it at once if it is outside.
  • Use your models from other computers. Settings → Network: "This Mac and the local network". The key stays required.
  • Simpler connection. Address, key and model name to copy into any agent; configuration files for OpenCode, pi and environment variables for experts.
  • Settings in the sidebar, next to your models, Connection and Costs. "Change Limits…" changes only the limits.
  • Edit a model (context, card, disk, idle stop) while it is stopped.
  • Notifications: model ready, ten minutes before the end (with "Extend by One Hour"), spending limit, safety stop.
  • Hugging Face token in setup (optional, recommended): pods download over shared RunPod addresses, which Hugging Face limits more strictly without an account.
  • Nicer install. A designed disk image window, and Podlight offers to move itself into Applications.
  • Current macOS design: standard sidebar and toolbar in Liquid Glass, with Start/Stop as the one prominent action.

Changed

  • Models from 0.1 keep their disk until you switch it off under Edit.
  • The cost figures now include storage (container and kept disks).
  • With a region chosen, Podlight uses Secure Cloud only: community hosts report no location.
  • When the engine fails in a pod, Podlight shows its last lines and ends the pod.

Not yet verified

  • Several cards in one pod are covered by tests, but RunPod had no two-card capacity in the EU during the live measurement, so a real tensor-parallel run is still open (measurement).

Deutsch

  • Lange Kontexte, mehrere Karten. Erst den Kontext wählen, bis zum Maximum des Modells (256k, 1M), dann zeigt Podlight nur Karten, die ihn fassen, auch 2, 4 oder 8 in einem Pod. Den Speicher pro Token liest Podlight jetzt aus dem Modell selbst.
  • Keine Festplatte, außer du willst eine. Neue Modelle behalten keine Festplatte bei RunPod: Am Ende eines Laufs wird der Pod gelöscht, dazwischen kostet nichts. Mit „Modell zwischenspeichern“ startet er in etwa einer Minute; die Kosten pro Monat stehen beim Anlegen, beim Start und unter „Kosten“ und zählen zu den Limits.
  • Hosting in der EU. Einstellungen → Hosting: überall, nur EU oder EU und EWR, dazu „Nur Secure Cloud“. Podlight prüft, wo jeder Pod gelandet ist, und löscht ihn sofort, wenn er außerhalb liegt.
  • Zugriff aus dem lokalen Netzwerk, weiterhin nur mit Schlüssel.
  • Einfachere Verbindung: Adresse, Schlüssel und Modellname zum Kopieren; Konfigurationsdateien für OpenCode, pi und Umgebungsvariablen für Fortgeschrittene.
  • Mit einer Region nutzt Podlight nur Secure Cloud, weil Community-Rechner keinen Standort melden.
  • Bricht die Engine ab, zeigt Podlight die letzten Zeilen und beendet den Pod.
  • Noch nicht live bestätigt: mehrere Karten in einem Pod. Die Tests decken es ab, aber RunPod hatte bei der Messung in der EU keine zwei Karten frei.
  • Einstellungen in der Seitenleiste, Modelle bearbeiten, Mitteilungen, Hugging-Face-Token im Setup, gestaltetes Disk-Image und Angebot zum Verschieben in den Programme-Ordner, aktuelles macOS-Design.