Aktuelle Entwicklung und Vorstellung des Konfigurators

[ledermann]

Derzeitig wird SOLECTRUS dahingehend erweitert, dass zusätzliche Verbraucher integriert werden können, deren Stromverbräuche dann aus dem Hausverbrauch herausgerechnet und separat dargestellt werden. Beides kann seit ein paar Wochen getestet werden:

• Beta-Test: Anbindung von Wärmepumpe
• Beta-Test: Anbindung von externer Wallbox

Es funktioniert bereits ganz gut. In meiner Demo-Installation ist die Wärmepumpe zu sehen, andere User haben erfolgreich eine externe Wallbox per MQTT angebunden. Während in den Anfangstagen von SOLECTRUS ausschließlich SENEC unterstützt wird, gibt es mittlerweile sehr viele verschiedene Einsatzszenarien.

Eine Herausforderung ist dadurch jedoch die Konfiguration eine solches Setups. Um diese nicht nur flexibler zu gestalten, sondern auch zu vereinfachen, arbeite ich seit einiger Zeit an verschiedenen Dingen. Konkret gibt es momentan drei größere Baustellen:

• Der MQTT-Collector wurde in großen Teilen neu entwickelt und ermöglicht zukünftig eine flexiblere Konfiguration (siehe Custom mappings mqtt-collector#137). Der Aufbau der .env-Variablen wurde stark geändert, der Collector bleibt aber dennoch abwärtskompatibel, kann also weiterhin mit den alten Variablen betrieben werden. Beim Start wird im Log angegeben, wie man auf die neue Konfiguration wechseln kann, was man auch beherzigen sollte, da die alte Konfiguration nicht auf Dauer unterstützt wird.

• SOLECTRUS selbst, also das Dashboard, wurde um das Konzept der "Sensoren" erweitert. Dies ist eine Zwischenschicht für den Zugriff auf InfluxDB, um die bisherigen, sehr an SENEC angelehnten Bezeichner loszuwerden (siehe Support additional consumer #2836) und Messwerte aus unterschiedlichen "InfluxDB-Measurements" zu beziehen. Auch hier gibt es Abwärtskompatibilität, die alten Variablen funktionieren also zunächst weiter, ebenfalls gibt es Hinweise im Log zu Umstellung.

• Der Konfigurator ist gänzlich neu und wird in einem eigenen Repository entwickelt (noch nicht open-source). Dieser verfolgt die Idee, dass man seine Konfiguration über ein Web-UI "zusammenklicken" kann. Mit einem dynamischen Fragebogen stellt man im Browser ein, wie man SOLECTRUS betreiben und welche Geräte man anbinden möchte. Am Ende werden eine compose.yml und eine .env generiert, die man einfach übernehmen kann. Der Konfigurator soll möglichst bald den recht rustikalen Hosting Guide ersetzen.

Diese drei Themenbereiche greifen ineinander. Der Konfigurator wird die neuen Features des MQTT-Collectors und der Sensoren nutzen, um eine wirklich einfache Konfiguration zu ermöglichen.

Sämtliche Änderungen sind noch in der Entwicklung, es gibt also noch keine neuen Versionen. Aber ich wollte schon mal einen Überblick geben, was da gerade passiert. Insbesondere den Konfigurator möchte ich hiermit erstmalig vorstellen:

https://configurator.solectrus.de

Dazu direkt ein paar Warnungen:

• Der Konfigurator ist noch nicht ganz fertig, möglicherweise werden nicht alle Edge-Cases korrekt abgedeckt.
• Die generierte compose.yml verweist auf Beta-Versionen, das Ergebnis ist also mit Vorsicht zu genießen
• Der Konfigurator verwendet die vom Browser bevorzugte Sprache (EN oder DE). Die aus Textbausteinen zusammen gesetzte Anleitung wird aber dennoch nur auf Englisch erstellt, eine Übersetzung steht noch aus.
• Der Konfigurator dient insbesondere der Erst- oder Neuinstallation, also nicht der Migration von bestehenden Installationen. Die generierte Konfiguration kann aber sehr nützlich sein, um die eigene Installation zu überprüfen und ggf. zu verbessern.
• Der Konfigurator speichert keinerlei Daten. Alles, was man im Fragebogen eingibt, verleibt lokal im Browser und wird nur für die Generierung der Konfiguration benutzt.

Ich freue mich über Feedback und Anregungen! Primär interessiert mich, ob jeder seine Konfiguration dort wiederfindet, also sich zusammenklicken kann und das Ergebnis dann auch funktioniert. Bei Problemen mit dem Konfigurator wäre es toll, diese in Form von Issues hier zu dokumentieren:
https://github.com/solectrus/hosting/issues

[StevieC121176]

Ich bin begeistert. Die erstellten Inhalte des Konfigurators haben auf Anhieb funktioniert.
SD Karte formatiert und über den Pi Imager das Betriebssystem installiert.
Danach Docker über die offizielle Anleitung , dann weiter wie im Konfigurator beschrieben. Tolle Arbeit und eine echte Erleichterung.

[ledermann]

Das freut mich sehr :) Danke für das Feedback!

[StevieC121176]

Eine Sache ist mir bis jetzt aufgefallen. In meinem MQTT Wert für den Hausverbrauch wird die Wallbox bereits herausgerechnet. Das wird in der normalen Version auch korrekt dargestellt. Mit der neuen Installation über den Konfigurator wird die Wallbox zusätzlich nochmal durch Solectrus herausgerechnet aus dem Hausverbrauch, was in meinem Fall zu falschen Anzeigen beim Hausverbrauch führt. Evtl. müsste man bei der Konfiguration noch angeben können ob der Hausverbrauch mit oder ohne Wallbox ist.

Solectrus über Konfigurator:

alte Solectrus Installation:

[ledermann]

Guter Hinweis, danke! Ja, es geht um die Variable INFLUX_EXCLUDE_FROM_HOUSE_POWER, die vom Konfigurator automatisch auf HEATPUMP_POWER,WALLBOX_POWER gesetzt wird, was deinen Fall aber nicht abdeckt. Ich habe jetzt eine zusätzliche Frage ergänzt (für Wallbox), die das entsprechend behandelt:

(Analog für Wärmepumpe)

https://configurator.solectrus.de ist aktualisiert.

[StevieC121176]

Super, so funktioniert es. Danke

[gereons]

Gerade mal spasseshalber versucht eine Konfiguration zu bauen, und war vom Flow schon sehr angetan! Das ist für Docker-Anfänger sicher immens hilfreich.

ABER: Am Schluss sagt die Seite You can find them in the tabs beside., was ich erstmal ziemlich verwirrend fand da keine weiteren Browser-Tabs geöffnet wurden. Hier könnte eine klarere Formulierung helfen, ich habe die beiden "Tabs" in der Headerzeile komplett übersehen.

Und weitere Anregung: statt Ctrl-C / Ctrl-V und dann Ctrl-D zu beschreiben könnte die Kopiervorlage ein Heredoc enthalten, also zB so aussehen:

cat >.env <<EOF
FOO=bar
BAR=baz
EOF

dann kann man diesen kompletten Block copy-pasten und muss danach nur noch Return drücken.

Beim Kommando mkdir redis postgresql influxdb fehlt noch das letsencrypt-Directory.

[ledermann]

Danke für sehr nützlichen Hinweis! Ich habe den Text umformuliert und an vielen anderen Stellen überarbeitet. Den fehlenden Ordner für Traefik habe ich ergänzt - und ein paar andere Fehler bezüglich der Domain-Konfiguration ausgebessert. Konfigurator-Website ist aktualisiert.

Ja, die Übernahme der beiden Dateien über die Zwischenablage nicht ideal. Ein Heredoc wäre möglich, würde aber meiner Ansicht nach nicht so viel verbessern - statt Ctrl+D wäre es dann ein Enter. Aber im zu kopierenden .yml/.env müsste dann jeweils ein EOF stehen. Kopiert dann jemand auf anderem Weg, hat er auch das EOF drin, was zu ungültigen Dateien führen würde.

Ich hatte überlegt, die beiden Dateien serverseitig zu speichern, sodass man sie in der Konsole über ein wget oder curl abholen könnte und somit ohne die Zwischenablage auskäme. Aber dann würde ich Konfigurationen auf meinem Server speichern müssen, die ja auch Passwörter (z.B. für SENEC) enthalten würde. Das möchte ich vermeiden. Insofern belasse ich es erst mal bei der jetzigen Lösung.

[gereons]

Nichts auf dem Server zu haben ist sicherlich eine gute Idee und sollte so bleiben!

Vielleicht noch eine Idee, kA ob sowas rein lokal geht: Github hat ja diese "Raw"-Ansicht, wo man dann den Browser den Inhalt als normale Textdatei speichern lassen kann, vielleicht geht sowas? Alles HTML drumherum weglassen und content-type: text/plain setzen ist ja eigentlich alles was man dazu braucht...

[ledermann]

Ja, denkbar, aber ist der bisherige Copy-Button (rechts oben in den beiden "Tabs" für .env und compose.yml) nicht einfacher und besser? Das Problem ist ja nicht, wie man eine Datei in die Zwischenablage bekommt, sondern wie man sie per Terminal in das Dateisystem bekommt.

[gereons]

Klar, aber wenn ich im Browser "Save as" machen kann ist gar keine Zwischenablage mehr involviert, sondern ich muss nur noch ein File vom lokalen Rechner auf den Raspi/Server kopieren, und da ich für beide eh ein funktionierendes ssh brauche tut's auch scp.

Das ist auch als Zusatzoption gemeint und nicht als Ersatz für Copy/Paste.

[ledermann]

Ok, verstehe, gute Idee. Ich habe jetzt einen "Download"-Button ergänzt, der die angezeigte Datei als Textdatei herunterlädt. Dazu noch ein erklärender Passus in der Anleitung. App ist aktualisiert.

[gereons]

Mir sind noch ein paar Punkte aufgefallen:

INFLUX_PASSWORD und INFLUX_TOKEN_* müssen für jede generierte Konfiguration neu ausgewürfelt werden, damit die Datenbank nicht hinterher de facto offen im Netz steht. Postgres ist zwar nicht direkt erreichbar, aber vermutlich ist es sinnvoll auch POSTGRES_PASSWORD und SECRET_KEY_BASE so zu behandeln.

Nach einer erfolgreichen Server-Konfiguration hab ich keinen Weg gefunden mit der Raspi-Konfiguration weiterzumachen, ausser per hartem Page-Reload nochmal ganz von vorn anzufangen.

Bei der dann generierten Raspi-Config wurden keine INFLUX-Variablen in die .env geschrieben obwohl sie für den Betrieb erforderlich sind und zu den Werten aus der Server-Config passen müssen.

[ledermann]

Danke, alles berechtige Punkte. Die fehlenden InfluxDB-Variablen für den lokalen Part der verteilten Installation habe ich gerade ergänzt.

Ja, bei der verteilten Installation muss man für den lokalen Teil von vorne neu starten. Das ist suboptimal, das gebe ich zu.

Die verteilte Installation ist sowieso der komplizierteste Teil der ganzen Geschichte. Vermutlich werde ich das so ändern müssen, dass man zwei compose.yml und .env erhält und somit nur einen Fragen-Durchlauf benötigt. Dann wäre auch das Würfeln der Passwörter und Token leicht, weil ich die generierten Strings teilweise in beiden .env brauche und dann nirgendwo zwischenspeichern muss.
Eventuell spare ich mir das aber für eine Version 2 auf, mal sehen.

[frizzle0815]

Ein kurzes Feedback zum Konfigurator. Ich habe alles schnell und einfach zum Laufen bekommen auf meiner Synology mit Hilfe von Portainer und Daten über mqtt. Das ist schon einmal klasse

Ich musste allerdings eine manuelle Anpassung in der .env vornehmen bezüglich der Dateipfade.
Der Konfigurator gibt das hier aus:

INFLUX_VOLUME_PATH=./influxdb
DB_VOLUME_PATH=./postgresql
REDIS_VOLUME_PATH=./redis

Und ich habe es nur zum Laufen bekommen, wenn ich die konkreten Pfade angebe:

INFLUX_VOLUME_PATH=/volume1/docker/solectrus/influxdb
DB_VOLUME_PATH=/volume1/docker/solectrus/postgresql
REDIS_VOLUME_PATH=/volume1/docker/solectrus/redis

Die Ordner habe ich natürlich vorher manuell in dem entsprechenden Verzeichnis angelegt.

[ledermann]

Danke für den Hinweis! Ja, Synology ist streng, was die Pfade für Docker-Volumes angeht. Ich habe den Konfigurator jetzt so angepasst, dass bei Auswahl von Synology die Docker-Volumes nicht im Home-Folder angelegt werden, sondern in /volume1/docker/solectrus, also genau wie von dir angegeben.

[ledermann]

Der Configurator ist nun der "offizielle" Weg zur Installation von SOLECTRUS. Es gibt ein separates Repository, wo bei Problemen und Fragen auch Issues angelegt werden können.

Die bisherige Anleitung gibt es zwar noch, wird aber nicht mehr gepflegt.

Ich danke allen, die mit ihrem Feedback eine große Unterstützung waren!