[TASK] add per-link statistics to influxdb #57

corny · 2017-04-18T01:27:08Z

closes #23

genofire · 2017-04-18T19:21:49Z

runtime/nodes.go

+	// Update fields
+	node.Lastseen = now
+	node.Online = true
+	node.Neighbours = res.Neighbours


👍 delete old values if they are not updated ... respond with get-request should answers with all requested parts (nodeinfo,statistics,neighbours)

genofire · 2017-04-18T20:26:47Z

database/influxdb/node.go

@@ -77,6 +81,9 @@ func buildNodeStats(node *runtime.Node) (tags models.Tags, fields models.Fields)
 		batadv := 0
 		for _, batadvNeighbours := range neighbours.Batadv {
 			batadv += len(batadvNeighbours.Neighbours)
+			for neighbourID, link := range batadvNeighbours.Neighbours {
+				conn.insertLinkStatistics(stats.NodeID, neighbourID, link.Tq, time)


This is not the nodeid of the neighbour - it is the mac-address of the ínterface on this neighbour node

Ok, that means it will be more complicated.

(or not so beautiful replace the stats.NodeID with the mac of the batman interface) <- 👎

Is the MeshViewer able to deal with MAC addresses for links?

ATM no - he has no intention to deal with it - for it there are nodeid's

Es gibt also hier nur zwei lösungen:

in der influxdb cachen von anderen nodes

nodes global in runtime speichern und von anderen packages benutzbar (ggf. dort auch schon eine map mit den mac adressen einfügen)

... (ich weiß nicht alles, gibt es eine weitere Möglichkeit)

Wäre für option 2

@corny, würde es ja bauen ... wenn du mir sagst, 'wie'

also Variante 2

closes #23

genofire · 2017-09-02T15:19:02Z

Hihi, und es läuft auf dem server -> https://map.ffhb.de/#/en/map/60e327c79924-24a43ce7fe77

genofire · 2017-09-04T07:47:39Z

Würde gern die TQ umrechnen, in Prozent ... okay?

corny · 2017-09-13T20:11:55Z

runtime/nodes.go

@@ -93,6 +88,10 @@ func (nodes *Nodes) Select(f func(*Node) bool) []*Node {
 	return result
 }

+func (nodes *Nodes) GetNodeIDByIface(mac string) string {


exported method Nodes.GetNodeIDByIface should have comment or be unexported

corny · 2017-09-13T20:12:28Z

runtime/nodes.go

@@ -93,6 +88,10 @@ func (nodes *Nodes) Select(f func(*Node) bool) []*Node {
 	return result
 }

+func (nodes *Nodes) GetNodeIDByIface(mac string) string {
+	return nodes.iFaceToNodeID[mac]
+}


Kein Locking hier für eine exportiere Methode?

Ist doch "nur" lesend -> wird da locking benötigt?

Na klar - oder sorgst du irgendwo dafür, dass nicht gleichzeitig geschrieben wird?

corny · 2017-09-13T20:26:14Z

runtime/nodes.go

+		}
+		nodes.Unlock()
+	}
+}


Der Code dieser Methode ist nicht DRY. Ich räume sie auf.

corny · 2017-09-13T21:13:37Z

In Prozent umrechen: Ja, bin ich für!

genofire · 2017-09-14T01:55:03Z

Kann von mir aus nun ge squash+merge werden :)

corny · 2017-09-14T09:47:05Z

Ohje, jetzt fällt's mir erst auf: Du hast das Einfügen der Link-Metriken in InsertNode() eingebaut. Bitte erstelle eine InsertLink()-Methode, welche die Linkdaten bekommt. Die Connect()-Methode muss unverändert bleiben.

Die Berechnung der Datenpunkte muss außerhalb der Datenbank-Module geschehen. Das ist ja nichts influxdb-Spezifisches. Separation of concerns mal wieder.

-> separation of concerns

corny · 2017-09-14T23:46:46Z

Was passiert eigentlich, wenn mehr als einen Link zwischen zwei Knoten gibt? Bespielsweise im Falle von Mesh-On-LAN und gleichzeitigem Mesh über WLAN?

genofire · 2017-09-15T05:52:02Z

runtime/nodes.go

@@ -93,6 +90,27 @@ func (nodes *Nodes) Select(f func(*Node) bool) []*Node {
 	return result
 }

+// NodeLinks returns a list of links to known neighbours
+func (nodes *Nodes) NodeLinks(node *Node) (result []Link) {


Gute Frage, da es blöd ist, wenn mehrere unterschiedliche TQs für "ein" Link zwischen zwei Knoten gemeldet werden.

Müsste man dies hier verarbeiten.
Policy best link wins?
Damit der LAN-Link TQ, den Mesh on Wifi schlägt?
Genauso wie ein 2.4 Ghz gegenüber ein 5 Ghz link

Ich habe mit @jplitza gesprochen. Wenn es mehrere Links gibt, sollten die Daten aller Links gespeichert werden. Also keine Abbildung von Interface-Adressen auf Node-IDs. Die Darstellung ist dann Sache des Mesh-Viewers.

Vorschlag, beides speichern, als Tag die MAC und die Nodeid von SRC und Target

Brauchen wir denn beides? Wie sehen die Abfragen aus, die wir machen?

Im Meshviewer:

https://grafana.bremen.freifunk.net/render/dashboard-solo/db/global-selectable?panelId=7&var-node={SOURCE_ID}&var-nodetolink={TARGET_ID}&from=now-86399s&width=650&height=350&theme=light

In Grafana als Influx-Query:

From Source:

SELECT mean("tq") FROM "link" WHERE ("source" =~ /^$node$/ AND "target" =~ /^$nodetolink$/) AND $timeFilter GROUP BY time($__interval) fill(null)

From Target:

SELECT mean("tq") FROM "link" WHERE ("target" =~ /^$node$/ AND "source" =~ /^$nodetolink$/) AND $timeFilter GROUP BY time($__interval) fill(null)

Min:

SELECT min("tq") FROM "link" WHERE ("target" =~ /^$node$/ AND "source" =~ /^$nodetolink$/ OR "source" =~ /^$node$/ AND "target" =~ /^$nodetolink$/) AND $timeFilter GROUP BY time($__interval) fill(null)

Diese kann man allerdings schlecht in Grafana oder anderen Auswertungstools für influxdb verwenden.
(Wenn der Meshviewer die MAC aus der JSON nutzt, doch eine Community kein Meshviewer nutzt, ist der Link total nutzlos.)

Stimme @genofire da zu: Wenn das Grafana halbwegs self-contained sein soll, dann muss die NodeID (auch) mit rein. Und das sollte es meiner Meinung nach, um so etwas wie Dashboards zu Knoten oder zu Orten zu ermögilchen.

Und bei einer Retention Time von 7d stören uns die paar Daten doch nicht, oder?

Mich stört es nicht, das die MAC drin ist. Da es die vom Node ist - doch dein Satz, welches mit "Und ..."-Anfängt spricht doch eher für die NodeID.

Äh, sorry, ich war verwirrt. Ich meinte NodeID statt MAC-Adresse. Habs korrigiert.

Das sehe ich ein. Ich habe einen Commit hinzugefügt, damit jetzt Source-ID, Source-MAC, Target-ID und Target-MAC pro Link gespeichert werden.

genofire · 2017-09-24T14:07:48Z

<3 teste ich gleich - der Commit sieht so gut aus

genofire · 2017-09-27T12:00:45Z

In database logging to add InsertLink() to file has no value.
(it is just a example Database type)

Whats is with Graphite @andir @MyIgel ?

corny force-pushed the link-stats branch 3 times, most recently from 01d77f4 to 890b15f Compare April 18, 2017 01:38

genofire added the wip label Apr 18, 2017

corny requested a review from genofire April 18, 2017 09:54

genofire approved these changes Apr 18, 2017

View reviewed changes

genofire requested changes Apr 18, 2017

View reviewed changes

genofire changed the title ~~Add per-link statistics~~ [TASK] add per-link statistics to influxdb Apr 19, 2017

genofire force-pushed the link-stats branch from 890b15f to c61be3c Compare June 14, 2017 20:17

Add per-link statistics

d9ca766

closes #23

genofire force-pushed the link-stats branch 2 times, most recently from 2f23641 to b576e46 Compare September 2, 2017 14:49

solve mac of interface to nodeid

8185b8a

genofire force-pushed the link-stats branch from b576e46 to 8185b8a Compare September 2, 2017 14:54

genofire added review and removed wip labels Sep 12, 2017

Some improvements

dcc18ef

corny commented Sep 13, 2017

View reviewed changes

corny added 3 commits September 13, 2017 22:38

Reduce operations on map

fd14fd4

Check for empty NodeID in NodeInfo

d937ce6

Fix readIfaces

3e09096

corny force-pushed the link-stats branch from 6ed05cb to 3e09096 Compare September 13, 2017 21:10

calc tq in percent

fd6cba2

comment + cleaning

6f9913a

corny force-pushed the link-stats branch from 318056a to 3b460cf Compare September 14, 2017 10:37

corny force-pushed the link-stats branch 3 times, most recently from b4647af to 9675ea0 Compare September 14, 2017 10:50

Remove link calculation from database packages

3590171

-> separation of concerns

corny force-pushed the link-stats branch from 9675ea0 to 3590171 Compare September 14, 2017 10:55

genofire reviewed Sep 15, 2017

View reviewed changes

Add source ID and target ID to links

b85e5db

genofire merged commit f465021 into master Sep 27, 2017

FreifunkBremen deleted a comment from coveralls Sep 27, 2017

genofire deleted the link-stats branch September 27, 2017 11:56

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

[TASK] add per-link statistics to influxdb #57

[TASK] add per-link statistics to influxdb #57

corny commented Apr 18, 2017

genofire Apr 18, 2017 •

edited

Loading

genofire Apr 18, 2017

corny Apr 18, 2017

genofire Apr 18, 2017

corny Apr 19, 2017

genofire Apr 19, 2017

genofire Jun 14, 2017

genofire Aug 26, 2017

genofire Sep 2, 2017

genofire commented Sep 2, 2017

genofire commented Sep 4, 2017

corny Sep 13, 2017

corny Sep 13, 2017

genofire Sep 13, 2017

corny Sep 13, 2017

corny Sep 13, 2017

corny commented Sep 13, 2017

genofire commented Sep 14, 2017

corny commented Sep 14, 2017

corny commented Sep 14, 2017

genofire Sep 15, 2017

corny Sep 16, 2017

genofire Sep 16, 2017

corny Sep 16, 2017

genofire Sep 18, 2017

genofire Sep 19, 2017

jplitza Sep 20, 2017 •

edited

Loading

genofire Sep 20, 2017

jplitza Sep 22, 2017

corny Sep 24, 2017

genofire commented Sep 24, 2017 •

edited

Loading

genofire commented Sep 27, 2017

[TASK] add per-link statistics to influxdb #57

[TASK] add per-link statistics to influxdb #57

Conversation

corny commented Apr 18, 2017

genofire Apr 18, 2017 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

genofire commented Sep 2, 2017

genofire commented Sep 4, 2017

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

corny commented Sep 13, 2017

genofire commented Sep 14, 2017

corny commented Sep 14, 2017

corny commented Sep 14, 2017

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Im Meshviewer:

In Grafana als Influx-Query:

Choose a reason for hiding this comment

jplitza Sep 20, 2017 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

genofire commented Sep 24, 2017 • edited Loading

genofire commented Sep 27, 2017

genofire Apr 18, 2017 •

edited

Loading

jplitza Sep 20, 2017 •

edited

Loading

genofire commented Sep 24, 2017 •

edited

Loading