Analytics update events

[lsipii]

Adds some metrics for the use of monitoring dashboard

• relates to: Extend the primary dashboard features monitoring#30
• metrics introduced:
  • on request runtime:
    • description: metrics published with CloudWatch client at every request using AnalyticsService.cs
    • metrics:
      • RequestsTotal: total requests (should match with the lambda invocations count)
      • RequestsPerContext: request counts by request context identifier eg. "{httpMethod} {requestPath}"
      • RequestsTotalPerAudience: how many requests by an application (af, keha, etc)
      • RequestsTotalPerIssuer: requests by authentication provider (issuer)
  • as background task:
    • description: metrics gathered from the database and then published to CloudWatch as a lambda function task: UpdateAnalyticsAction.cs
    • invoked from:
      • manually using admin function action: "UpdateAnalytics"
      • CloudWatch Events scheduler: once a day
      • SQS queue trigger initiatied by AnalyticsService:
        • triggered after profiles being created or deleted
    • metrics:
      • PersonsCount: how many profiles in total
      • PersonsCountByIssuer: by auth provider
      • PersonsCountByAudience: by application

[LauriGofore]

onko tällä anomuumilla string? parametrilla jokin funktio tässä?

[lsipii]

Se toteuttaa tuon määrityksen IAdminAppAction vastaavasti kuin muissa "Action"-toteutuksissa, muualla sitä käytetään inputin parsimiseen raa-asta json-tekstistä. Voisihan siihen kyllä laittaa overriden että voisi kutsua myös ilman parametriä.

[lsipii]

Eikun eipä se yliajaminen tässä taida onnistuakaan ilman että lähtee muuttamaan rakannetta.

[LauriGofore]

Ilmeisesti raakaquery käytössä, koska LINQ ei tue regexiä?

Kysyin huvikseen kaikkitietävältä AI:lta mikä tälle ois vastine, en tiedä toimisiko ja onko edes yhtään selkeämpi:

var personsCountByAudiences = _dataContext.ExternalIdentities .SelectMany(e => e.Audiences.Split(','), (identity, audience) => new { Identity = identity, Audience = audience }) .GroupBy(x => x.Audience) .Select(g => new PersonsByAudiencesResult { Amount = g.Count(), Audience = g.Key }) .ToList();

[lsipii]

Hienolta näyttää löydys, täytyy kokeilla! Itellä oli hankaluuksia saada linqillä haluttuun muotoon ja tulokseen, muuten kuin päivittämällä ef core v6 -> v7 (ja siitä tulisi sitten muita ongelmia). Tässä "Audiences"-kolumnissa oli alkuperäinen tarkoitus tallentaa se tyypiksi text[], mutta ei oikein näyttänyt istuvan ef:n maisemaan. Luulen että samasta syystä projun muutkin teksti-listat on tallennettu kantaan comma-separated-tekstitietueena eikä ihan vaan listana. Työkalut muokkaa valintoja.

[lsipii]

Ei toimi tuollaisenaan esimerkki koska tuo on tosiaan entity frameworkin käpistelyssä listatyyppi ja sillä ei ole stringin split-metodia. Täytyy vielä tsekkailla josko tuon saisi kuitenkin text[]-tyypiksi oikeastikin, ilman että tarvitsee päivittää efcore versiota, tuli sen kanssa vain hieman jo käytettyä niitä kuuluisia pitkiä tunteja.

[LauriGofore]

Oiskohan tässä kenties joku selventävä kommentti, että tämä middleware hoitaa kaksi eri asiaa:

• tracen passaaminen eteenpäin
• analytiikan kerääminen

Nuo ei ainakaan omassa päässä käänny siten, että liittyisivät suoraan toisiinsa (toinen enemmän audit trail/log hommia[?]), mutta sikäli ihan ok hoitaa samassa paikassa (olikin tuosta näköjään poisteltu joku RequestTracinMiddleware).

[lsipii]

Joo totta ne on omia vastuita ja hyvin voisi elellä omissa kalikoissaankin.

[LauriGofore]

👏 nähty myös dashboard käppyröissä demoilun yhteydessä, hyvin kerääpi dadaa!