Ukelonn: en webapplikasjon for ukelønn

Tanken er at ungene skal kunne registrere jobber de gjør i hjemmet og at foreldrene kan registrere utbetalinger av ukelønn og andre måter lønna blir betalt på (f.eks. utlegg/lån og ekstra datapakker til mobil).

Webapplikasjonen er skrevet for å bli kjørt i en OSGi runtime, og er ment å være responsive slik at den er lett å kjøre på mobiltelefoner og nettbrett.

Dette er en Webapplikasjon istedenfor en app, fordi resten av familien kjører iDingser og det er ikke så lett å få egenskrevne app’er inn på iDingser.

Instruksjoner for installasjon, finner du i: ukelonn en webapp for ukelønn.

English summary

This is a web application for keeping track of my kids’ allowance.

There is a “user” GUI where they can register the chores they do and check their balance and money owed. Since my kids mostly interact through their iThings, the webapps GUI needs to be mobile friendly. This is currently accomplished by using react.js with material design lite to create a responsive GUI (not as “app-like” as the previous version using vaadin TouchKit, but close enough. TouchKit was more or less dead which is why it was left. There was an attempt to port to the open sourced TouchKit 5 and Vaadin 8, but that stopped in issues with TouchKit 5, specifically the table formatting of TouchKit 5).

There is also an admin GUI where we can register allowance payments, and add chores and adjust the payment for the chores.

The webapplication is intended to run inside apache karaf and is installed using karaf’s maven magic, basically:

1. Install apache karaf
2. From the karaf console command line, do some configuration
3. Also from the karaf console command line, run commands to install the application from maven repositories

The application also uses Liquibase to create and set up the database, all that is needed is a blank PostgreSQL database that can be reached by the karaf server with a JDBC URL.

The code (classnames, variable names etc.) and comments and commit messages are all in English.

The README is in Norwegian (except for this summary).

Configuring English as the default language

By default the GUI language is Norwegian.

Changing the locale setting is persisted in a cookie in the browser, but to avoid needing to do the change, it is possible to set the default to something else in the karaf configuration.

To set the default to English, and to get English text on the prepopulated database entries, do the following commands in the karaf console, before installing the application:

config:edit no.priv.bang.ukelonn.backend.UkelonnServiceProvider
config:property-set defaultlocale en_GB
config:update
config:edit no.priv.bang.ukelonn.db.liquibase.test.ProductionLiquibaseRunner
config:property-set databaselanguage en_GB
config:update

Docker image

There is a docker image of the demo version of the application at docker hub: ukelonn-demo.

Start with:

Then connect to http://docker-container-host:8181/ukelonn with a web browser (replace docker-container-host with whatever host docker is running on), possible logins are:

username	password	comment
admin	admin	Admin user, can add new users and work tasks
jad	1ad	Regular user, can register work done

The demo version use an in-container derby databse that works while the container is up but dies with the container.

Status

Lisens

Lisensen er Apache Public License v 2.0.

Se fila LICENSE for teksten på lisensen.

Hva ligger på de forskjellige branchene

I øyeblikket er det fire hoved-brancher:

1. master Dette er branchen som er i produksjon. Hver push av denne branchen forårsaker et bygg på travis-ci (dette er den eneste branchen med en .travis.yml-fil) med snapshot deploy til et eget maven-repository, som er det som brukes til å installere applikasjonen i karaf-instansen på produksjonsserveren. Det som ligger på master er i øyeblikket work/using-react-with-bootstrap4
2. using-react Denne branchen har et GUI basert på react.js med navigasjon mellom skjermbilder besørget av react-router v4, datamodell i redux, med REST-API-kommunikasjon gjort av saga og axios. Denne branchen er uten styling
   1. work/using-react-with-bootstrap4 er using-react stylet opp som en “responsive” mobilvennlig webapp, med bootstrap v4
   2. work/using-react-with-material-design som er using-react stylet opp som en “responsive” mobilvennlig webapp, med material design lite
3. using-vaadin Denne branchen bruker vaadin. Her brukes Vaadins Mobile User Interface Components for å få noe som ser “app-aktig” ut, iallefall på registrering av jobber, gjort av ungene. Admin-grensesnittet er også blitt mer mobilt men vil trives bedre på en tablet enn på en mobil (det er mer som skal vises fram). Denne branchen er i skrivende stund “i produksjon” i heimen (i den litt eldre versjonen som ligger på master). Denne branchen bruker Pax web whiteboard extender der servlet’er og filtre blir publisert som OSGi-servicer som blir plukket opp av pax web. For å lage servicene som plukkes opp av Pax Web, brukes OSGi Declarative Services (DS).
4. using-primefaces Denne branchen bruker JSF med primefaces og var den første som var ferdig. Jeg støtte på en bug i primefaces mobile som gjorde at versjonen som kjører nå ikke er så pen (siden jeg ikke kunne bruke primefaces mobile så måtte jeg gjøre et triks med å blåse opp fontene for at ting ikke skulle være uleselig på mobil, så sluttresultatet så litt rart ut). Branchen bygger fortsatt og har fått alle databasendringene men har mest historisk interesse idag
5. using-rendersnake Denne branchen var ment å være “back to basic” og bruke rendersnake sammen med en REST-ful backend, men den er i skrivende stund ikke forbi “hello world”-stadiet. Denne branchen var utgangspunktet for using-react og er i øyeblikket i praksis død

Jeg har også plan om å lage en branch med en versjon som bruker spark med angular.js, men denne er foreløpig på plan-stadiet. Spark er allerede en OSGi-bundle, så det burde la seg gjøre å få den til å spille i Karaf på en sånn måte at jeg kan beholde database-laget (der all business-intelligensen er), mens jeg fjerner alt som har med servlets å gjøre. Har gjort et forsøk på å dra spark inn i karaf men har ikke lykkes ennå. Forhåpentligvis kan jeg også beholde Shiro for å håndtere autentisering og autorisasjon.

Kjapp test av programvaren uten å bygge koden

Det er flere muligheter til å teste programvaren uten å sjekke ut og bygge kode.

Med dummy-data i en derby-database

I denne testen kjører man mot en derby-database som settes opp med dummy-data.

Framgangsmåten er som følger:

1. Følge Apache Karaf quick start guide https://karaf.apache.org/manual/latest/quick-start.html
2. Fra kommandolinja til karaf (aka. “karaf console”) legg til et maven-repo som inneholder ukelonn bygd fra travis-ci

   config:edit org.ops4j.pax.url.mvn
   config:property-append org.ops4j.pax.url.mvn.repositories ", https://maven.bang.priv.no/repository/@id=ukelonn@snapshots"
   config:property-set org.ops4j.pax.url.mvn.globalUpdatePolicy always
   config:update
       

3. Fortsatt fra kommandolinja til karaf, innstaller ukelonn-appen med følgende kommandoer (applikasjonen ukelonn og alle dens avhengigheter blir dratt med hjelp av maven)

   feature:repo-add mvn:no.priv.bang.ukelonn/karaf/LATEST/xml/features
   feature:install ukelonn-with-derby
       

4. Åpne http://localhost:8181/ukelonn i en nettleser
   • For en vanlig bruker, brukernavn/passord: jad/1ad
     • Vanlig bruker kan registrere nye jobber og sjekke saldo
   • For en administrator-bruker, brukernavn/passord: admin/admin
     • Administrator-bruker kan registrere utbetalinger, legge inn nye jobbtyper og endre eksisterende, legge inn nye utbetalinger og justere på eksisterende, og legge inn brukere og endre på eksisterende brukere

Kjøring i docker-container

Demo-image med dummy-data

Dette docker-image’t bruker samme dummy-database som Med dummy-data i en derby-database.

Last ned image fra docker hub og start image med:

docker pull steinarb/ukelonn-demo:latest
docker run -p 8101:8101 -p 8181:8181 -d steinarb/ukelonn-demo:latest

Åpne en nettleser mot http://docker-container-host:8181/ukelonn (erstatt docker-container-host med maskinen docker kjører på), mulige testbrukere, er:

brukernavn	passord	kommentar
admin	admin	Admin-bruker, kan legge til nye brukere, nye arbeidsoppgaver og registrere utbetalinger
jad	1ad	Vanlig bruker, kan registrere utførte arbeidsoppgaver

Databasen som kjører er en ekte SQL-database men kjører kun i minnet så endringer blir ikke persistert og blir borte når karaf-prosessen blir stoppet.

Docker-image med PostgreSQL-database

Dette imaget trenger en blank PostgresSQL-database og vil sette opp skjema og fylle den opp med initielle data.

Framgangsmåten er som følger:

1. Gå til ElephantSQL og enten lag en bruker der eller logg inn med en github-bruker og opprett en database
2. Ta vare på oppkoblingsinformasjonen for databasen, f.eks.

   url	jdbc:postgresql://lazzie.db.elephantsql.com:5432/mrpdrgft
   user	mrpdrgft
   password	78TPpFgp7NFwFmF1nVr1F2LnzKR_1TfT
   default database	mrpdrgft

3. Last ned image fra docker hub og start image med:

   docker pull steinarb/ukelonn:latest
   docker run --env JDBC_URL=jdbc:postgresql://lazzie.db.elephantsql.com:5432/mrpdrgft --env JDBC_USER=mrpdrgft --env JDBC_PASSWORD=78TPpFgp7NFwFmF1nVr1F2LnzKR_1TfT -p 8181:8181 -d steinarb/ukelonn:latest
       

4. Åpne en nettleser mot port 8181 på vertsmaskinen http://myhost.mydomain.com:8181/ukelonn
5. Logg inn med:

   user	password
   admin	admin

6. Opprett den/de admin-brukerene du vil ha og den/de vanlige brukerene du vil ha

Beskrivelse av koden

(Beskriver versjonen fra master)

Prosjektet er et maven-prosjekt med følgende struktur:

• pom.xml Dette er topp-prosjektet som definerer alle versjoner av programvare som brukes og alle versjoner av avhengigheter og felles-oppsett for plugins.
  • ukelonn.services/pom.xml Dette er en OSGi-bundle som definerer to OSGi-servicer: UkelonnService og UkelonnDatabase
    • UkelonnDatabase gjør database-laget pluggbart
    • UkelonnService definerer alle operasjoner som REST-APIet tilbyr. Alle beans som brukes i REST-APIet er også definert her
  • ukelonn.db.liquibase/pom.xml Denne bundle’n inneholder skjemaet for ukelonn-webappen som et liquibase changeset som ressurser og kode som laster ressursen fra lokal classpath og kjører dem mot databasen
  • ukelonn.db.derbytest/pom.xml Dette er en ikke-persistent SQL-database i minnet som setter opp forventet skjema og fyller opp databasen med test-data (dataene fylles opp som liquibase changesets så det er ok å starte denne basen mange ganger uten at det blir duplikat i dataene) Dette er en fullt funksjonell database, men ingenting blir persistert mellom kjøringer. Den brukes til test både av webappen i gogoshell og brukes som en vanlig jar-fil i enhetstestene i ukelonn.bundle
  • ukelonn.db.postgresql/pom.xml Dette er en OSGi-bundle som forventer å finne en PostgreSQL-base som brukeren som kjører webappen har rettigheter til og som har en database “ukelonn”. Databasen “ukelonn” vil få riktig skjema og en admin-bruker ved første gangs kjøring.
  • ukelonn.backend/pom.xml Dette er implementasjonen av UkelonnService. Inneholder applikasjonens business-logikk. Trenger en OSGi-service av type UkelonnDatabase
  • ukelonn.web.security/pom.xml Dette er en DS-komponent som kobler Shiro-autentisering inn i web whiteboard
  • ukelonn.web.services/pom.xml Dette er en DS-komponent som lager et REST-API og plugger inn i web whiteboard
  • ukelonn.web.frontend/pom.xml Dette er en react-applikasjon som plugger seg inn i web whiteboard
  • karaf/pom.xml Dette er en POM som lager en “feature”-fil for Apache karaf, noen viktige features:

    Feature	Beskrivelse
    ukelonn-with-derby	Laster inn webapplikasjonen sammen med en derby-database med dummy-data som kjører i minnet
    ukelonn-with-postgresql	Laster inn webapplikasjonen sammen med en JDBC-connection mot PostgreSQL (venter å finne en database som karaf kan aksessere)

    Forholdet mellom features og OSGi-bundle’r i Apache karaf ligner på forholdet mellom APT og dpkg-pakker i debian GNU/linux. Features gir en robust måte å installere noe og sørge for at alle avhengigheter er på plass

  • ukelonn.tests/pom.xml Dette er en Pax Exam integrasjonstest som sjekker at OSGi-bundlene starter og at de tilbyr riktig service.

Bygg applikasjonen fra kildekode og kjør applikasjonen

For å teste og debugge, så kan man kjøre med samme database som enhetstestene og integrasjonstestene bruker. Derby-databasen kjører i minnet og blir satt opp med faste data ved hjelp av liquibase, hver gang den blir startet.

Dette trengs for å bygge og kjøre programvaren

1. Installer det som trengs:
   • git: https://git-scm.com/download/win
   • Java SDK 1.8: http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
   • Apache maven:
     • Download: https://maven.apache.org/download.cgi
     • Install: https://maven.apache.org/install.html
     • Run: https://maven.apache.org/run.html
2. I et kommandolinjevindu, gjør en klon av git-repositoriet

   mkdir git
   cd git
   git clone https://github.com/steinarb/ukelonn.git
       

3. I kommandolinje-vinduet, bygg applikasjonen med følgende kommandoer:

   cd ukelonn
   mvn clean install
       

4. Følge Apache Karaf quick start guide https://karaf.apache.org/manual/latest/quick-start.html
5. Installer applikasjonen med følgende kommandoer fra “karaf console”:

   feature:repo-add mvn:no.priv.bang.ukelonn/karaf/LATEST/xml/features
   feature:install ukelonn-with-derby
   bundle:watch *
       

   (kommandoen “bundle:watch *” får karaf til å lytte i local maven repo og plukke opp og oppdatere installerte bundler som blir bygd på nytt med “mvn install” eller “mvn clean install”)

6. Koble en nettleser mot http://localhost:8181/ukelonn/
   • For en vanlig bruker, brukernavn/passord: jad/1ad
     • Vanlig bruker kan registrere nye jobber og sjekke saldo
   • For en administrator-bruker, brukernavn/passord: admin/admin
     • Administrator-bruker kan registrere utbetalinger, legge inn nye jobbtyper og endre eksisterende, legge inn nye utbetalinger og justere på eksisterende, og legge inn brukere og endre på eksisterende brukere

Kjøring på apache karaf med PostgreSQL

Derbydatabasen i Kjøring på apache karaf med derby gjør det mulig å kjøre alt i webappen. Men ettersom den kun kjører i minnet så er den ikke noe særlig å lagre data i.

For å faktisk bruke webappen så må man ha en database og database-systemet jeg har valgt er PostgreSQL.

PostgreSQL er gratis og fri software og er lett å installere

1. På windows, last ned installeren og kjør den
2. På debian GNU/linux, gi følgende kommando som root:

   apt-get install postgresql
       

Å finne ut av hvordan det gjøres på andre system overlates til leseren… men det er neppe hverken veldig forskjellig fra eksemplene over, eller mer enn et googlesøk unna.

Litt om PostgreSQL, denne webappen og sikkerhet

OSGi-servicen som implementerer kobling mot PostgreSQL hardkoder en kobling mot localhost på default-porten til PostgreSQL (dvs. port 5432) og har ikke noe brukernavn eller passord lagret i seg.

Dette betyr:

1. PostgreSQL-serveren må kjøre på samme datamaskin som webappen kjøres på (jeg kjører selv alt på en enkelt “Virtual Private Server” (VPS) hos Bytemark så dette er ikke restriksjon som plager meg)
2. Det må være en PostgreSQL-bruker med samme navn som brukernavnet som webappen kjøres som, dvs. når jeg kjører karaf som min egen bruker “sb”, så må jeg ha en postgresql-bruker “sb”:

   /bin/sudo -s /bin/bash postgres createuser sb
       

   og når jeg kjører karaf som brukeren “karaf” (dvs. når jeg kjører karaf som en service installert med apt-get på debian GNU/linux), så må jeg ha en postgresql-bruker “karaf”:

   /bin/sudo -s /bin/bash postgres createuser karaf
       

3. PostgreSQL-serveren må ha en database som heter “ukelonn” og som er eid av brukeren karaf kjøres som, lagd f.eks. slik:

   /bin/sudo -s /bin/bash postgres createdb -O sb ukelonn
       

4. Autentisering av oppkoblingen må gjøres på en måte som ikke trenger et passord lagret i OSGi-servicen, dvs. en av disse:
   1. Trust authentication dvs. PostgreSQL stoler på at klienten er brukeren som den sier at den er. Ikke veldig sikkert, men greit nok for å teste mot PostgreSQL under utvikling
   2. Ident authentication stol på at svaret på port 113 (”ident”, RFC 1413) om hvilken bruker som har åpnet en forbindelse på en gitt port. Dette er måten jeg bruker på GNU/linux og er rimelig grei, så lenge jeg kjører alt på en og samme server
   3. Peer authentication Spør OSet om brukeren til prosessen som kobler seg til (fungerer kun for lokale forbindelser som f.eks. unix sockets, og unix sockets støttes ikke av PostgreSQL JDBC-driver)
   4. GSSAPI Authentication bruker kerberos og er notorisk vanskelig å sette opp og få til å fungere (men veldig fint når det er på plass)

Oppsettet videre antar “trust authentication” for kjøring mot PostgreSQL under utvikling og “ident authentication” for kjøring på en debian-server.

Kjøring av webappen mot postgres lokalt på utviklingsmaskinen

Dette krever at man har en lokal PostgreSQL-installasjon med følgende innstillinger:

1. En database med navn “ukelonn” der brukeren karaf kjører med har alle rettigheter (i eksempelet under er dette min egen bruker “sb”):

   /usr/bin/sudo -u postgres createuser sb
   /usr/bin/sudo -u postgres createdb -O sb ukelonn
       

   (kommandoeksempler fra debian, kommandoer kjørt som root)

2. Sett opp autentiseringsmetode trust i PostgreSQL

Framgangsmåte:

1. Klon og bygg webapplikasjonen (kommandoeksemplene er fra bash på GNU/linux):

   mkdir -p ~/git
   cd ~/git
   git clone https://github.com/steinarb/ukelonn.git
   cd ~/git/ukelonn
   mvn clean install
       

2. Last ned Karaf, pakk ut den nedlastede distribusjonen og start karaf fra kommandlinja (karaf vil da kjøre som din egen bruker som stemmer med PostgreSQL-oppsettet i starten av dette avsnittet):

   cd /tmp
   wget http://www.apache.org/dyn/closer.lua/karaf/4.2.5/apache-karaf-4.2.5.tar.gz
   cd ~
   tar xvfz /tmp/apache-karaf-4.2.5.tar.gz
   cd apache-karaf-4.2.5
   bin/karaf
       

3. Gjør ukelonn-webapplikasjonen tilgjengelig for karaf, som “karaf features”, hentet fra maven:

   feature:repo-add mvn:no.priv.bang.ukelonn/karaf/LATEST/xml/features
       

4. Installer webapplikasjonen:

   feature:install ukelonn-with-postgresql
       

5. Koble en nettleser mot http://localhost:8181/ukelonn/
   • Admin-bruker, brukernavn/passord: admin/admin
     • Denne brukeren blir satt opp når man først kobler seg opp mot en tom PostgreSQL-database: Da sørger liquibase for at skjemaet (tabeller og views) blir satt opp og for at en admin-bruker og noen transaksjonstyper blir lagt inn
     • Administrator-bruker kan registrere utbetalinger, legge inn nye jobbtyper og endre eksisterende, legge inn nye utbetalinger og justere på eksisterende, og legge inn brukere og endre på eksisterende brukere
     • En grei måte å starte på, er:
       • Endre passord på admin-brukeren
       • Lage en ny vanlig bruker

Oppsett av webappen på en server med debian GNU/linux

NB! Har ikke med oppsett av brannmur og oppsett av nginx eller apache med revers-proxy.

(Normalt så vil port 8181 som webappen opererer på være sperret av brannmur på en webserver som står på internett, så man må sette opp en revers-proxy fra nginx eller apache (som lytter på portene 80 og 443) til karaf som lytter på localhost:8181)

Prosedyre (alle kommandolinje-eksempler gjort i bash, logget inn som root):

1. Legg til nøkkel for apt-repo’et som inneholder karaf

   wget -O - https://apt.bang.priv.no/apt_pub.gpg | apt-key add -
       

2. Legg til følgende linjer i /etc/apt/sources.list :

   # APT archive for apache karaf
   deb http://apt.bang.priv.no/public stable main
       

3. Installer nødvendig software:

   apt-get update
   apt-get install postgresql karaf
       

4. Sett opp bruker og database i PostgreSQL:

   /usr/bin/sudo -u postgres createuser karaf
   /usr/bin/sudo -u postgres createdb -O karaf ukelonn
       

   (kommandoen blir her kjørt som bruker postgres som ikke kan logges inn til (derfor “-s /bin/bash”), men har de riktige rettighetene til å sette opp ting i postgres)

5. Ta ssh inn til karaf:

   ssh -p 8101 karaf@localhost
       

   (passord “karaf” (uten anførselstegn))

6. I karaf kommando-skall, legg til maven-repo som holder snapshots av ukelonn, bygd fra travis CI-bygg av det som blir pushet til master:

   config:edit org.ops4j.pax.url.mvn
   config:property-append org.ops4j.pax.url.mvn.repositories ", https://maven.bang.priv.no/repository/@id=ukelonn@snapshots"
   config:property-set org.ops4j.pax.url.mvn.globalUpdatePolicy always
   config:update
       

7. I karaf kommando-skall, gi følgende kommandoer:

   feature:repo-add mvn:no.priv.bang.ukelonn/karaf/LATEST/xml/features
   feature:install ukelonn-with-postgresql
       

Nå kjører webappen mot http://localhost:8181/ukelonn/ og databasen har blitt satt opp med admin-bruker, med brukernavn/passord: admin/admin.

Det kan være lurt å starte med å endre passordet her så fort som mulig.

Det kan også være lurt å sette opp en nattlig backup av denne databasen til en annen maskin.

Merk: Nye snapshots blir bygd og deployet til dette maven-repoet hver gang noe blir pushet til master på github.

For å oppdatere til nyeste snapshot, ta “ssh -p 8101 karaf@localhost” og gi følgende kommandoer:

bundle:update no.priv.bang.ukelonn.services; bundle:update no.priv.bang.ukelonn.db.liquibase; bundle:update no.priv.bang.ukelonn.db.postgresql; bundle:update no.priv.bang.ukelonn

(Merk: Man kan ikke bruke “bundle:watch *” etter å ha installert -snapshot-versjoner fra et maven-repository man når med http, fordi “hundle:watch *” fungerer kun for automatisk oppdatering av snapshot-versjoner installert i det lokale maven-repoet i ~karaf/.m2/repository/ )

Koble webapp mot database på en annen maskin

Uansett hvilken setting man bruker PostgreSQL i (utvikler-oppsett eller oppsett på server), så er det mulig å peke på en PostgreSQL-database som kjører på en annen server.

Framgangsmåte:

1. Sørg for at PostgreSQL godtar tilkoblinger fra alle nettverksadresser (ut av boksen på debian, så godtar PostgreSQL kun tilkoblinger fra localhost):
   1. su til bruker postgres for å få riktig eierskap på filene

      su - postgres
              

   2. Endre fila /etc/postgresql/9.6/main/postgresql.conf, utkommenter linja med listen_address line og endre den til den ser sånn ut

      listen_addresses = '*'                  # what IP address(es) to listen on;
              

   3. Endre fila /etc/postgresql/9.6/main/pg_hba.conf, og legg til følgende linjer

      # IPv4 network connection allow password authentication
      host    all             all             0.0.0.0/0               md5
              

   4. Logg ut som bruker postgres (bare root kan ta omstart av postgresql):

      exit
              

   5. Ta omstart av postgresql

      systemctl restart postgresql
              

2. Fra karaf-konsollet, gi følgende kommandoer:

   config:edit org.ops4j.datasource-ukelonn-production
   config:property-set osgi.jdbc.driver.name "PostgreSQL JDBC Driver"
   config:property-set dataSourceName "jdbc/ukelonn"
   config:property-set ops4j.preHook "ukelonndb"
   config:property-set org.apache.karaf.features.configKey "org.ops4j.datasource-ukelonn-production"
   config:property-set url "jdbc:postgresql://lorenzo.hjemme.lan/ukelonn"
   config:property-set user "karaf"
   config:property-set password "karaf"
   config:update