Skip to content
Webapplikasjon for å registrere arbeid gjort for ukelønn, og registrere utbetalinger av ukelønn.
Java JavaScript Other
Branch: master
Clone or download
Fetching latest commit…
Cannot retrieve the latest commit at this time.
Permalink
Type Name Latest commit message Commit time
Failed to load latest commit information.
karaf
scripts
ukelonn.backend
ukelonn.db.authservicedbadapter
ukelonn.db.derbytest
ukelonn.db.liquibase
ukelonn.db.postgresql
ukelonn.services
ukelonn.tests
ukelonn.testutils
ukelonn.web.frontend
ukelonn.web.security
ukelonn.web.services
.editorconfig
.gitignore
.travis.settings.xml
.travis.yml
LICENSE
README.org
pom.xml

README.org

Ukelonn: en webapplikasjon for ukelønn

Tanken er at ungene skal kunne registrere jobber de gjør i hjemmet og at foreldrene kan registrere utbetalinger av ukelønn og andre måter lønna blir betalt på (f.eks. utlegg/lån og ekstra datapakker til mobil).

Webapplikasjonen er skrevet for å bli kjørt i en OSGi runtime, og er ment å være responsive slik at den er lett å kjøre på mobiltelefoner og nettbrett.

Dette er en Webapplikasjon istedenfor en app, fordi resten av familien kjører iDingser og det er ikke så lett å få egenskrevne app’er inn på iDingser.

English summary

This is a web application for keeping track of my kids’ allowance.

There is a “user” GUI where they can register the chores they do and check their balance and money owed. Since my kids mostly interact through their iThings, the webapps GUI needs to be mobile friendly. This is currently accomplished by using react.js with material design lite to create a responsive GUI (not as “app-like” as the previous version using vaadin TouchKit, but close enough. TouchKit was more or less dead which is why it was left. There was an attempt to port to the open sourced TouchKit 5 and Vaadin 8, but that stopped in issues with TouchKit 5, specifically the table formatting of TouchKit 5).

There is also an admin GUI where we can register allowance payments, and add chores and adjust the payment for the chores.

The webapplication is intended to run inside apache karaf and is installed using karaf’s maven magic, basically:

  1. Install apache karaf
  2. From the karaf console command line, do some configuration
  3. Also from the karaf console command line, run commands to install the application from maven repositories

The application also uses Liquibase to create and set up the database, all that is needed is a blank PostgreSQL database that can be reached by the karaf server with a JDBC URL.

The code (classnames, variable names etc.) and comments and commit messages are all in English.

The GUI texts and this README are in Norwegian.

Status

https://travis-ci.org/steinarb/ukelonn.svg?branch=master https://coveralls.io/repos/steinarb/ukelonn/badge.svg https://sonarcloud.io/api/project_badges/measure?project=no.priv.bang.ukelonn%3Aparent&metric=alert_status#.svg

SonarCloud

https://sonarcloud.io/api/project_badges/measure?project=no.priv.bang.ukelonn%3Aparent&metric=ncloc#.svg https://sonarcloud.io/api/project_badges/measure?project=no.priv.bang.ukelonn%3Aparent&metric=bugs#.svg https://sonarcloud.io/api/project_badges/measure?project=no.priv.bang.ukelonn%3Aparent&metric=vulnerabilities#.svg https://sonarcloud.io/api/project_badges/measure?project=no.priv.bang.ukelonn%3Aparent&metric=code_smells#.svg https://sonarcloud.io/api/project_badges/measure?project=no.priv.bang.ukelonn%3Aparent&metric=coverage#.svg

Lisens

Lisensen er Apache Public License v 2.0 fordi denne er kompatibel med Affero GPL v 3.0.

Se fila LICENSE for teksten på lisensen.

Hva ligger på de forskjellige branchene

I øyeblikket er det fire hoved-brancher:

  1. master Dette er branchen som er i produksjon. Hver push av denne branchen forårsaker et bygg på travis-ci (dette er den eneste branchen med en .travis.yml-fil) med snapshot deploy til et eget maven-repository, som er det som brukes til å installere applikasjonen i karaf-instansen på produksjonsserveren. Det som ligger på master er i øyeblikket work/using-react-with-bootstrap4
  2. using-react Denne branchen har et GUI basert på react.js med navigasjon mellom skjermbilder besørget av react-router v4, datamodell i redux, med REST-API-kommunikasjon gjort av saga og axios. Denne branchen er uten styling
    1. work/using-react-with-bootstrap4 er using-react stylet opp som en “responsive” mobilvennlig webapp, med bootstrap v4
    2. work/using-react-with-material-design som er using-react stylet opp som en “responsive” mobilvennlig webapp, med material design lite
  3. using-vaadin Denne branchen bruker vaadin. Her brukes Vaadins Mobile User Interface Components for å få noe som ser “app-aktig” ut, iallefall på registrering av jobber, gjort av ungene. Admin-grensesnittet er også blitt mer mobilt men vil trives bedre på en tablet enn på en mobil (det er mer som skal vises fram). Denne branchen er i skrivende stund “i produksjon” i heimen (i den litt eldre versjonen som ligger på master). Denne branchen bruker Pax web whiteboard extender der servlet’er og filtre blir publisert som OSGi-servicer som blir plukket opp av pax web. For å lage servicene som plukkes opp av Pax Web, brukes OSGi Declarative Services (DS).
  4. using-primefaces Denne branchen bruker JSF med primefaces og var den første som var ferdig. Jeg støtte på en bug i primefaces mobile som gjorde at versjonen som kjører nå ikke er så pen (siden jeg ikke kunne bruke primefaces mobile så måtte jeg gjøre et triks med å blåse opp fontene for at ting ikke skulle være uleselig på mobil, så sluttresultatet så litt rart ut). Branchen bygger fortsatt og har fått alle databasendringene men har mest historisk interesse idag
  5. using-rendersnake Denne branchen var ment å være “back to basic” og bruke rendersnake sammen med en REST-ful backend, men den er i skrivende stund ikke forbi “hello world”-stadiet. Denne branchen var utgangspunktet for using-react og er i øyeblikket i praksis død

Jeg har også plan om å lage en branch med en versjon som bruker spark med angular.js, men denne er foreløpig på plan-stadiet. Spark er allerede en OSGi-bundle, så det burde la seg gjøre å få den til å spille i Karaf på en sånn måte at jeg kan beholde database-laget (der all business-intelligensen er), mens jeg fjerner alt som har med servlets å gjøre. Har gjort et forsøk på å dra spark inn i karaf men har ikke lykkes ennå. Forhåpentligvis kan jeg også beholde Shiro for å håndtere autentisering og autorisasjon.

Kjapp test av programvaren uten å bygge koden

Det er mulig å teste programvaren uten å sjekke ut og bygge kode. I denne testen kjører man mot en derby-database som settes opp med dummy-data.

Framgangsmåten er som følger:

  1. Følge Apache Karaf quick start guide https://karaf.apache.org/manual/latest/quick-start.html
  2. Fra kommandolinja til karaf (aka. “karaf console”) legg til et maven-repo som inneholder ukelonn bygd fra travis-ci
    config:edit org.ops4j.pax.url.mvn
    config:property-append org.ops4j.pax.url.mvn.repositories ", https://maven.bang.priv.no/repository/@id=ukelonn@snapshots"
    config:property-set org.ops4j.pax.url.mvn.globalUpdatePolicy always
    config:update
        
  3. Fortsatt fra kommandolinja til karaf, innstaller ukelonn-appen med følgende kommandoer (applikasjonen ukelonn og alle dens avhengigheter blir dratt med hjelp av maven)
    feature:repo-add mvn:no.priv.bang.ukelonn/karaf/LATEST/xml/features
    feature:install ukelonn-with-derby
        
  4. Åpne http://localhost:8181/ukelonn i en nettleser
    • For en vanlig bruker, brukernavn/passord: jad/1ad
      • Vanlig bruker kan registrere nye jobber og sjekke saldo
    • For en administrator-bruker, brukernavn/passord: admin/admin
      • Administrator-bruker kan registrere utbetalinger, legge inn nye jobbtyper og endre eksisterende, legge inn nye utbetalinger og justere på eksisterende, og legge inn brukere og endre på eksisterende brukere

Databasen som kjører er en ekte SQL-database men kjører kun i minnet så endringer blir ikke persistert og blir borte nor karaf-prosessen blir stoppet.

Beskrivelse av koden

(Beskriver versjonen fra master)

Prosjektet er et maven-prosjekt med følgende struktur:

  • pom.xml Dette er topp-prosjektet som definerer alle versjoner av programvare som brukes og alle versjoner av avhengigheter og felles-oppsett for plugins.
    • ukelonn.services/pom.xml Dette er en OSGi-bundle som definerer to OSGi-servicer: UkelonnService og UkelonnDatabase
      • UkelonnDatabase gjør database-laget pluggbart
      • UkelonnService definerer alle operasjoner som REST-APIet tilbyr. Alle beans som brukes i REST-APIet er også definert her
    • ukelonn.db.liquibase/pom.xml Denne bundle’n inneholder skjemaet for ukelonn-webappen som et liquibase changeset som ressurser og kode som laster ressursen fra lokal classpath og kjører dem mot databasen
    • ukelonn.db.derbytest/pom.xml Dette er en ikke-persistent SQL-database i minnet som setter opp forventet skjema og fyller opp databasen med test-data (dataene fylles opp som liquibase changesets så det er ok å starte denne basen mange ganger uten at det blir duplikat i dataene) Dette er en fullt funksjonell database, men ingenting blir persistert mellom kjøringer. Den brukes til test både av webappen i gogoshell og brukes som en vanlig jar-fil i enhetstestene i ukelonn.bundle
    • ukelonn.db.postgresql/pom.xml Dette er en OSGi-bundle som forventer å finne en PostgreSQL-base som brukeren som kjører webappen har rettigheter til og som har en database “ukelonn”. Databasen “ukelonn” vil få riktig skjema og en admin-bruker ved første gangs kjøring.
    • ukelonn.backend/pom.xml Dette er implementasjonen av UkelonnService. Inneholder applikasjonens business-logikk. Trenger en OSGi-service av type UkelonnDatabase
    • ukelonn.web.security/pom.xml Dette er en DS-komponent som kobler Shiro-autentisering inn i web whiteboard
    • ukelonn.web.services/pom.xml Dette er en DS-komponent som lager et REST-API og plugger inn i web whiteboard
    • ukelonn.web.frontend/pom.xml Dette er en react-applikasjon som plugger seg inn i web whiteboard
    • karaf/pom.xml Dette er en POM som lager en “feature”-fil for Apache karaf, noen viktige features:
      FeatureBeskrivelse
      ukelonn-with-derbyLaster inn webapplikasjonen sammen med en derby-database med dummy-data som kjører i minnet
      ukelonn-with-postgresqlLaster inn webapplikasjonen sammen med en JDBC-connection mot PostgreSQL (venter å finne en database som karaf kan aksessere)

      Forholdet mellom features og OSGi-bundle’r i Apache karaf ligner på forholdet mellom APT og dpkg-pakker i debian GNU/linux. Features gir en robust måte å installere noe og sørge for at alle avhengigheter er på plass

    • ukelonn.tests/pom.xml Dette er en Pax Exam integrasjonstest som sjekker at OSGi-bundlene starter og at de tilbyr riktig service.

Bygg applikasjonen fra kildekode og kjør applikasjonen

For å teste og debugge, så kan man kjøre med samme database som enhetstestene og integrasjonstestene bruker. Derby-databasen kjører i minnet og blir satt opp med faste data ved hjelp av liquibase, hver gang den blir startet.

Dette trengs for å bygge og kjøre programvaren

  1. Installer det som trengs:
  2. I et kommandolinjevindu, gjør en klon av git-repositoriet
    mkdir git
    cd git
    git clone https://github.com/steinarb/ukelonn.git
        
  3. I kommandolinje-vinduet, bygg applikasjonen med følgende kommandoer:
    cd ukelonn
    mvn clean install
        
  4. Følge Apache Karaf quick start guide https://karaf.apache.org/manual/latest/quick-start.html
  5. Installer applikasjonen med følgende kommandoer fra “karaf console”:
    feature:repo-add mvn:no.priv.bang.ukelonn/karaf/LATEST/xml/features
    feature:install ukelonn-with-derby
    bundle:watch *
        

    (kommandoen “bundle:watch *” får karaf til å lytte i local maven repo og plukke opp og oppdatere installerte bundler som blir bygd på nytt med “mvn install” eller “mvn clean install”)

  6. Koble en nettleser mot http://localhost:8181/ukelonn/
    • For en vanlig bruker, brukernavn/passord: jad/1ad
      • Vanlig bruker kan registrere nye jobber og sjekke saldo
    • For en administrator-bruker, brukernavn/passord: admin/admin
      • Administrator-bruker kan registrere utbetalinger, legge inn nye jobbtyper og endre eksisterende, legge inn nye utbetalinger og justere på eksisterende, og legge inn brukere og endre på eksisterende brukere

Kjøring på apache karaf med PostgreSQL

Derbydatabasen i Kjøring på apache karaf med derby gjør det mulig å kjøre alt i webappen. Men ettersom den kun kjører i minnet så er den ikke noe særlig å lagre data i.

For å faktisk bruke webappen så må man ha en database og database-systemet jeg har valgt er PostgreSQL.

PostgreSQL er gratis og fri software og er lett å installere

  1. På windows, last ned installeren og kjør den
  2. På debian GNU/linux, gi følgende kommando som root:
    apt-get install postgresql
        

Å finne ut av hvordan det gjøres på andre system overlates til leseren… men det er neppe hverken veldig forskjellig fra eksemplene over, eller mer enn et googlesøk unna.

Litt om PostgreSQL, denne webappen og sikkerhet

OSGi-servicen som implementerer kobling mot PostgreSQL hardkoder en kobling mot localhost på default-porten til PostgreSQL (dvs. port 5432) og har ikke noe brukernavn eller passord lagret i seg.

Dette betyr:

  1. PostgreSQL-serveren må kjøre på samme datamaskin som webappen kjøres på (jeg kjører selv alt på en enkelt “Virtual Private Server” (VPS) hos Bytemark så dette er ikke restriksjon som plager meg)
  2. Det må være en PostgreSQL-bruker med samme navn som brukernavnet som webappen kjøres som, dvs. når jeg kjører karaf som min egen bruker “sb”, så må jeg ha en postgresql-bruker “sb”:
    /bin/sudo -s /bin/bash postgres createuser sb
        

    og når jeg kjører karaf som brukeren “karaf” (dvs. når jeg kjører karaf som en service installert med apt-get på debian GNU/linux), så må jeg ha en postgresql-bruker “karaf”:

    /bin/sudo -s /bin/bash postgres createuser karaf
        
  3. PostgreSQL-serveren må ha en database som heter “ukelonn” og som er eid av brukeren karaf kjøres som, lagd f.eks. slik:
    /bin/sudo -s /bin/bash postgres createdb -O sb ukelonn
        
  4. Autentisering av oppkoblingen må gjøres på en måte som ikke trenger et passord lagret i OSGi-servicen, dvs. en av disse:
    1. Trust authentication dvs. PostgreSQL stoler på at klienten er brukeren som den sier at den er. Ikke veldig sikkert, men greit nok for å teste mot PostgreSQL under utvikling
    2. Ident authentication stol på at svaret på port 113 (”ident”, RFC 1413) om hvilken bruker som har åpnet en forbindelse på en gitt port. Dette er måten jeg bruker på GNU/linux og er rimelig grei, så lenge jeg kjører alt på en og samme server
    3. Peer authentication Spør OSet om brukeren til prosessen som kobler seg til (fungerer kun for lokale forbindelser som f.eks. unix sockets, og unix sockets støttes ikke av PostgreSQL JDBC-driver)
    4. GSSAPI Authentication bruker kerberos og er notorisk vanskelig å sette opp og få til å fungere (men veldig fint når det er på plass)

Oppsettet videre antar “trust authentication” for kjøring mot PostgreSQL under utvikling og “ident authentication” for kjøring på en debian-server.

Kjøring av webappen mot postgres lokalt på utviklingsmaskinen

Dette krever at man har en lokal PostgreSQL-installasjon med følgende innstillinger:

  1. En database med navn “ukelonn” der brukeren karaf kjører med har alle rettigheter (i eksempelet under er dette min egen bruker “sb”):
    /usr/bin/sudo -u postgres createuser sb
    /usr/bin/sudo -u postgres createdb -O sb ukelonn
        

    (kommandoeksempler fra debian, kommandoer kjørt som root)

  2. Sett opp autentiseringsmetode trust i PostgreSQL

Framgangsmåte:

  1. Klon og bygg webapplikasjonen (kommandoeksemplene er fra bash på GNU/linux):
    mkdir -p ~/git
    cd ~/git
    git clone https://github.com/steinarb/ukelonn.git
    cd ~/git/ukelonn
    mvn clean install
        
  2. Last ned Karaf, pakk ut den nedlastede distribusjonen og start karaf fra kommandlinja (karaf vil da kjøre som din egen bruker som stemmer med PostgreSQL-oppsettet i starten av dette avsnittet):
    cd /tmp
    wget http://www.apache.org/dyn/closer.lua/karaf/4.2.5/apache-karaf-4.2.5.tar.gz
    cd ~
    tar xvfz /tmp/apache-karaf-4.2.5.tar.gz
    cd apache-karaf-4.2.5
    bin/karaf
        
  3. Gjør ukelonn-webapplikasjonen tilgjengelig for karaf, som “karaf features”, hentet fra maven:
    feature:repo-add mvn:no.priv.bang.ukelonn/karaf/LATEST/xml/features
        
  4. Installer webapplikasjonen:
    feature:install ukelonn-with-postgresql
        
  5. Koble en nettleser mot http://localhost:8181/ukelonn/
    • Admin-bruker, brukernavn/passord: admin/admin
      • Denne brukeren blir satt opp når man først kobler seg opp mot en tom PostgreSQL-database: Da sørger liquibase for at skjemaet (tabeller og views) blir satt opp og for at en admin-bruker og noen transaksjonstyper blir lagt inn
      • Administrator-bruker kan registrere utbetalinger, legge inn nye jobbtyper og endre eksisterende, legge inn nye utbetalinger og justere på eksisterende, og legge inn brukere og endre på eksisterende brukere
      • En grei måte å starte på, er:
        • Endre passord på admin-brukeren
        • Lage en ny vanlig bruker

Oppsett av webappen på en server med debian GNU/linux

NB! Har ikke med oppsett av brannmur og oppsett av nginx eller apache med revers-proxy.

(Normalt så vil port 8181 som webappen opererer på være sperret av brannmur på en webserver som står på internett, så man må sette opp en revers-proxy fra nginx eller apache (som lytter på portene 80 og 443) til karaf som lytter på localhost:8181)

Prosedyre (alle kommandolinje-eksempler gjort i bash, logget inn som root):

  1. Legg til nøkkel for apt-repo’et som inneholder karaf
    wget -O - https://apt.bang.priv.no/apt_pub.gpg | apt-key add -
        
  2. Legg til følgende linjer i /etc/apt/sources.list :
    # APT archive for apache karaf
    deb http://apt.bang.priv.no/public stable main
        
  3. Installer nødvendig software:
    apt-get update
    apt-get install postgresql karaf
        
  4. Sett opp bruker og database i PostgreSQL:
    /usr/bin/sudo -u postgres createuser karaf
    /usr/bin/sudo -u postgres createdb -O karaf ukelonn
        

    (kommandoen blir her kjørt som bruker postgres som ikke kan logges inn til (derfor “-s /bin/bash”), men har de riktige rettighetene til å sette opp ting i postgres)

  5. Ta ssh inn til karaf:
    ssh -p 8101 karaf@localhost
        

    (passord “karaf” (uten anførselstegn))

  6. I karaf kommando-skall, legg til maven-repo som holder snapshots av ukelonn, bygd fra travis CI-bygg av det som blir pushet til master:
    config:edit org.ops4j.pax.url.mvn
    config:property-append org.ops4j.pax.url.mvn.repositories ", https://maven.bang.priv.no/repository/@id=ukelonn@snapshots"
    config:property-set org.ops4j.pax.url.mvn.globalUpdatePolicy always
    config:update
        
  7. I karaf kommando-skall, gi følgende kommandoer:
    feature:repo-add mvn:no.priv.bang.ukelonn/karaf/LATEST/xml/features
    feature:install ukelonn-with-postgresql
        

Nå kjører webappen mot http://localhost:8181/ukelonn/ og databasen har blitt satt opp med admin-bruker, med brukernavn/passord: admin/admin.

Det kan være lurt å starte med å endre passordet her så fort som mulig.

Det kan også være lurt å sette opp en nattlig backup av denne databasen til en annen maskin.

Merk: Nye snapshots blir bygd og deployet til dette maven-repoet hver gang noe blir pushet til master på github.

For å oppdatere til nyeste snapshot, ta “ssh -p 8101 karaf@localhost” og gi følgende kommandoer:

bundle:update no.priv.bang.ukelonn.services; bundle:update no.priv.bang.ukelonn.db.liquibase; bundle:update no.priv.bang.ukelonn.db.postgresql; bundle:update no.priv.bang.ukelonn

(Merk: Man kan ikke bruke “bundle:watch *” etter å ha installert -snapshot-versjoner fra et maven-repository man når med http, fordi “hundle:watch *” fungerer kun for automatisk oppdatering av snapshot-versjoner installert i det lokale maven-repoet i ~karaf/.m2/repository/ )

Koble webapp mot database på en annen maskin

Uansett hvilken setting man bruker PostgreSQL i (utvikler-oppsett eller oppsett på server), så er det mulig å peke på en PostgreSQL-database som kjører på en annen server.

Framgangsmåte:

  1. Sørg for at PostgreSQL godtar tilkoblinger fra alle nettverksadresser (ut av boksen på debian, så godtar PostgreSQL kun tilkoblinger fra localhost):
    1. su til bruker postgres for å få riktig eierskap på filene
      su - postgres
              
    2. Endre fila /etc/postgresql/9.6/main/postgresql.conf, utkommenter linja med listen_address line og endre den til den ser sånn ut
      listen_addresses = '*'                  # what IP address(es) to listen on;
              
    3. Endre fila /etc/postgresql/9.6/main/pg_hba.conf, og legg til følgende linjer
      # IPv4 network connection allow password authentication
      host    all             all             0.0.0.0/0               md5
              
    4. Logg ut som bruker postgres (bare root kan ta omstart av postgresql):
      exit
              
    5. Ta omstart av postgresql
      systemctl restart postgresql
              
  2. Fra karaf-konsollet, gi følgende kommandoer:
    config:edit no.priv.bang.ukelonn.db.postgresql.PGUkelonnDatabaseProvider
    config:property-set ukelonn.db.jdbc.url "jdbc:postgresql://lorenzo.hjemme.lan/ukelonn"
    config:property-set ukelonn.db.jdbc.user "karaf"
    config:property-set ukelonn.db.jdbc.password "karaf"
    config:update
        
You can’t perform that action at this time.