EXPORT: Exports regelmässig auf SFTP hochladen

[carlobeltrame]

Gewisse Exports des SAC müssen für Rückwärtskompatibilität regelmässig erstellt und auf einem SFTP-Ordner abgelegt werden.

Tech Spec

• Umsetzung im SAC Wagon
• Liste der relevanten Exports:
  • Adressen_xxxxxxxx.csv für alle Sektionen und Ortsgruppen, wobei xxxxxxxx im Dateinamen die Navision ID (zero-padded auf 8 Stellen) der exportierten Sektion oder Ortsgruppe ist
  • bisher keine weiteren aufgetaucht
• Kadenz: Nächtlich
• SFTP-Gem:

  gem "net-ssh", "~> 7.0.0.beta1", require: "net/ssh" # TODO: remove once net-sftp 3 updates ssh 7
  gem "net-sftp"
  

• SFTP-Verbindung (Beispiel-Implementation):

  class Sftp
    ConnectionError = Class.new(StandardError)
    def remote_files(path, glob: "*")
      connection.dir.glob(path.to_s, glob)
        .select(&:file?)
        .collect(&:name)
        .select { |filename| ::File.fnmatch(glob, filename) }
    end
  
    def download_file(name, target)
      connection.download! name.to_s, target.to_s
    end
  
    def upload_file(name, target)
      connection.upload! name.to_s, target.to_s
    end
  
    def remove_file(path)
      connection.remove! path.to_s
    end
  
    def connection
      @connection ||= Net::SFTP.start(host, user, options).tap(&:connect!)
    rescue => e
      raise ConnectionError.new(e)
    end
  
    def create_remote_dir(name)
      connection.mkdir!(name)
    end
  
    # TODO - how to avoid the following in spec when rescuing specific exception
    # NameError: uninitialized constant #<ClassDouble(Net::SFTP) (anonymous)>::StatusException
    def directory?(name)
      connection.file.directory?(name)
    rescue
      false
    end
  
    private
  
    def options
      credentials = @endpoint.key ? {key_data: [@endpoint.key]} : {password: password}
      credentials.merge(non_interactive: true, port: port).compact
    end
  end

• Connection Details via Environment Variabeln (auch im Deployment als Secrets einbauen)
• Ordnerstruktur auf dem FTP-Server: Alle exportierten Dateien des Adress-Exports in den Unterordner "sektionen" hinein, in Unterordnern benannt nach der Navision-ID (ohne führende Nullen) der exportierten Sektion oder Ortsgruppe ablegen:

  <root wo die SFTP Credentials hinzeigen>
    sektionen
      1234
        Adressen_00001234.csv
      2000
        Adressen_00002000.csv
      ...
  

TODO

• Neue Gems für SFTP installieren und via Env Variabeln konfigurieren
• Scheduled Job anlegen, der nächtlich läuft
  • Job auch (im Wagon) im JobManager eintragen, damit er sicher immer wieder geschedulet wird
• Job generiert alle Exports gemäss Tech Spec (über alle Sektionen und Ortsgruppen iterieren und für jede Sektion / Ortsgruppe den Export von EXPORT: Spezifischer Mitglieder-Adressen-Export für Sektionen #271 ausführen und unter dem korrekten Namen abspeichern)
• Job lädt die generierten Files gemäss Ordnerstruktur in Tech Spec auf SFTP Server hoch
• Secrets fürs Deployment erfassen und befüllen: https://cryptopus.puzzle.ch/encryptables/7231 (bzw. später für auf der Produktionsumgebung wäre es https://cryptopus.puzzle.ch/encryptables/7230)
• Fehler in HitobitoLog schreiben

[amaierhofer]

Ist aus meiner sicht gut, hab noch rebased und einen kosmetischen commit drauf gesetzt und code mässig ist das aus meiner Sicht fertig.

Es gibt aber noch ein Problem beim build. Aus einem mir nicht offensichtlichem Grund sind die Attribute im Graphiti schema anders sortiert. Ist das schonmal wo aufgetreten? Und dann frag ich mich noch ob wir nicht noch Anpassungen am Deployment brauchen. Läuft das separat? Weist du da was? Wäre sicher gut, wenn wir das gleich zusammen ausliefern würden, sodass man auch validieren kann das der upload tatsächlich erfolgt ist.

[ThomasEllenberger]

@carlobeltrame @TheWalkingLeek Im Jira Ticket sind die Informationen nun vorhanden, respektive sollte euch @sykesonrocks die Zugangsdaten geben können.
Ich gehe davon aus, dass dieses Ticket dadurch nicht mehr blokiert ist?

[carlobeltrame]

@carlobeltrame @TheWalkingLeek Im Jira Ticket sind die Informationen nun vorhanden, respektive sollte euch @sykesonrocks die Zugangsdaten geben können. Ich gehe davon aus, dass dieses Ticket dadurch nicht mehr blokiert ist?

Ticket ist jetzt nicht mehr blockiert.

[TheWalkingLeek]

7abf988