Functions Importer ParseImporter StreamImporter FilesImporter

Der FilesImporter dient den Import von Dateien oder allen Dateien aus Verzeichnissen.

Funktionen:

• Import einer Einzeldatei
• Import aller Dateien eines Verzeichnisses
• Import aller Dateien aus einem ZIP-Archiv

Nutzbar über den Konfigurationseintrag: "importer": "FilesImporter"

Zusätzlich ist die Angabe des zu verwendenden Parsers notwendig: "parser": "ExampleParser" (from ParseImporter)

Import-Konfiguration

Die Konfigurationsdatei muss für diesen Importer folgende Einstellungen beinhalten (zusätzlich zu den Konfigurationen des Imports, ParseImporter und des jeweiligen Parsers):

Parameter	Bedeutung	Standard	optional
files.sourcedir	Pfad zur Datei oder zum Verzeichnis mit Dateien	source	ja
files.workingdir	Pfad zum Arbeitsverzeichnis	working	ja
files.inspectiondir	Verzeichnis zur Ablage von Dateien mit Fehlern	inspection	ja
files.archivdir	Verzeichnis, zur Ablage der Dateien nach dem Import	archive	ja
files.archivefilename	Name the file should have in the archive can use {date} placeholder	-	ja
files.max_files	Maximum number of files to work with	endless	yes
files.extensions	Allowed file extensions for this import	all	yes

Die Verzeichnisse sind immer von [DOMAIN_HOME]/config aus angegeben. z.B. C:\SmartMonitoringDeveloper\software\payara5web\domains\DevDomainWeb\config)

Beispiel:

{
  // General import options
  "server": "http://localhost:8080",
  "smartdata": "SmartDataTest",
  "storage": "test",
  "collection": "importtable",

  // Importer options
  "importer": "FilesImporter",
  "files.sourcedir": "/path/relative/to/domain1/config",
  "files.workingdir": "/path/where/to/work/with/files",
  "files.archivedir": "/path/where/to/archive/",
  "files.archivefilename": "archive_{date}",
  "files.extensions": "*.jpg,*.gif",

  // Parser options
  "parser": "ExampleParser"
}

Useing date placeholders

The source URL can contain placeholders for a date.

Placeholder	Description
{yyyy}	The actual year
{MM}	The actual month
{dd}	The actual day (number)
{yyyy-X}	Actual year minus X years
{MM-X}	Actual month minus X month
{dd-X}	Actual day minus X days
{yyyy+X}	Actual year plus X years
{MM+X}	Actual month plus X month
{dd+X}	Actual day plus X days

Example with date placeholders

{
   // Import target
   "server":"http://127.0.0.1:8080/", 
   "smartdata":"SmartDataEnvironmental", 
   "storage":"public",
   "collection":"images",

   // Import source
   "importer":"FilesImporter",
   "files.sourcedir": "../docroot/files_helios/images/asi_16515/{yyyy}{MM}{dd-1}/",
   "files.extensions": ["*.jpg"],

   // Parser configuration
   "parser":"MyParser" 
}