Projet de composants/routines pour Talend Open Studio

Ces composants et routines sont destinés à fournir de nouveaux connecteurs ou de nouvelles fonctionnalités dans les jobs créés avec Talend Open Studio.

Les composants et routines

Routines

Ce répertoire contient des routines utilitaires :

• StaticMap : Map de données statique, permettant le partage de données entre un job et ses sous-jobs, ou entre un job et une application java appelante.
• StaticThreadLocalMap : Map de données statique, mais instanciée par Thread. Elle permet à plusieurs instance d’un même job tournant dans différents Thread d’une même JVM d’utiliser cette Map sans collision.

Files

Composants de lecture/écriture/manipulation de fichiers :

• bcFileListExt : extension du composant tFileList, permettant d’avoir plusieurs patterns d’exclusion au lieu d’un seul.
• bcFileOutputOOSpreadsheet : composant permettant d’écrire les données dans un fichier au format Open Document SpreadSheet (ODS).
• tFileDigester : calcul de la clé de hachage d’un fichier, selon plusieurs algorithmes (SHA, MD5, etc.)
• bcFileOutputSQL : ce composant a pour but de créer un fichier script d’ordres SQL à partir des données entrantes. Le développement de ce composant peut être suivi dans la branche bcFileOutputSQL

Utils

Composants utilitaires :

• bcAggregateRow : extension du composant tAggregateRow offrant des fonctions d’agrégation sur des données booléennes (et logique, ou logique, ou exclusif).
• tBufferCopyInput : extension du composant tBufferInput permettant la lecture des données à partir d’une copie du buffer, effectuée à l’initialisation du composant.
• tBufferOutput : extension du composant tBufferOutput permettant d’effacer le buffer avant de l’utiliser. Cela permet d’enchaîner plusieurs utilisations du buffer dans un même job.
• tRunJobRow : extention du composant “tRunJob” permettant d’avoir des flux de données en entrée et en sortie du sous-job.
• bcResourceInputProperties : lecture d’un fichier “properties” depuis le classpath du programme. Ce composant permet (entre autres) de lire des fichiers non décompressés à l’intérieur d’archives JAR.

Logging

Composants dédiés au logging (Log4J et Logback). Les dernières versions de ces composants sont développées dans la branche de développement dédiée Logging :

• bcLogback : utilisation du framework de logging Logback au travers de slf4J.
• bcLogbackCatch : interception des logs natives du job, et redirection vers le framework Logback (au travers de slf4J)
• bcLogbackConfig : configuration du framework de logging Logback.
• tInitLog4J : configuration du framework de logging Log4J.
• tLog4J : écriture de logs utilisant le framework Log4J.
• tLog4JCatch : interception des logs natives du job et redirection vers le framework Log4J.

OAI

La série de composants bcOAI... permet d’avoir des composants pour lire des données en utilisant le protocole OAI-PMH. Les dernières versions de ces composants sont dans la branche de développement dédiée bcOAI :

• bcOAIIdentifyInput : lecture de l’identification du serveur OAI-PMH.
• bcOAIIdentifiersInput : lecture des identifiants des objets “moissonnables”.
• bcOAIMetadatasInput : lecture des formats de métadonnées supportés par le serveur.
• bcOAIRecordInput : lecture d’un enregistrement particulier à partir de son identifiant.
• bcOAIRecordsInput : moissonnage des objets connus du serveur.
• bcOAISetsInput : lecture des “ensembles” (sets) disponibles sur le serveur.

Installation des composants

Vous pouvez installer les composants manuellement à partir des sources, en les copiant dans le répertoire $TOS_HOME/plugins/org.talend.designer.components.ecosystem_$TOS_VERSION/component ou en les téléchargeant depuis Talend Exchange (opération réalisable directement depuis Talend Open Studio).

Récupérer les sources des composants (pour les étudier ou les faire évoluer)

Vous pouvez cloner le projet des composants depuis Github :

git clone git://github.com/bcourtine/Composants-Talend-Open-Studio.git

Remonter des bugs ou des demandes d’évolution

Les bugs et les demandes d’évolution du module sont à soumettre sur GitHub.

Nouveaux composants et évolutions prévus

• Le composant bcFileOutputOOSpreadsheet doit être complété, en particulier pour traiter correctement les données de type “Date”.
• Une série de composants bcDataSource... est prévue pour lire/écrire des données fournies par une DataSource (d’un serveur d’applications). Le développement de ces composants peut être suivi dans la branche datasource
• Un composant bcFileInputXML (évolution de tFileInputXML) est prévu pour permettre la lecture de fichiers XML ayant des noeuds de cardinalité > 1 dans la boucle de données. Le développement de ce composant peut être suivi dans la branche XML.