Partages de Jean Leblond

Partage de connaissances et d'expérimentations de logiciels libres de Jean Leblond à sa famille, ses collaborateurs et à ses contacts

Outils pour utilisateurs

Outils du site


start:dragon:autonome

1-9-2-1-DRAGON-autonome

Préparer environnement développeur DRAGON autonome

DropBox Web

  • Partages jl@p, jl@msp
  • Test pdi & psw.zip ok

5-1) Pentaho Data Integration (PDI) CE 8.0.0.0-28 (64 bit)

  • Préalable: Installation de JDK (voir section “JDK” plus bas)
  • Note: Nous n'utilisons que les clients en version communautaire afin de ne pas subir d'enfermement propriétaire (vendor locking).
  • S'assurer que le dossier C:\Outils\Pentaho existe (supprimer son sous-dossier \data-integration s'il existe, avec possiblement une version précédente de PDI).
  • Copier l'archive I:\DIS\GROUPES\SRS\Realisation\Installation\WINDOWS-8\Pentaho\Pentaho-8.x\pdi-ce-8.0.0.0-28.zip dans C:\Outils\Pentaho
  • Copier le fichier du pilote “ojdbc6.jar” dans C:\Outils\Java
  • Sélectionner l'archive de PDI et la décompresser avec 7-Zip (menu contextuel “7-Zip” → “Extraire les fichiers…”) (le dossier C:\Outils\Pentaho\pdi-ce-8.0.0.0-28\data-integration sera créé).
  • Faire une autre copie du fichier “ojdbc6.jar” dans C:\Outils\Pentaho\data-integration\lib
  • Pour démarrer PDI :
    • Exécutez (double-clic) le fichier C:\Outils\Pentaho\data-integration\Spoon.bat
    • (vous pouvez d'abord vous créer un raccourci sur votre Bureau, changer son icône avec le fichier “\data-integration\spoon.ico”, le renommer “PDI CE 8.0.0.0-28” et exécuter ce raccourci)
    • Un écran de plage s'affichera, mentionnant la version 8.0 (plus longtemps au premier démarrage)
    • (vous pouvez épingler le raccourci au Menu Démarrer (Classic Shell) pour faciliter ses prochains démarrages et le renommer “PDI CE 8.0.0.0-28”)
    • (vous pouvez aussi déplacer le raccourci dans la Barre des tâches pour que ce soit encore plus efficace)

Variables utilisateur :

  • Créer PATH = C:\Outils

Fichiers kettle :

  • Copier le fichier “kettle.properties”, demandé à un collègue de l’équipe, dans C:\Utilisateurs\username\.kettle (dossier caché)
  • L'éditer avec les comptes utilisateurs génériques eseuserl01 et eseuserm01 (et leurs mots de passe)

5-2) Pentaho Schema Workbench (PSW) CE 8.0.0.0-28 (64 bit)

  • Préalable: Installation de JDK (voir section “JDK” plus bas)
  • Note: Nous n'utilisons que les clients en version communautaire afin de ne pas subir d'enfermement propriétaire (vendor locking).
  • S'assurer que le dossier C:\Outils\Pentaho existe (supprimer son sous-dossier \schema-workbench s'il existe, avec possiblement une version précédente de PSW).
  • Copier l'archive I:\DIS\GROUPES\SRS\Realisation\Installation\WINDOWS-8\Pentaho\Pentaho-8.x\psw-ce-8.0.0.0-28.zip dans C:\Outils\Pentaho
  • Copier le fichier du pilote “ojdbc6.jar” dans C:\Outils\Java (si ce n'est déjà fait)
  • Sélectionner l'archive de PSW et la décompresser avec 7-Zip (menu contextuel “7-Zip” → “Extraire les fichiers…”) vers C:\Outils\Pentaho (le sous-dossier \schema-workbench sera créé).
  • Copier le fichier “ojdbc6.jar” dans C:\Outils\Pentaho\schema-workbench\lib
  • Pour démarrer PSW :
    • Exécutez le fichier C:\Outils\Pentaho\schema-workbench\workbench.bat
    • (vous pouvez d'abord vous créer un raccourci sur votre Bureau, changer son icône avec le fichier “\data-integration\spoon.ico”, le renommer “PSW CE 8.0.0.0-28” et exécuter ce raccourci)
    • Un écran de plage s'affichera, mentionnant la version 8.0 (plus longtemps au premier démarrage)
    • (vous pouvez épingler le raccourci au Menu Démarrer (Classic Shell) pour faciliter ses prochains démarrages et le renommer “PSW CE 8.0.0.0-28”)
    • (vous pouvez aussi déplacer le raccourci dans la Barre des tâches pour que ce soit encore plus efficace)

Note : La version précédemment utilisée (3.5.11) permettait de publier les schémas. La version CE 8.0.0.0-28 ne le permet pas (même après avoir demandé au support de Pentaho).

**JDK 1.8.0_171**

  • L'installation de JDK est préalable à l'installation de PDI et de PSW afin de pouvoir exécuter les applications Java.
  • S'assurer que le dossier C:\Outils\Java\jdk1.8.0_171 existe.
  • Y copier l'exécutable I:\DIS\GROUPES\SRS\Realisation\Installation\WINDOWS-8\Java\JDK-8u171\jdk-8u171-windows-x64.exe
  • Exécuter ce fichier en tant qu'administrateur (sélections par défaut)
    • Ne pas modifier le dossier d'installation de java (C:\Program Files\Java\jre1.8.0_171)
  • Vérifier la variable Java :
    • Ouvrir une fenêtre d'Invite de commandes (cmd.exe)
    • Exécuter la commande java -version (devrait afficher : java version “1.8.0_171”)
    • Si ce n'est pas cette version, modifier ces fichiers afin que PDI et PSW pointent vers le bon dossier d'installation du JDK :
      • C:\Outils\Pentaho\schema-workbench\workbench.bat
      • C:\Outils\Pentaho\data-integration\Spoon.bat
  • Optionnellement, en dirigeant la sortie de la commande “set” dans un fichier pour vérifier vos variables d'environnement.

DBA-DRAGON ObjetsAdminBd et dossiers DRAGON comptoirs/chargements

  • Créer archive des dossiers I:/DIS/GROUPES/SRS/DBA-DRAGON/AAA (ex:DPD, ESE) après Update svn et noté version (ex: svn-DPD-scripts.zip), les dwn, les conserver et les décompresser localement dans C:/Travail/DBA-DRAGON
  • Créer archive des dossiers C:/Travail/svn/AAA (ex: DPD, ESE) après Update svn et noté version, les dwn, les conserver et les décompresser localement dans C:/Travail/svn/
  • Copier fichiers de I:/DIS/GROUPES/SRS/DBA-DRAGON/DPD/FichiersTravail dans C:/Travail/svn/DPD_Fichiers_de_travail (ex: 2 scripts charg dimension DATE)
  • TODO : Faire backup HDD local

DPD

  • C:/Travail/DBA-DRAGON/DPD.zip (svn v92 2020-03-23)
  • C:/Travail/svn/DPD.zip (svn v92 2020-03-23)
  • Associer ces extensions à Notepad++ : sql, rle, tbs, usr, sql.bak, con, syn, trg, grt, lis, etc.

DPD ObjetsAdminBd

  • Exécuter mon DPD.sql (system) (pas exécuter create_userdpduserl01.sql)
  • selon ordre scripts de dpd_stage_objets_admin_BD.sql… (system)
  • dpd_stage_objets_admin_BD.tbs : rien faire (revoir later mon DPD.sql)
  • dpd_stage_objets_admin_BD.rle : exécuter (évite mess_err)
  • dpd_stage_objets_admin_BD.usr : ouvrir, exécuter les GRANT à DPD_STAGE (system)
  • selon ordre scripts de dpd_stage_objets_admin_BD_STOCK.sql… (system)
  • dpd_stage_objets_admin_BD_STOCK.tbs : rien faire (revoir later mon DPD.sql)
  • dpd_stage_objets_admin_BD_STOCK.rle : exécuter (évite mess_err)
  • dpd_stage_objets_admin_BD_STOCK.usr : ouvrir, exécuter les GRANT à DPD_STOCK (system)
  • selon ordre scripts de dpd_objets_admin_BD_PRESN.sql… (system)
  • dpd_stage_objets_admin_BD_PRESN.tbs : rien faire (revoir later mon DPD.sql)
  • dpd_stage_objets_admin_BD_PRESN.rle : exécuter (évite mess_err)
  • dpd_stage_objets_admin_BD_PRESN.usr : ouvrir, exécuter les GRANT à DPD_STOCK (system) (ok message rôle DRA_JOURN does not exist)
  • Créé connections dans SQL Developer DPD_STAGE, DPD_STOCK, DPD_PRESN, dpduserl1, dpduserm01

DPD dossiers DRAGON

  • Exécuter les scripts selon 'Registre-DPD_STAGE-application-scripts.xls' suivants (table diemnsion date seulement pour l'instant) (DPD_STAGE)…
  • DPD_STAGE_V1.0a.sql (dimension date, chargée avec le script) (appelle .tab, .con, .syn, .trg)
  • FIXME trg ci-dessus doit être exécuter avec SQL/Plus

DPD.sql création schéma chargement DRAGON-DPD

  • Téléchargé tous les scripts du dossier 'DPD_STOCK_V1' et les exécuter (system):
    • DPD_STOCK_V1.0.sql (création 5 tables DPD) en tant que DPD_STOCK
    • DPD_STOCK_V1.0a.sql
    • dpd_stock_outil_V1.0.sql (création package utilitaire)
    • DPD_STOCK_V1.0b.sql (modification table DIMNS_DT)
    • DPD_STOCK_V1.0c.sql (system) Création de la table CIRCONSCR ELECT CODE POSTAL)
    • DPD_STOCK_V1.0d.sql (Ajout table pour nouvelle entité “DPD D014 CIRC ELEC”)
    • dpd_stock_outils.sql (DPD_STOCK) (?)
    • :!: Remplir table DPD_DIMNS_DT de dimension date (copié I:/DIS/GROUPES/SRS/DBA-DRAGON/DPD/
      • Pour créer dimension DATE.sql (DPD_STAGE)
      • Pour charger dimension DATE(STAGE).sql
    • DPD_STOCK_V1.b.sql (Ajout 4 champs et index) (DPD_STOCK)
    • DPD_STOCK_V1.c.sql (Ajout contraintes aux 4 champs) (DPD_STOCK)

ESE.sql création comptoir DRAGON-ESE

  • Dans SQL Developer, se connecter en tant que “system”.
  • Window / Reset Windows to Factory Settings
  • Ouvrir le fichier E:/DRAGON-autonome/ESE.sql
  • Exécuter le script (F5)

Créer connection eseuserm01:

  • Name = eseuserm01
  • Username = eseuserm01
  • Password = pweseuserm01
  • (X)Save password
  • Test = Success, Save connection
  • Connect

Créer de même les connections eseuserl01, ESE_STAGE, ESE_STOCK, ESE_PRESN

En tant que ESE_STAGE, exécuter les scripts (via fichiers WRAP) de création de ses objets BD pour le volet AL:

  • (copie dans jean-lenovo E:\DRAGON-autonome)
  • (associer les fichiers d'extension sql et lst à Notepad++)

ESE_PRESN_V1.0jl.sql (Création table ESE_ERREU)

ESE_STAGE_V1.0n.sql (Création table ESE_ALL_ALLGT) ESE_STAGE_V1.0o.sql (Drop et re créé table ESE_ALL_ALLGT)

Exécuter de même les scripts pour ESE_STOCK:

ESE_STOCK_v1.0tt.sql (Création 2 tables ESE_VM_ROP_ORGNS_POLCR, ESE_VM_ROP_POSTE_POLIC sans leurs TRIGGERs ni leurs SEQUENCEs, ni GRANTs au ROLE ESE_MAJ). Je les chargerai par INSERT SQL au HOM (home che nous)

ESE_STOCK_V1.0t.sql (Ajout 7 tables allégations criminelles) ESE_STOCK_V1.0u.sql (Supprimer objets du script V1.0t et re créer 7 tables allégations criminelles)

Exécuter de même les scripts pour ESE_PRESN:

ESE_PRESN_V1.1h.sql (Ajout 3 tables ESE_ALL_FAIT_SUIVI, ESE_ALL_FAIT_INFRC_ALLGT, ESE_ALL_FAIT_ALLGT) :!: Je n'ai pas de table DPD_DIMNS_DT au HOM (PF normalement travail devrait être fait par VPN dans env MSP pour éviter de faire ça). Mais quand compte verrouillé, on la créée chez HOM (voir section DPD.sql suivante)

Astuces

Astuce ménage TABLESPACES:

  • DROP TABLESPACE <tablespace name> INCLUDING CONTENTS AND DATAFILES;

:?: GRANT CREATE ANY OPERATOR TO epcuserm01; :?: GRANT INDEX ON epc_presn.epc_fait_demnd_subvn TO epcuserm01;

Copie de fichiers

  • C:\Travail\NO DE DOSSIERS_.xlsx ALLGT (données test)
  • C:\Travail\TABLES_ALLE_.xlsx

PDI

  • Copier ktr et kjb
  • Associer les fichiers d'extension .ktr, .kjb, .properties à l'application C:\Outils\Pentaho\pdi-ce-8.0.0.0-28\data-integration\Spoon.bat
  • Pour chaque transformation: Edit / Set Environment Variables, saisir (Name / Value):
    • BD_BASE_DONNEES_DECSN = xe
    • BD_ESE_UTILS_MAJ = ESEUSERM01
    • BD_ESE_UTILS_MAJ_PWD = pweseuserm01
    • BD_SERVEUR_DECSN = localhost
    • PORT_ECOUTE_DECSN = 1521
    • :!: À l'exécution d'une transformation, si message “unable to connect to the database”, vérifier que ces variables sont toujours présentes dans la transformation.
    • CHEMIN_ESE = C:/Travail/svn
  • Journalisation des travaux et transformations (pas un standard):
    • SCHEMA_JOURNALISATION_DECSN = DRA
    • TABLE_JOURNALISATION_TRANSFORMATION = DRA_JOURN_TRANSF
    • TABLE_JOURNALISATION_PAS_TRANSFORMATION = DRA_JOURN_TRANSF_PAS
    • TABLE_JOURNALISATION_TRAVAIL = DRA_JOURN_TRAVX
    • TABLE_JOURNALISATION_ELEMENT_TRAVAIL = DRA_JOURN_TRAVX_ELEMN
  • Dans un step “Table output”, tester la 'Database Connection' OK
  • Charger
  • :!: Si erreur 'Unable to open dialog for this step' en modifiant step 'Select / Rename values', ma solution est de sauvegarder la transformation en cours, de fermer et de redémarrer PDI. Ensuite, vérifier si les 'Environment variables' sont toujours présentes (c.f. ci-dessus) et sauvegarder la transformation le cas échéant, avant d'éditer ce step.
  • :!: Si erreur '…ojdbc6.path.variable…' vérifier que le driver OJDBC est dans le dossier C:\Outils\Java
  • :!: La configuration des variables locales (possiblement fichier kettle) dans PDI chez HOM est dans C:\Outils\Pentaho\pdi-ce-8.0.0.0-28\data-integration\ (trouvé quand demandait chemin de $(CHEMIN_ESE)
  • Développer autonome

Retour à Zim-1-9-2-Oracle-Database-XE

start/dragon/autonome.txt · Dernière modification: 2020/03/23 17:22 par foxtrot