, , CCSID des fichiers sources

Retour sur une problématique récurrente et souvent mal comprise, donc mal gérée … Et qui pourrait bien s’amplifier avec l’usage plus intensif de l’Open Source.

Vous utilisez historiquement des fichiers sources (objet *FILE attribut PF-SRC) pour stocker vos sources : ces fichiers sont créés avec un CCSID, par défaut le CCSID du job dans lequel vous exécutez la commande CRTSRCPF

Usuellement vous obtiendrez des fichiers sources avec un CCSID 297 ou 1147 pour la France. Si vos machines sont « incorrectement » réglées, un CCSID 65535 (hexadécimal).

Mais également, par restauration d’autres produits, certainement des fichiers avec un CCSID 37 (US).

Pour les langages de programmation (dont le SQL), le CCSID du fichier source est important pour les constantes, qui peuvent par définition êtres des caractères nationaux quelconques. Quant aux instructions, la grammaire des langages les définis sans ambiguïtés.

Caractères spéciaux / nationaux

Pour toutes les commandes, instructions, éléments du langage, pas de soucis d’interprétation

A la compilation, les constantes sont interprétées suivant le CCSID du job, pas celui du source !

En général, les deux CCSID sont identiques.

Par contre, pour les caractères spéciaux utilisés, si l’on regarde de plus près le cas du CL, la documentation indique :

Voilà qui explique les fameuses transformations de @ en à !

En synthèse : le compilateur considère tous les éléments du langage comme étant en CCSID 37, hors les constantes alphanumériques et les quelques caractères listés ici.

Pour le CL : impossible d’utiliser les opérateurs symboliques |> (*BCAT), |< (*TCAT) et || (*CAT)

Le caractère | est mal interprété. Vous devez le remplacer par un !, ou utiliser les opérateurs non symboliques (*BCAT, *TCAT et *CAT).

Pour le SQL : impossible d’utiliser l’opérateur || (même raison).

Vous devez le remplacer par un !!, ou utiliser l’opérateur concat.

Evolution du RPG

Le principe est le même.

Toutefois le langage vous permet également de contrôler le CCSID des variables déclarées. Et depuis la 7.2, de nouvelles directives de pré-compilation permettent d’indiquer des valeurs de CCSID par défaut par bloc de source :

Et pour l’IFS ?

Sur l’IFS, chaque fichier (source ou non) dispose également d’un CCSID. Sa valeur dépend principalement de la façon de créer le fichier (par un éditeur type RDi/VSCode, partage netserver, transfert FTP …).

Premier point d’attention : l’encodage du contenu du fichier doit correspondre à son attribut *CCSID !

VSCode vous indique le CCSID de la donnée, par exemple :

Mais :

1252 = Windows occidental (proche de l’UTF-8 mais pas identique). La raison est que VSCode travaille naturellement en UTF-8.

RDi gère correctement l’encodage/décodage par rapport à la description du fichier.

Pour les autres outils, à voir au cas par cas !

Evolution des compilateurs

Les compilateurs C, CPP, CL, RPG, COBOL supportent désormais (PTF en fonction des compilateurs) un paramètre TGTCCSID :

En réalité ce paramètre a été ajouté pour permettre la compilation plus facilement depuis l’IFS, principalement depuis des fichiers IFS en UTF-8.

Cela ne règle pas nos problèmes précédents, les éléments du langage n’étant pas concernés : nous auront toujours le problème d’interprétation du |

Par contre, c’est utile pour la bonne interprétation des constantes lorsque le job de compilation a un CCSID du source. Et cela permet une meilleure intégration dans les outils d’automatisation.

Conseils

Eviter les caractères spéciaux !

  • N’utilisez pas |>, |< ou || en CL
  • N’utilisez pas || en SQL

Mais on ne peut pas toujours : nous avons voulu compiler QSHONI depuis le build fourni (https://github.com/richardschoen/QshOni?tab=readme-ov-file#installing-and-building-qshoni-via-git-clone-and-buildsh)

Le script propose d’indiquer un CCSID pour les fichiers sources. Mais la seule solution viable est de compiler avec un job en CCSID 37 :

  • soit CHGJOB CCSID(37) avant de lancer le script
  • soit vous pouvez vous créer un profil dédié en CCSID 37 si ces opérations sont récurrentes

Tant que vous n’avez pas de caractères nationaux dans le codes !

Retrouver le CCSID de ses fichiers sources

SELECT f.SYSTEM_TABLE_NAME,
       f.SYSTEM_TABLE_SCHEMA,
       c."CCSID"
    FROM qsys2.systables f
         JOIN qsys2.syscolumns c
             ON (c.SYSTEM_TABLE_NAME, c.SYSTEM_TABLE_SCHEMA) = (f.SYSTEM_TABLE_NAME, f.SYSTEM_TABLE_SCHEMA)
    WHERE f.file_type = 'S' AND
LEFT(f.system_table_name, 8) <> 'EVFTEMPF' AND
          c.SYSTEM_COLUMN_NAME = 'SRCDTA'
    ORDER BY c."CCSID",
             f.SYSTEM_TABLE_SCHEMA,
             f.SYSTEM_TABLE_NAME;

Références

https://www.ibm.com/support/pages/ifs-stmf-ccsids-1252-437-and-819

https://www.ibm.com/docs/en/i/7.4?topic=languages-language-compilers-ccsid

https://www.ibm.com/mysupport/s/fix-information/aDrKe000000PE0UKAW/fi0132711?language=en_US

https://www.ibm.com/mysupport/s/defect/aCIKe000000XohkOAC/dt418562?language=en_US

https://www.ibm.com/docs/en/i/7.5?topic=elements-cl-character-sets-values

https://www.ibm.com/docs/en/i/7.5?topic=values-symbolic-operators

https://www.ibm.com/docs/fr/i/7.5?topic=languages-language-compilers-ccsid

https://www.ibm.com/support/pages/have-you-heard-set-and-restore-directives

https://github.com/richardschoen/QshOni

/par
, , Fichier SQLPRE de QTEMP

Vous avez des sources SQLRPGLE qui sont différents des tailles par défaut de 100

Vous pouvez avoir ce message à la compile RNF0733
C’est le fichier, QTEMP/QSQLPRE de pré-compilation qui est trop court QTEMP/QSQLPRE
Ce fichier est utilisé dans les commandes CRTBNDRPG , CRTRPGMOD, ou CRTSQLRPGI

Vous avez une variable d’environnement QIBM_RPG_PPSRCFILE_LENGTH qui permet de changer la valeur par défaut qui est de 112.
Elle doit avoir la longueur de votre donnée + 12
Exemple
SRCDTA = 140
Vous devrez indiquer 152

Pour ajouter la variable :

ADDENVVAR ENVVAR(QIBM_RPG_PPSRCFILE_LENGTH.)
VALUE(152)
LEVEL(*SYS)

*SYS pour l’ajouter à tout le système

Pour ne savoir plus ici

https://www.ibm.com/support/pages/node/6857461

/par
, , , Utilisez les journaux Système

IBM fourni un certain nombre de journaux systèmes que vous pouvez Analyser, la plus part sont dans QUSRSYS et d’autres sont dans QSYS.

Un petit lien ici pour avoir une liste

https://www.ibm.com/docs/fr/i/7.5?topic=journals-working-supplied

Premier exemple, Analyse de l’ajustement des pools mémoires

Mise en œuvre

Valeur système QPFRADJ doit être à 3 ou 2

Vous devez créer le récepteur et le journal

CRTJRNRCV JRNRCV(QUSRSYS/QPFRADJ)
CRTJRN JRN(QSYS/QPFRADJ) JRNRCV(QUSRSYS/QPFRADJ)


Analyse par les fichiers supports ( c’est des fichiers modèles qui sont dans QSYS )
CRTDUPOBJ OBJ(QAWCTPJE) FROMLIB(QSYS) OBJTYPE(*FILE) TOLIB(Votrebib) NEWOBJ(QPFRADJTP)

DSPJRN JRN(QSYS/QPFRADJ) ENTTYP(TP) OUTPUT(*OUTFILE) OUTFILE(Votrebib/QPFRADJTP)

pour analyser le suivi ici du pour des travaux interactifs

SELECT TPPNAM, TPFLG1, TPCSIZ, TPCRES, TPCACT, TPDFLT, TPNFLT,
TPWI, TPAW, TPCJOB, TPAJOB, TPNSIZ, TPNACT
FROM Votrebib/QPFRADJTP
WHERE TPPNAM = ‘*INTERACT’
order by TPDATE, TPTIME

Deuxième exemple, voir les ports filtrés sur votre partition

Analyse par services SQL

create table votrebib.analyse as(
WITH Log_Port AS (
SELECT CAST(ENTRY_DATA AS VARCHAR(1000)) AS entry
FROM TABLE (
QSYS2.DISPLAY_JOURNAL(‘QUSRSYS’, ‘QIPFILTER’, JOURNAL_ENTRY_TYPES => ‘TF’)
)
)
SELECT SUBSTR(entry, 1, 10) AS line,
SUBSTR(entry, 29, 15) AS AdrSrcIp,
SUBSTR(entry, 44, 5) AS SrcPort,
SUBSTR(entry, 49, 15) AS AdrDestIp,
SUBSTR(entry, 64, 5) AS DestPort
FROM Log_Port
) WITH DATA;

Remarques

Certains journaux sont en standard , d’autres devront être démarrés
Si vous n’analysez pas ne les démarrer pas
Pensez à faire le ménage dans les récepteurs si vous les démarrez

Merci à Sylvain pour ca suggestion

/par
, , Plugin JCRCMDS pour RDI

Plugin open source peu connu de Craig Rutledge mais qui est bien utile pour convertir les spécifications H, F et D en RPG full free.

Il existe plusieurs outils pour convertir ces spécifications mais l’avantage de celui-ci est qu’on peut le faire directement dans RDI .

Lien pour le téléchargement :

https://sourceforge.net/projects/jcrcmds/

Installation

Extraire l’archive.

Comme pour le plugin isphere, il faut lancer RDI puis Aide > Installer un nouveau logiciel

Il suffit ensuite de sélectionner le dossier précédemment extrait.

Utilisation

1ère solution : Sélectionnez le code à convertir puis faites un clic droit JCRCMDS > convert selection(H,F,D).

Résultat :

2ème solution : Faites un clic droit directement dans le code puis JCRCMDS > Convert all(H,F,D)

Toutes les spécifications H, F ou D seront transformées.

/par
, Plugin Isphere pour RDI

Isphere est un plugin open-source qui vous apportera quelques fonctionnalités intéressantes. Vous pourrez le télécharger grâce au lien ci-dessous :

https://isphere.sourceforge.io/

Pour l’installer, il faut tout d’abord télécharger et extraire l’archive en local puis lancer RDI. Cliquez ensuite sur l’onglet Aide > Installer un nouveau logiciel.

Cliquez sur local, sélectionnez le dossier que vous avez précédemment extrait puis faites OK.

Vous pouvez tout sélectionner et faire suivant jusqu’au bout.

Afficher les intitulés

Plus besoin de cliquer sur un objet / membre et de regarder la vue propriété pour avoir le texte.

Pour activer l’affichage des intitulés, cliquez sur Affichage > Préférences puis activez les deux rubriques isphere dans Général > Apparence > Décorations d’intitulés.

Résultat :

Recherche de chaine de caractères

Vous pouvez déjà le faire dans RDI en faisant un clic droit sur un fichier source / bibliothèque « Rechercher la chaine ». Mais cette option peut prendre du temps. Utilisez plutôt « Isphere source file search ».

Saisir la chaine à recherche et faites OK.

Si vous faites un double-clic sur la ligne ça ouvrira le source en édition.

Gestion des MSGF

Comme pour la recherche de chaine, on peut déjà modifier un fichier de message mais ce n’est pas très pratique. Il faut déplier le fichier de message, faire un clic droit modifier sur le message et modifier le texte.

Avec Isphere vous pouvez faire un clic droit « Isphere Message File Editor ».

Il va ouvrir le fichier de message et vous pourrez effectuer des recherches de texte, double cliquer sur un message pour l’éditer etc…

Gestion des postes d’un répertoire de liage

Clic droit sur le répertoire de liage puis « Isphere Binding Directory Editor ».

Dans l’onglet qui vient de s’ouvrir, vous pouvez ajouter un programme de service au répertoire de liage avec un simple clic droit / New (équivalent de la commande ADDBNDDIRE).

Vous avez également la possibilité d’en supprimer.

Copier un membre source

Très pratique si vous voulez copier un source d’un système à un autre (ou sur le même).

Clic droit sur un membre (ou plusieurs), puis « Copy Member’s to ».

Choisissez le système / fichier source / bibliothèque de destination et cliquez sur « Copy ».

Comparer des sources

Déjà disponible dans RDI mais Isphere permet de le faire plus facilement. Très pratique si l’on veut comparer deux sources sur deux systèmes (ou le même).

Faites un clic droit sur le source puis « Isphere compare Editor ».

/par
, , , Une commande méconnue FNDSTRPDM2

On utilise de moins en moins PDM et SEU, pour le remplacer par du RDI ou Visual studio code, ce qui est le sens de l’histoire, mais cette commande peut vous aider, surtout si vous ne disposez pas d’outils d’analyse (Arcad, X-Analysis, Grefer, etc…)

Cette commande permet de faire un FNDSTRPDM (option 25 dans la gestion des membres) sur une liste de fichiers sources, FNDSTRPDM étant limité à un seul fichier source par recherche

Vous devez définir la liste des fichiers à analyser
Pour ceci, vous avez un fichier modèle QAUOSR2 dans la bibliothèque QPDA
Il est conseillé de le dupliquer sous un nouveau nom dans votre bibliothèque

C’est un fichier source que vous pouvez éditer facilement par SEU, RDI, VSCODE, ou SQL

Il est composé de 3 zones de 10 caractères

Exemple :

Notre fichier s’appellera souvent FNDSTRPDM2 membre FNDSTRPDM2 et on choisira une bibliothèque.

£lib       £file      £member   
GDATA      QCLSRC     *ALL       
GDATA      QRPGLESRC  *ALL       
GDATA      QDDSSRC    *ALL       
GDATA      QCMDSRC    *ALL
GDATA      QSQLSRC    M*


Dans les membres vous pouvez indiquer *ALL ou un nom générique

Vous pouvez ensuite lancer la commande de recherche avec le paramétrage que vous désirez

Exemple

FNDSTRPDM2 STRING(DCL)
FILE(GDATA/FNDSTRPDM2)
MBR(FNDSTRPDM2)
OPTION(NONE) PRTMBRLIST(YES)

Ici on a demandé une liste que vous retrouvez dans votre spool, c’est un fichier QPUOPRTF, il y en a un par fichier source

Exemple :

  Nb d'occurrences  . . :   102 
                                 
                          Création  Dernière modif              
  Membre      Type        Date      Date      Heure     Enreg   
  ----------  ----------  --------  --------  --------  ------- 
  AAAA        CLLE        01/07/21  15/01/24  15:28:17  0000006 
  AAAA2       CLLE        10/01/24  16/09/23  10:25:24  0000009 
  AAA1        CLLE        16/05/23  06/06/23  10:24:58  0000017 
  AADB        CLLE        02/01/24  02/01/24  10:59:24  0000005 
  AAPF2CL     CLLE        03/07/23  03/07/23  13:53:03  0000008

Vous pouvez également demandé la liste des enregistrements comportant votre chaine, PRTRCDS(*ALL) vous obtenez également à une autre liste dans vos spools

Exemple :

 Membre  . . . . . . . :   AAAA2                                               
 Type  . . . . . . . . :   CLLE                                                
 Texte . . . . . . . . :   Liste des touches de fonction d'un RPG              
 Longueur d'enreg  . . :   92                                                  
     SEQNBR  *...+....1....+....2....+....3....+....4....+....5....+....6....+...
                          DCL                                                    
          4               DCL        VAR(&TXT) TYPE(*CHAR) LEN(80)               
                          DCL                                                    
          5               DCL        VAR(&id ) TYPE(*CHAR) LEN(7)                
 Nombre d'enregistrements explorés . . . . . . . . :   9                         
 Nombre d'enregistrements à trouver  . . . . . . . :   *ALL                      
 Nombre d'enregistrements trouvés  . . . . . . . . :   2                         
 _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _   F I N   D U   M E M B R E

On rencontre 2 usages principalement

Pour rechercher dans tous les sources d’une bibliothèque 

£lib       £file      £member   
GDATA      QCLSRC     *ALL       
GDATA      QRPGLESRC  *ALL       
GDATA      QDDSSRC    *ALL       
GDATA      QCMDSRC    *ALL

Pour rechercher dans tous les sources RPGLE de plusieurs bibliothèques

£lib       £file      £member
GDATA      QRPGLESRC  *ALL   
GDATA1     QRPGLESRC  *ALL       
GDATA2     QRPGLESRC  *ALL       
GDATA3     QRPGLESRC  *ALL

Remarques :

Vous pouvez facilement générer cette liste dynamiquement si vous le désirez en utilisant SQL et les vues de QSYS2.

Exemple :

INSERT INTO GDATA/FNDSTRPDM2 VALUES((select max(srcseq) + 1 from
gdata/fndstrpdm2), 0, ‘Biblio ‘ concat ‘ ‘ concat
‘Fichier ‘ concat ‘ ‘ concat ‘Membre ‘)

Il existe d’autres solutions pour scanner vos fichier sources, mais celle ci est simple à mettre à œuvre, et vous avez de grande chance d’avoir QPDA sur vos machines.

/par
, Superposition dans les DSPF OVERLAY

Afficher des formats en superposition

Vous voulez afficher 3 formats en même temps

Premier point
Les formats ne doivent pas se chevaucher

Deuxième point
les formats qui devront s’afficher en plus d’un format affiché devront avoir le mot clé OVERLAY

Troisième points
Pour que le contenu d’un format soit lu il faut

Exfmt + ou touche CF
ou
Write + Read

Notre écran a 3 formats (Haut , Milieu, Bas)
c’est le milieu qui doit être en exfmt (reçoit le focus)

Le DSPF

A                                      DSPSIZ(24 80 *DS3) 
A          R HAUT                                         
A            ZONE1         10A  B  6  3                   
A                                  4  3'Format haut'      
A          R MILIEU                                       
A                                       OVERLAY           
A                                       CA03(03)          
A            ZONE2         10A  B 12  3                   
A                                 10  3'Format milieu'    
A          R BAS                                          
A                                       OVERLAY           
A                                 22 10'F3 = Exit'        
A                                 21  3'Format bas'       

**free                          
Ctl-Opt DFTACTGRP(*NO);         
Dcl-f overlay  WORKSTN;         
  dou *in03       ;             
    write haut      ;           
    write bas       ;           
    exfmt milieu    ;           
    if not *in03    ;           
      read haut       ;         
      dsply zone1     ;         
      dsply zone2     ;         
    endif ;                     
  enddo ;                       
*inlr = *on;

Remarque :

cette règle s’applique dans les formats Fenêtres (WINDOW)
par contre les règles de chevauchement pour les fenêtres sont différentes

/par
, , Convertir les carte H, D et F sous RDI

Vous utilisez RDI pour éditer vos programmes RPGLE et vous avez des cartes de déclaratives

H,D,F et vous voulez les convertir en free , voici 2 solutions simples

Solution 1, en ligne sur notre site

https://www.volubis.fr/convertisseur.html

Collez votre sélection dans le formulaire et appuyer sur le bouton Convert

Il vous faudra recopier votre sélection.

Solution 2, installez un plugin Eclipse

Craig Rutledge en a créé un bien il est disponible ici

https://jcrcmds.sourceforge.net/eclipse/rdi8.0/

Suivez la procédure pour paramétrer le plugin dans RDI et l’installation de la bibliothèque JCRCMDS s’il elle n’existe pas sur votre partition, c’est la commande JCRHDF qui sera utilisée, vous pouvez également l’utiliser en 5250, si vous le désirez

L’utilisation est très simple dans un source de type RPGLE ou SQLRPGLE , vous avez une nouvelle option sur le clic droit, JCRCMDS.

.

.

.

Voila , simple et efficace

/par
, , , , DEBOGUER UN WATCHER

Il est difficile de déboguer un watcher parce qu’on ne maitrise pas son lancement.

Voici une méthode en utilisant RDI, qui va vous permet de le faire :

  1. Trouver le nom du programme à analyser :

WRKWCH WCH(*ALL) :

  • 5 pour le détail
  • Dans RDI, clic droit sur le programme à déboguer => débogage ou couverture de code (entrée de service) => définir un point d’entrée de service

Le message d’affiche :

Pour tester, on peut simuler un traitement qui va planter. Dans notre cas, on fait un call d’un programme qui n’existe pas, et donc ça va faire un plantage dans QSYSOPR.

SBMJOB CMD(CALL PGM(GAIA/ERREURA)) 

        JOB(ERREURA)                

        JOBQ(QSYSNOMAX)         

Une fois le programme a été lancé, sur RDI s’affichera le message suivant :

Cliquer sur « Afficher *LISTING »

Pour avancer d’un pas on peut utiliser la touche F5 ou en cliquant sur la flèche :

Pour afficher les valeurs des variables il suffit de passer la souris sur le nom de la variable :

Conclusion : c’est une solution simple pour déboguer un watcher ou un programme dont vous ne maitrisez pas le lancement.

Le programme doit être compilé avec le source.

Vous devrez avoir le droit pour faire ce type d’opération. Soit au niveau de profil, soit par les fonctions usages.

/par