Ajouter un référentiel aux outils flora data

INCOMPLET (2017-08-11) - ces informations mériteraient d'être complétées

Tester le référentiel avec RefTaxB

Mettre le fichier au format bdnt (liste et noms de colonne, dans certains cas, liste de valeurs), créer une table dans la base référentiel, l'importer et lancer les tests via l'interface.
Faire des aller retours avec le créateur du référentiel si problème de noms manquants ou de synonymes renvoyant à des synonymes (voir résultats dans l'interface test).
Finir par versionner (plus d'erreurs) depuis l'interface de versionnage.
Pour BDTFX, contacter Benoit quelques mois avant pour définir d'une date. Le recontacter 2 semaines avant. Benoit envoie un fichier .tab
Procédure en local
- Enregistrer le fichier en csv en éditant les filtres pour vérifier que le doc soit bien en utf8 et changer les séparateurs en \t et vide.
- Rechercher Plantae et vérifier que num_tax_sup qoit bien à 0.
- Vérifier que les colonnes num_nom, num_nom_retenus et nom_sci soient remplies.
Ceux sont les 3 erreurs les plus courantes qui cassent ensuite les tests.
- Vider la table BDTFX et le reremplir avec les nouvelles données. Via terminal

mysql -u referentiels -p 
use referentiels;
load data local infile '/home/delphine/Documents/referentiels/export_bdtfx_280820.csv' into table bdtfx character set 'utf8' fields terminated by '\t' ENCLOSED BY ''  lines TERMINATED BY '\n';

- lancer un test sur l'interface ou copier le dernier traitement dans la table ref_traitement et mettre date_debut, date_fin et duree à null puis lancer la commande

php script.php tests -p bdnff -a tout

- quand les résultats des tests sont ok, importer le référentiel dans la table sans version ex. BDTFX, puis générer la famille
vérifier que l'interface de consultation et l'arbre fonctionnent toujours sur rtaxb

- versionner soit en utilisant l'interface soit en copiant dans la BD le dernier versionnage, attention à changer les valeurs
si le script ne fonctionne pas, générer les fichiers un par un en commantant les différentes lignes.

- créer un zip à placer sur orobanche dans www/zip, vérifier que la version est bien disponible dans le téléchargement sur rtaxb

Créer la base dans eflore

Dans données, créer un dossier avec le nom du référentiel puis un sous dossier avec le nom de la version (annee ou annee_mois selon la fréquence de mises à jour prévues). Attention un nom de version doit être avec des _ et non des -
Dans le sous-dossier, créer un fichier csv avec les données et un fichier sql avec création des meta-données et de la structure de la table données nom_referentiel _ v num_version (copier lbf ou autre référentiel existant)

Dans scripts, créer un nouveau dossier dans module avec le nom du référentiel puis copier les fichier d'un autre référentiel, si le référentiel a importé ne contient pas de découpage du nom (genre, espèce, ...) copier florical sinon bdtfx. Lancer le script qui créera les tables, insérera les données et ajoutera les champs nom_sci_html, hierarchie et famille.

Vérifier les index, le format et l'encodage à l'aide des autres tables.

Algolia

Si le référentiel doit servir à eFlore,
- c'est une mise à jour : lancer le script algolia qui est dans référentiel, dans un premier temps, décommenter les lignes avant 160 et ne pas intégrer dans algolia, vérifier que le script se passe sans erreur et qu'il n'y a pas d'erreur dans le fichier couscous.json (avec vim \error), recommenter les lignes et lancer le script avant d'insérer dans algolia, vider l'index (ou modifier le script pour que ça soit vider automatiquement) cliquer o pour insérer dans algolia
- c'est un nouveau référentiel : bonne chance

Créer les services

Dans configuration créer un fichier config_referentiel.ini et modifier config.ini en ajoutant le référentiel dans la liste des projets définis.
Dans module, créer un dossier avec le nom référentiel , copier noms, taxons et communsnotaxons d'un autre dossier.

Widget saisie défaut

Modifier saisie.tpl.html en ajoutant une option dans le select referentiel
Ajouter référentiel au jrest.ini

Ajouter au CEL

/trunk/war/config.defaut.js
referentielsDispos:"bdtfxr:v3.02;bdtfx:v3.02;bdtxa:v1.01;bdtre:v0.01;florical:v1.00;aublet:v1.00;apd:v2017;lbf:v1.00;autre",

Ajouter à DEL

Dans fichier I18n (trunk/src/org/tela_botanica/del/client/i18n/)
referentielBdtfx = France métropolitaine (BDTFX)
referentielBdtxa = Antilles françaises (BDTXA)
referentielBdtre = la Réunion (BDTRE)
referentielAublet = Guyane (AUBLET)
referentielFlorical = Nouvelle-Calédonie (FLORICAL)
referentielIsfan = Afrique du Nord (ISFAN)
referentielApd = Afrique tropicale (APDà
referentielLbf = Liban (LEF)

Dans service Référentiel (/trunk/src/org/tela_botanica/del/client/services/ ReferentielService.java)
referentiels.put("bdtfx", I18n.getVocabulary().referentielBdtfx());
referentiels.put("bdtxa", I18n.getVocabulary().referentielBdtxa());

Déjà membre

Nouveau membre