Rispondi

[Résolu] Transfert HEREDIS > GRAMPS ... relance

creusois
creusois
Messaggi: 101
Albero : Non grafico
Vedere il suo albero genealogico
Cher Monsieur PAUVERT,
Vous venez de vérouiller "https://www.geneanet.org/forum/viewtopi ... d#p1632347" de façon totalement péremptoire !!!
Merci mais ne vaudrait-il mieux pas prendre contact avec les débateurs qui s'égarent et s'éloignent du fil de la discussion pour leur demander d'aller poster ailleurs plutôt que sans en avertir le "propriétaire" vérouiller son sujet !!!!!!
Je suis soufflé et épaté ! Démonstration autoritaire !
cf. Transfert HEREDIS > GRAMPS = https://www.geneanet.org/forum/viewtopi ... d#p1632347

Je relance donc mon sujet :
------------------------------------------------------------
Bonjour,
Je réfléchis depuis longtemps à effectuer un transfert définitif de ma base HEREDIS (je suis actuellement en Version 2017) vers GRAMPS.

Je suis 100% linux depuis près de 20 ans pour l'ensemble de mes besoins et utilisations diverses informatiques à l'exception de la gestion de mes travaux généalogique, je n'ai jamais franchis le cap à ce sujet à cause de l'excellence d'HEREDIS.
... mais maintenant il est temps de passer aussi le cap pour ce sujet.
  • Avez-vous effectué cette transition ?
    Quels seraient les grandes lignes de votre retour d'expérience ? Avantages versus inconvénients ?
    Regrettez-vous ?
    ...
Je ne suis pas intéressé ici de savoir si cela vaut le coup ni d'avoir des avis de la part d'internaute qui n'ont pas franchit le cap ... mon point n'étant pas de savoir si c'est bien ou pas, mon point étant de savoir de quelle façon cela c'est passé pour ceux·celles qui l'ont fait ;)
Ultima modifica di creusois il 13 gennaio 2020, 18:06, modificato 1 volta in totale.
------------------------------------------------
Christian Le Creusois
creusois@combaudon.com
@9septembre
------------------------------------------------

romjerome
male
Messaggi: 1224
creusois ha scritto:
11 gennaio 2020, 11:17
Merci mais ne vaudrait-il mieux pas prendre contact avec les débateurs qui s'égarent et s'éloignent du fil de la discussion pour leur demander d'aller poster ailleurs plutôt que sans en avertir le "propriétaire" vérouiller son sujet !!!!!!
Une autre possibilité est de fermer temporairement pour que la discussion s’apaise.
Par exemple : https://gramps.discourse.group/t/category-structure/104/21
https://gramps.discourse.group/t/category-structure/104/23
Sujet clos pour moi. ;)
  • Avez-vous effectué cette transition ?
    Quels seraient les grandes lignes de votre retour d'expérience ? Avantages versus inconvénients ?
    Regrettez-vous ?
    ...
J'ai regardé dans les listes de discussion de gramps :
https://sourceforge.net/p/gramps/mailman/
ou via une interface alternative :
http://gramps.1791082.n4.nabble.com/
ainsi que sur reddit : https://www.reddit.com/r/gramps/

peu de migrations décrites (migration récente), mais plusieurs questionnements
sur Heredis il y a 4/5 ans ou l'équivalence dans Gramps.

Autre soucis avant la migration : les versions utilisées...
Rare sont celles et ceux qui vont faire de la rétro-ingénierie
à chaque nouvelle version d'Heredis...
Ultima modifica di romjerome il 12 gennaio 2020, 10:32, modificato 1 volta in totale.

romjerome
male
Messaggi: 1224
On peut également citer/pointer vers :
lucsecouard ha scritto:
22 agosto 2019, 20:04
À ma connaissance, Heredis pour Windows utilise une base SQLite. Cela signifie que la phase de rétro-analyse est un peu simplifiée par rapport au travail que j’avais dû faire sur Mac : au lieu d’essayer de comprendre comment sont stockées les données dans un fichier binaire, il suffit de comprendre comment est constitué le modèle relationnel utilisé par Heredis.

Cela ne signifie pas que ce soit un travail simple. Si identifier les tables est certainement assez évident, il faut repérer l'emplacement de tous les attributs, leur type et leur format éventuel.

J’avais pour ma part procédé ainsi :
– construire une vue relativement complète du modèle utilisé par Heredis (j’ai ignoré les éléments que je n’utilisais pas) ; pour cela, j’avais construit de nombreux petits tests élémentaires afin de repérer où étaient stockés les attributs ;
– établir les règles de correspondance avec le modèle de Gramps ; c'est l’étape la plus importante durant laquelle doivent être prises des décisions structurantes ;
– écrire les modules chargeant les données d’un fichier d’Heredis 3 (décodage depuis le fichier binaire) et en construisant une représentation en mémoire ;
– écrire le module produisant le fichier XML de Gramps (et contenant donc la logique de correspondance entre les modèles).

La programmation n’a pas été compliquée. Ce qui a été compliqué, c’est la rétro-analyse et surtout la définition des règles de correspondance car il y a beaucoup de détails à prendre en compte.

Mon script n’était donc pas complet, se contenant de traiter les éléments que j’utilisais (ce qui devait tout de même représenter au moins 95% des fonctions d’Heredis 3). Il incorporait aussi le traitement de conventions personnelles diverses : par exemple, puisque qu’Heredis 3 ne permettait d’associer plusieurs notes à un objet, de découper une note unique contenant de multiples informations en plusieurs notes contenant une seule information.

Je considère la réalisation d’un script similaire pour la version d’Heredis pour Windows, comme tout à fait réalisable, mais il faut procéder méthodiquement. Il ne sert à rien de programmer quoi que ce soit tant que vous n’avez pas une connaissance suffisante du modèle de données d’Heredis.

Je doute que mon script puisse vous être utile car il est assez fortement lié au modèle d’Heredis 3 tel que je l’ai reconstruit. Il pourrait éventuellement être intéressant pour récupérer la logique de production du fichier XML de Gramps, même si, depuis 2011, le modèle de données de Gramps a, lui aussi, fortement évolué. À l’époque, la gestion des lieux était beaucoup plus simple (non hiérarchique) et il n’existait pas de citations, seulement des sources (comme Heredis 3 ne gérait pas non plus les citations, cela tombait bien).

Par ailleurs, j’imagine que la version actuelle d’Heredis pour Windows doit être bien plus riche que la version 3 d’Heredis pour Mac. Même si je ne doute pas de la capacité de Gramps de représenter la quasi totalité des informations gérées par Heredis, il faudra définir les règles de correspondance.

Ceci étant, si cela vous semble utile, je pourrai vous transmettre mon script (environ 4000 lignes de Python). C’est relativement lisible et c’est correctement structuré (huit ans après, j’arrive à m’y retrouver :) ). Comme je l’ai dit, ce n’est pas de la programmation compliquée, c’est de la programmation avec plein de petits détails pour assurer la correspondance des modèles. Mon script peut alors donner une indication sur la manière de procéder. À vous de voir.

Si vous le souhaitez, je suis aussi prêt à discuter avec vous plus en détail sur ce sujet.

Cordialement.
https://www.geneanet.org/forum/viewtopi ... 3#p1566193

glopglop
glopglop
Messaggi: 1877
Albero : Non grafico
Vedere il suo albero genealogico
Bonjour

Je suis d'accord
si on restreint aux utilisateurs de geneanet qui ont migre de heredis vers gramps et qui lisent le forum gramps on doit etre proche de zero utilisateur.
les changements de logiciels sont compliqués et la seule raison qui pourrait pousser a changer de logiciels est la migration de windows a linux.
Developpeur du greffon GedcomforGeneanet pour GRAMPS
https://github.com/grocanar/GedcomforGeneanet
Sans aucun lien avec l'entreprise Geneanet que celui d’être un abonné premium comme les autres.

lucsecouard
male
Messaggi: 18
Bonjour,

Je découvre un peu tard le sujet, mais je suis effectivement à même de partager mon expérience puisque j’ai basculé ma généalogie d’Hérédis 3 sur Mac à Gramps.

Premier point : il est illusoire de passer par le format Gedcom, même avec les extensions proposées par Hérédis. On perd trop de choses. Il faut donc écrire un programme spécifique.

Hérédis pour Windows est différent d’Hérédis pour Mac. Il est, d’une part plus complet que son pendant sur Mac et d’autre part il utilise une base de données SQLite ce qui devrait faciliter la rétro-ingénierie du modèle et évitera une phase pénible de décodage du binaire.

J’ai pu récupérer la totalité des données d’Hérédis dans Gramps, y compris l’utilisation des couleurs dans le texte des notes. Mais Hérédis pour Windows étant plus riche, il est possible que des difficultés apparaissent.

Pour moi, l’intérêt principal c’était de passer d’un modèle fermé à un modèle ouvert qui garantit la pérennité des données car il sera toujours possible de lire le fichier XML de Gramps pour alimenter une base. C’est évidemment spécialement vrai quand on compare à Hérédis pour Mac avec son modèle totalement obscur.

Comme, par ailleurs, j’envisageais de basculer sous Linux (ce que j’ai finalement fait quelques années plus tard), il me fallait justement basculer sur un logiciel fonctionnant sur cette plate-forme, logiciel qui soit suffisamment puissant pour que je perde peu de choses (et, de fait, je n’ai rien perdu). Si j’avais été sur Windows, j’aurais pu avoir quelque espoir avec Wine, mais il n’existe pas de Wine pour Mac.

D’un point de vue ergonomique, Gramps est inférieur à Hérédis et la logique de travail est différente. Faute d’avoir compris que la vue centrale dans Gramps est la vue « Relations », j’ai un peu souffert au début puisque je m’obstinais à travailler avec la vue « Invididu » qui est centrale dans Hérédis pour Mac (et peut-être aussi dans la version pour Windows).

Fonctionnellement, Gramps est plus riche qu’Hérédis pour Mac, du moins dans sa version 3 qui souffrait de limitations pénibles. Par exemple, on n’avait le droit qu’à une note par événement ou par individu ce qui m’avait obligé à structurer mes notes en sections qu’il m’a fallu ensuite découper en plusieurs notes lors de la conversion pour Gramps.

Un des points importants qui manquait à beaucoup de logiciels, notamment ceux qui se limitent au pur modèle Gedcom, c’était la possibilité d’associer des participants à un événement. Hérédis le faisait très bien et Gramps le permet aussi, mais la logique de travail est différente. Dans Hérédis, on attache les individus à l’événement, dans Gramps on attache l’événement partagé à chaque individu. Je trouve la méthode d’Hérédis plus pratique, mais comme dans Gramps on a la possibilité de copier l’événement dans le presse-papier, il est finalement assez facile de l’ajouter à chacun des participants à l’événement (en ajustant seulement le rôle).

Hérédis gère les numéros SOSA alors que Gramps ne le fait pas. C’est le seul point qui m’a vraiment manqué. On peut, au choix, utiliser l’attribut « numéro d’identification » comme numéro SOSA ou bien définir un attribut « numéro SOSA ». J’ai choisi la seconde solution, mais si c’était à refaire je pense que je choisirais la première. Cela change peu de choses puisque, de toute façon, il faut renseigner ce numéro à la main.

Un des points que je trouve très agréable dans Gramps, c’est la possibilité de personnaliser les attributs, les relations, les rôles, les types d’événements. Bien entendu, cela nous éloigne encore plus du Gedcom.

Dès que j’eus compris la logique de Gramps, c’était terminé. Pour rien au monde, je ne voudrais revenir en arrière. Gramps offre des possibilités de personnalisation tellement agréables que je lui pardonne volontiers une ergonomie un peu lourde (beaucoup de fenêtres, mais tout reste logique).

Par ailleurs, j’ai développé un programme qui assure un certain nombre de contrôles de cohérence (par exemple sur les numéros SOSA renseignés manuellement). Il travaille sur le fichier XML de sauvegarde et non sur la base de données (c’était ce qui me semblait le plus simple). Pour moi, disposer d’une représentation en XML est extrêmement utile car cela permet aussi de réaliser des transformations. Plusieurs fois, j'ai ainsi pu mettre en œuvre des traitements de masse sur ma généalogie. Je pourrais ainsi remplacer « numéro SOSA » par « numéro d’identification » et je pense peut-être un jour transformer toutes les dates exprimées dans le calendrier républicain en dates exprimées dans le calendrier grégorien.

Voilà pour mon retour d’expérience. La basculement est faisable, n’est pas très compliqué, mais demande du travail car il y a plein de petits détails à prendre en compte. Pour moi, il était nécessaire, mais, même si j’avais utilisé Hérédis pour WIndows, je pense que je l’aurais fait. Et je ne regrette rien car Hérédis pour Mac, pour agréable qu’il ait été, possédait tout de même de sérieuses limitations.

glopglop
glopglop
Messaggi: 1877
Albero : Non grafico
Vedere il suo albero genealogico
Bonjour Luc

merci pour ce post tres détaillé ou l'on comprends bien les écueils d'une telle migration.
Developpeur du greffon GedcomforGeneanet pour GRAMPS
https://github.com/grocanar/GedcomforGeneanet
Sans aucun lien avec l'entreprise Geneanet que celui d’être un abonné premium comme les autres.

creusois
creusois
Messaggi: 101
Albero : Non grafico
Vedere il suo albero genealogico
Bonjour lucsecouard,
Je découvre un peu tard le sujet, mais je suis effectivement à même de partager mon expérience puisque j’ai basculé ma généalogie d’Hérédis 3 sur Mac à Gramps......
En tout cas je suis heureux de vous lire et je vous remercie pour ce retour documenté, quand bien même il ne concerne "que" la version HRDS Mac.
.....Premier point : il est illusoire de passer par le format Gedcom, même avec les extensions proposées par Hérédis. On perd trop de choses. Il faut donc écrire un programme spécifique.
Hérédis pour Windows est différent d’Hérédis pour Mac. Il est, d’une part plus complet que son pendant sur Mac et d’autre part il utilise une base de données SQLite ce qui devrait faciliter la rétro-ingénierie du modèle et évitera une phase pénible de décodage du binaire......
D'après vous et sans parler des "Notes", quels sont les types de données qui sont impactés dans la migration "classique" offerte par HRDS pour la génération du GEDCOM ?
Vous êtes donc passé par un développement spécifique ... de quel type ? vous l'avez écrit en quoi ?
Quel méthode de comparaison vous avez ensuite mise en place ?

Pour moi, l’intérêt principal c’était de passer d’un modèle fermé à un modèle ouvert qui garantit la pérennité des données car il sera toujours possible de lire le fichier XML de Gramps pour alimenter une base. C’est évidemment spécialement vrai quand on compare à Hérédis pour Mac avec son modèle totalement obscur.
....Comme, par ailleurs, j’envisageais de basculer sous Linux (ce que j’ai finalement fait quelques années plus tard), il me fallait justement basculer sur un logiciel fonctionnant sur cette plate-forme, logiciel qui soit suffisamment puissant pour que je perde peu de choses (et, de fait, je n’ai rien perdu). Si j’avais été sur Windows, j’aurais pu avoir quelque espoir avec Wine, mais il n’existe pas de Wine pour Mac.....
Là en est la raison essentielle. En sachant que de mon côté, je roule exclusivement sous Linux et logiciels open source depuis très longtemps maintenant, ma seule exception restant HRDS. C'est l'unique raison qui me fait systématiquement garder mes ordis en multi boot (distro(s) Débian) avec Windows à côté.
... quant à WINE, il n'est pas la panacée et génère trop de dysfonctionnement et gêne dans une utilisation poussée d'HRDS
Je réfléchis à cette migration depuis plusieurs années sans passer le pas, à cause justement de l'aspect sensible sur l'éventualité de perte de données si précieuses de mes recherches généalogiques.
....Voilà pour mon retour d’expérience. La basculement est faisable, n’est pas très compliqué, mais demande du travail car il y a plein de petits détails à prendre en compte. Pour moi, il était nécessaire, mais, même si j’avais utilisé Hérédis pour WIndows, je pense que je l’aurais fait. Et je ne regrette rien car Hérédis pour Mac, pour agréable qu’il ait été, possédait tout de même de sérieuses limitations.
Ce basculement est indispensable au moins dans une dimension d'ouverture et une forme d'éthique informatique, il rejoint en tout cas à mes yeux le combat que nous devons mener contre les GAFAM et les comportements troubles des sociétés informatiques qui font de l'opacité leur infernal leitmotiv ... heu ... mais là je m'éloigne 8-) :mrgreen:

Pour revenir à notre sujet, il me/nous montre qu'à l'impossible nul n'est tenu et qu'avec un peu d'effort, c'est tout à fait réalisable.
L'aspect qui concerne à changer ses habitudes de travail, d'appréhension ergonomique d'un logiciel ou d'évolutions de nos pratiques est celui qui est peut-être le plus motivant. Remettre ses habitudes en question pour les faire progresser, c'est motivant.

Votre retour est précieux et constuctif et je vous en remercie sincèrement.
------------------------------------------------
Christian Le Creusois
creusois@combaudon.com
@9septembre
------------------------------------------------

romjerome
male
Messaggi: 1224
Pour compléter un peu les méthodes de saisie dans gramps, il est possible d'utiliser des alternatives aux éditeurs...

Les freins à une utilisation massive - quelque chose de plus proche de la logique actuellement disponible dans le gramplet formulaires - me semblaient liés à la base de données et les objets principaux (individus, familles, événements, sources, citations, media, dépôts, notes), qui sont indépendants/autonomes au départ (on peut éditer un événement puis l'attacher à l'individu mais aussi créer un événement depuis l'individu).

En fait, il y a encore quelques limites pour une utilisation généralisée... Qui sait, il n'est pas impossible que la prochaine version majeure de gramps utilise la saisie "à la volée" et limite l'utilisation des éditeurs pour les détails !
Ceci est peut être encore déroutant pour les anciens utilisateurs d'Heredis ou autre ?

J'avais testé Heredis 8 sous Windows (à l'époque), je n'avais pas accroché.
En comparaison, la sobriété de Généatique me laissant une meilleure impression !
Après un passage sous LifeLines et GeneWeb, j'ai longtemps préféré deux tables en XML
avec une simple interface en HTML, puis j'ai fusionné ces tables pour obtenir un fichier gramps.
(à l'époque gramps utilisait le format XML comme base de données)

J'ai l'impression que tous les logiciels disponibles (heredis, gramps, geneweb, ancestris, etc ...) ont actuellement un soucis de direction (même à court terme !). Des logiciels "enterrés" font même leur retour comme Family Tree Maker; il y a des regroupements (essentiellement des bases d'utilisateurs...), des questions liées à la génétique, les mormons, les fonds de pension, la géographie, la vie privée, la culture, les données, les images, etc ... Les logiciels de généalogie tendent à se densifier (contracter et ressembler); finalement ils sont toujours là malgré les portails en ligne... Actuellement une migration vers un autre logiciel de généalogie n'est peut être plus aussi déroutante qu'il y a 5 ou 10 ans ?
Ultima modifica di romjerome il 12 gennaio 2020, 19:52, modificato 4 volte in totale.

romjerome
male
Messaggi: 1224
Quelques éléments et pistes mettant en lumière les possibles soucis que l'on peut rencontrer avant une migration depuis Heredis : https://www.tamurajones.net/Heredis2018Impressions.xhtml

Certaines critiques passeront inaperçues pour les francophones et je ne suis pas forcément d'accord avec toutes les remarques (essentiellement liées au format gedcom). En revanche on peut lire :
There are SQL scripts in the Heredis directory, so they definitely use some relational database system.
It seems to me that the files createTables.txt and createIndexes.txt practically give away their database format. That makes it relatively easy for third parties to create a direct import from Heredis, and that's a Good Thing, because Heredis' GEDCOM export isn't good enough.

lucsecouard
male
Messaggi: 18
Pour compléter ce que j’ai écrit, je vais apporter ici quelques précisions. J’ai d’abord tenté d’exploiter l’export en GEDCOM fourni par Heredis. Mais, il était trop limité et, même avec les extensions introduites par Heredis, je perdais des informations. Comme cette migration date de 2011, je ne me souviens pas de ce qui pouvait manquer, mais il y avait beaucoup de choses. J’ai d’ailleurs regardé s’il était possible d’exploiter ce GEDCOM pour produire un fichier au format XML de Gramps et j’ai écarté cette possibilité. J’ai peut-être encore quelque part un analyseur syntaxique de GEDCOM.

Je me suis donc, à contrecœur, tourné vers la solution consistant à faire un développer un outil de conversion exploitant directement la base Heredis. Et j’ai alors découvert avec horreur que le format utilisé était totalement non standard alors que j’avais espéré quelque chose comme du SQLite.

Mon programme est écrit en Python 2. Il décode le format binaire d’une base Heredis Mac version 2 ou 3 (peut-être au delà, mais j’ai abandonné Heredis après le basculement), construit un modèle en mémoire, puis produit un fichier XML au format Gramps dans la version d’alors (DTD 1.4.0 – depuis, pas mal de choses ont changé, notamment l’apparition des citations et la structure hiérarchique des lieux).

Cela représente 3200 lignes de Python, donc ce n’est pas très gros (4100 lignes si on inclut un module permettant de produire du GEDCOM au lieu du XML – je ne me souviens plus pourquoi j’avais prévu cette fonction, peut-être au cas où j’aurais voulu basculer sur un autre logiciel travaillant en pur GEDCOM).

Le point critique, c’est effectivement le moyen de s’assurer que le résultat est correct. Malheureusement, il n’y a pas vraiment de solution. Je produisais des statistiques permettant de vérifier que tout avait été traité, mais il a fallu contrôler la validité par échantillonnage.

En pratique, on pouvait surtout craindre que certaines informations n’aient pas été traitées. Par exemple, Heredis Mac permettait de préciser si un individu sait signer. Pour ne pas perdre cette information, il a fallu définir un attribut spécifique. Incidemment, je pense maintenant que ce n’est pas la bonne solution ou, du moins, que cette information est insuffisante et devrait être modulée (sait signer, signe parfois, ne sait pas signer, utilise une marque spécifique). On pourrait aussi utiliser un événement plutôt qu’un attribut.

Je n’ai pas traité tout ce que savait faire Heredis, mais uniquement ce que j’utilisais. Je me souviens d’avoir ignoré une fonction introduite par Heredis 3 que je n’utilisais pas (j’ai oublié laquelle). Et, par exemple, lors de l’exportation j’ai ignoré le champ « rechercher l’acte » que j’avais parfois utilisé, mais que je trouvais peu pratique et ne souhaitais pas reprendre dans Gramps (je préfère gérer des listes externes d’actes à rechercher avec éventuellement un commentaire associé).

J’ai donc passé un temps certain à vérifier la généalogie obtenue après conversion. Ma première tentative (après les nombreux tests unitaires réalisés), m’a permis de trouver quelques erreurs ou omissions que j’ai corrigées. Si je me souviens bien, la seconde conversion a été la dernière. Je n’ai pas souvenir d’avoir détecté la moindre erreur ensuite, mais, comme je l’ai dit, ce n’est pas un programme compliqué. Il y a seulement plein de choses auxquelles il faut penser. Et c’est donc le travail préparatoire qui a été le plus important. Il a été facilité (si on peut dire :) ) par le fait que je devais analyser dans le détail la structure des enregistrements dans le fichier binaire et j’ai donc activé (unitairement) tout ce que je pouvais activer (sauf la fonction que je n’utilisais pas).

Pour information, quand j’ai fait cette migration, ma généalogie contenait environ 2000 individus. Je n’ai donc pas rencontré de problème de stockage en mémoire. Mais avec ma machine d’alors, j’avais déjà suffisamment de mémoire et je pense que j’aurais pu traiter sans problèmes une généalogie de quelques dizaines de milliers d’individus.

creusois
creusois
Messaggi: 101
Albero : Non grafico
Vedere il suo albero genealogico
Bonsoir et encore merci pour vos réponses riches de renseignements. Ya plus qu'à ! Cool
------------------------------------------------
Christian Le Creusois
creusois@combaudon.com
@9septembre
------------------------------------------------

lucsecouard
male
Messaggi: 18
@Christian Le Creusois

Je vous en prie. Si vous le souhaitez, je peux vous transmettre les sources de mon programme.

creusois
creusois
Messaggi: 101
Albero : Non grafico
Vedere il suo albero genealogico
Si ce n'est as abusé lucsecouard, je ne dis pas non :P
------------------------------------------------
Christian Le Creusois
creusois@combaudon.com
@9septembre
------------------------------------------------

Rispondi

Torna a “Gramps”