Bonnes pratiques Data Manager: de la donnée brute à l’import d'Assets

Comment convertir les données brutes étape par étape en données d'actifs propres et prêtes à l'emploi

Lorsqu'on travaille avec Atlassian Assets, la gestion et le maintien de données propres et structurées sont essentiels. Assets Data Manager (ADM) est une application puissante qui simplifie ce processus en vous aidant à importer, transformer et maintenir vos données d'actifs avec moins d'efforts manuels. Voici un aperçu étape par étape de la manière de passer d'une source de données brute à une importation propre et prête à l'emploi dans Assets.

Préparez vos données sources

Commencez par identifier où vos données sont actuellement stockées. Les sources courantes incluent :

• Exports CSV ou Excel provenant de CMDB existants ou d'outils d'inventaire
• Bases de données externes ou APIs
• Services d'annuaire comme Azure AD ou LDAP

Avant de vous connecter à des services comme Azure, assurez-vous que :

• Chaque enregistrement possède un identifiant unique (comme une étiquette d'actif ou un ID).
• Les noms des champs sont cohérents et descriptifs.
• Les données sont suffisamment complètes pour établir des relations ultérieurement (par exemple, emplacements, propriétaires, modèles, applications).

Astuce : si vos données ont un formatage incohérent (comme différents formats de date), corrigez ce que vous pouvez à la source, cela vous fera gagner du temps plus tard.

Déplacer les données brutes dans Data Manager

Une fois vos données préparées, vous pouvez les importer dans Assets Data Manager, veuillez noter qu'il existe plusieurs sources disponibles pour importer des données brutes et que celle sélectionnée dans cet exemple est le fichier plat. Vous pouvez trouver des guides détaillés sur la création et l'exécution d'un travail pour toutes les autres sources ICI.

• Allez dans Data Manager → Adapters → Create Job.
• Choisissez votre type d'import entre Général et Produits, pour cet exemple nous avons utilisé la méthode Flat File.

‍1. Nom

Champ de saisie pour le nom de la configuration.

-> Nom que vous verrez dans la liste des tâches et que vous utiliserez pour déclencher la tâche.

2. Classe d'objet

Menu déroulant pour sélectionner la classe d'objet associée au fichier plat.

-> Cela définit la structure des données ou le schéma auquel le fichier correspond.

3. Type de source de données

Menu déroulant pour spécifier le type de source de données (par ex. CSV, AD, Schema, etc.).

-> Nécessaire pour identifier comment se connecter aux données.

4. Nom de la source de données

Champ de saisie pour le nom de la source de données spécifique.

-> Peut être ce qui vous facilite l'identification de la source plus tard, par ex. CSVUserImport

5. Chemin du fichier

Champ pour spécifier le chemin complet vers le fichier plat.

-> Doit inclure le nom du fichier, par ex. C:\Users\Public\Downloads\Example\ExampleUserImport.csv

‍6. Ignorer les lignes

Saisie pour spécifier le nombre de lignes à ignorer au début du fichier.

-> Souvent utilisé pour ignorer les en-têtes mais peut être réglé à 0 pour lire aussi les en-têtes.

7. Délimiteur

Champ pour saisir le caractère délimiteur utilisé dans le fichier (par ex. virgule, point-virgule, etc.).

-> Sépare les valeurs dans chaque ligne.

8. Qualificateur

Saisie pour le caractère qualificateur de texte (par ex. guillemets doubles ").

-> Encadre les valeurs pour éviter la séparation aux délimiteurs présents dans les champs texte.

-> Optionnel, mais recommandé pour les fichiers avec des délimiteurs intégrés dans les valeurs.

9. Génération automatique (mappages de colonnes)

Bouton pour générer automatiquement les mappages de colonnes à partir d'un en-tête CSV collé.

-> Aide à la configuration rapide des correspondances de champs.

-> Collez les en-têtes du CSV, séparés par des virgules, par ex. E-Mail, DisplayName, LastName, FistName, City, Country, Status

10. Ajouter un mappage

Bouton pour ajouter manuellement des mappages de colonnes.

-> Utile lorsque la génération automatique n'est pas possible ou doit être personnalisée.

-> Une fois que vous avez généré les mappages, vous pouvez les définir davantage en précisant le type de données stocké dans chaque colonne.

Après votre premier import, les Transformations deviennent disponibles et elles vous permettent d'affiner ou d'enrichir les données avant l'import, par exemple :

• Concaténer des champs (par ex., “Modèle” + “Version” → “Nom complet du modèle”)
• Convertir des valeurs textuelles (par ex., changer le statut “used” en “In Use”)

Cette importation initiale crée un jeu de données dans ADM. Pensez-y comme une zone de préparation où vous pouvez manipuler les données en toute sécurité avant de les envoyer vers Assets.

Accès au dossier

Comme la tâche de cet exemple utilise un fichier plat, chargez le Client d'adaptateurs de l'Atlassian Marketplace Téléchargez et accédez aux sous-dossiers correspondant au type de processeur correspondant à votre ordinateur.

Puisque le PC utilisé fonctionne sous Microsoft 64 bits, ce sera le dossier utilisé. À l'intérieur, les deux adaptateurs seront disponibles : Cleanse and Import Client et Adapters Client, pour un guide détaillé étape par étape, voir ICI.

Pour exécuter un travail, le jeton d'adaptateur et l'ID de l'espace de travail seront nécessaires.

Comment trouver le jeton et l'ID de l'espace de travail :

• Depuis la page principale des Assets, cliquez sur le menu déroulant "Paramètres" en haut à droite de la page, puis Paramètres généraux > Gestionnaire de données.
• Faites défiler vers le bas et vous verrez les options "Générer un nouveau jeton" et "Copier l'ID de l'espace de travail"

Exécution du travail

L'exécution d'un travail se fait sur votre instance locale, derrière le pare-feu, en utilisant une application cliente middleware appelée Adapters Client. Vous pouvez exécuter un travail manuellement via l'interface en ligne de commande, ou vous pouvez "emballer" l'application cliente dans une application de planification telle que le Planificateur de tâches Windows.

Pour exécuter un travail, nous utiliserons "Invite de commandes", en suivant le guide détaillé d'Atlassian ICI.

Naviguez jusqu'au dossier où vous avez stocké l'Adapters Client  

Astuce : Utilisez ".\dm-adapters --help" pour tester

Pour exécuter le travail, vous aurez besoin de ce modèle :  .\dm-adapters --run “<myJobName>” --workspace-id “<workspaceId>” --token “<your-Adapters-token>”

1. “<myJobName>”: Remplacez par le nom du poste que vous avez créé précédemment

2. “<workspaceId>”: Ajoutez l'identifiant de l'espace de travail que vous avez copié depuis la section des paramètres

3. “<your-Adapters-token>”: Ajoutez le jeton que vous avez créé dans la section des paramètres

4. Appuyez sur Entrée, puis le travail s'exécutera et un message indiquera qu'il a été exécuté avec succès.

5. Pour plus de détails sur la planification d'un travail, consultez ICI.

Nettoyer et importer les données dans les objets Data Manager

Définir des mappages personnalisés

Nous commençons par associer les colonnes aux attributs correspondants, vous pouvez les associer à des attributs existants ou en créer de nouveaux. Le type de données de chaque colonne est indiqué entre parenthèses.

Nettoyer les données

Le nettoyage des données garantit des informations cohérentes et précises, par exemple vous pouvez :

• Exclure les clés primaires vides ou nulles ce qui assure que vous n'avez pas de données manquant la valeur principale nécessaire à l'importation dans Assets.
• Supprimer les doublons en utilisant la clé primaire ou des règles de comparaison.

Une fois que vous avez sélectionné vos règles de nettoyage, vous pouvez cliquer sur « Nettoyer » pour commencer à exécuter ces règles.

Importer dans Data Manager

Une fois que tout est nettoyé et mappé, cliquez sur importer puis démarrer. Vous verrez chaque étape au fur et à mesure de son accomplissement et le statut apparaîtra dans la colonne Message.

Importer les données dans le schéma Assets

Maintenant que les données ont été nettoyées et structurées pour correspondre à votre schéma Assets, vous pouvez procéder à l'importation. Il existe deux méthodes principales pour transférer les données dans Assets :

1. Méthode héritée : Créez une recherche dans Data Manager, exportez la recherche enregistrée au format CSV, puis téléchargez-la manuellement dans Assets.

2. Méthode moderne (recommandée) : Créez une recherche et importez-la directement dans Assets en utilisant l'intégration d'importation intégrée pour les recherches enregistrées.

Créer une recherche enregistrée

Allez dans Analyse, puis sélectionnez la classe d'objet dans laquelle vous venez d'importer des données.

Depuis cette vue, vous pouvez appliquer des filtres pour afficher uniquement les enregistrements spécifiques que vous souhaitez importer dans Assets.

Conseil : Même si vous souhaitez importer toutes les données disponibles, vous devez d'abord créer une recherche enregistrée qui inclut tous les enregistrements. Cette recherche enregistrée sert de définition source pour votre importation dans Assets.

Importer dans Assets

Après avoir cliqué sur « Enregistrer comme nouvelle recherche » et nommé votre recherche, rendez-vous dans l'importateur d'actifs dans les paramètres du schéma, puis cliquez sur «Data Manager import».

Vous pouvez ensuite Nommer l'import, fournir une Description claire, et sélectionner la Recherche enregistrée à importer appropriée depuis le Gestionnaire de données.

Conseil : Gardez l'option “Créer automatiquement les types d'objets et les attributs” désactivée si vous importez des données dans un type d'objet existant. Incluez toujours une description concise afin que les autres utilisateurs puissent facilement comprendre le but et la portée de l'import.

Ensuite, cela fonctionne comme une importation d'actifs normale : mappez l'import à un type d'objet, puis mappez les colonnes aux attributs, puis cliquez sur importer.

‍

Résumé

La mise en place de Assets Data Manager (ADM) ne se limite pas à l'importation de données — il s'agit d'établir un flux de données durable et automatisé entre vos sources externes et Atlassian Assets. En consacrant du temps au nettoyage, à la cartographie et à la validation de vos données, vous garantissez que les informations contenues dans Assets restent précises, cohérentes et utiles aux équipes de votre organisation.