– Isolation des bases de données / Contrôle des accès :
L’isolation des données nous permet via un critère de recherche commun à chacune des bases de données brut, de ne récupérer que les données pour ce critère.
Dans le cadre de BMR, cela consiste à pouvoir isoler au sein d’une même base de données les données des sociétés via leur numéro de SIRET.
Ce qui fait que nous sommes capables de créer des bases groupés avec plusieurs sociétés ou des bases unique par société.
Chaque client accède ainsi a une base de données unique, ce qui rend impossible tout mélange de données ou accès a une base de données d’un autre client.
Dans ce contrôle, nous enregistrons toutes les connexions afin de s’assurer que les accès fournit sont bien utilisés par les clients, ceux ci étant mis a jour régulièrement afin de limiter les accès frauduleux.

– Optimisation des temps de traitement via parallélisation et découpage des récupérations
Afin d’optimiser les temps de récupération des données, nous effectuons une parallélisation des traitements d’enregistrement en fonction du nombre de cœurs sur le serveur.
Cette optimisation va consister a traiter les données par bloc de x enregistrements.

– Analyse et mise a jour incrémentiel
Nous effectuons une analyse des données avant intégration dans la base de données finale, cette analyse va consister à s’assurer de l’unicité de certains enregistrements.
Cette analyse a été optimisé afin de garantir des temps de traitements optimaux
Grace a cela nous effectuons des ajouts d’éléments, mais également des suppressions afin d’avoir une cohérence parfaite avec les bases sources.
L’intérêt premier est de pouvoir être en capacité de conserver un historique ou d’avoir une unicité spécifiquement sur chaque table.

– Monitoring des temps de traitement
Nous effectuons une surveillance quotidienne des temps de traitements et mettons en place des actions correctives si les temps de traitement se dégradent.
Cela se traduit par diverses taches d’optimisation sur les bases de données sources (selon les préconisations éditeurs) et destination.
Pour l’ETL, diverses actions en collaboration avec nos administrateurs systèmes et réseaux afin d’assurer une efficience des ressources mises a dispositions (IOPS, RAM, CPU)