Skip to content

🚀 [PERF] DB: amélioration des perfs #1541

New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Draft
wants to merge 2 commits into
base: main
Choose a base branch
from

Conversation

maxcorbeau
Copy link
Contributor

@maxcorbeau maxcorbeau commented Apr 17, 2025

🚀 Amélioration des perfs DB

Carte Notion/Mattermost/Sentry : 🚀 Amélioration des perfs DB

🗺️ contexte: utilisation de la donnée BAN/AE et compilation des modèles DBT = plusieurs 10GB de data à gérer

💡 quoi: amélioration de la performance PG

🎯 pourquoi: compilation des modèles DBT est ultra lente, très problablement à cause de swap incessants

🤔 comment:

🖼️ Illustration

Chargement config

✅ Vérifier que le fichier de conf est bien porté sur docker

docker exec -it lvao-db-1 bash -c 'grep shared_buffers /etc/postgresql/postgresql.conf'
shared_buffers = 6GB                 # ~25% of total RAM

✅ Vérifier que PG se lance bien et que la config est bien chargée

docker exec -it latest-lvao-db-1 bash -c 'psql -U qfdmo -d qfdmo -c "SHOW shared_buffers;"'
 shared_buffers 
----------------
 6GB
(1 row)

📊 Comparaison performances

Avant (config actuelle)

A faire

Après (nouvelle config)

A faire

✅ Reste à faire (PR en cours)

  • Résoudre le problème de la DB qui rejète les connections
  • Comparer les performances avant/après
  • Fine tune

📆 A faire (prochaines tâches)

  • Solutionner la partie cloud une fois qu'on a optimisé une config en locale

@maxcorbeau maxcorbeau added enhancement New feature or request performance labels Apr 21, 2025
@maxcorbeau maxcorbeau changed the title 🚀 Amélioration des perfs DB 🚀 [PERF] DB: amélioration des perfs Apr 21, 2025
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
enhancement New feature or request performance
Projects
None yet
Development

Successfully merging this pull request may close these issues.

1 participant