MAM4 Project: benchmarking

[ocots]

Welcome @AmielMetier and @HediChennoufi to MAM4 project! Let's start with some recommandations.

How to work:

• pick an issue,
• create a branch from the issue page,

• push your first commit (you need to clone or fork the repo) and make a PR that you convert to a draft,
• select a reviewer @ocots or @jbcaillau and mention the reviewer in a comment: "@ocots please make a review".

Important

See this PR to have an example: control-toolbox/OptimalControl.jl#652

Tip

• Developer guide
• Performance tips
• Julia in VSCode
• Documenter.jl
• Contributor's Guide on Collaborative Practices for Community Packages

[jbcaillau]

Point du 16/10/2025

@HediChennoufi @AmielMetier @ocots

• prévoir de générer des plots à partir des tableaux de bench (format JSON...) cf. par ex.
  https://control-toolbox.org/CTBenchmarks.jl/stable/benchmark-core.html#Ubuntu-Latest (et le JSON ici)
  https://arxiv.org/html/2510.12897v1
• performance profile : voir par ex. ces réfs
  https://tmigot.github.io/posts/2024/06/teaching/
  https://centaur.reading.ac.uk/74694/1/perform_toms.pdf
  https://github.com/JuliaSmoothOptimizers/BenchmarkProfiles.jl
• comparaison des problèmes d'optimisation utilisés pour le bench, voir https://jso.dev/NLPModelsTest.jl/dev/#NLPModelsTest.consistent_nlps
• tester un solver d'opti alternatif (à Ipopt / MadNLP) sur CPU : Uno.jl
• point hebdomadaire : jeudi 9:00-10:00, par défaut sur zoom

[jbcaillau]

Point du 23/10/2025

@HediChennoufi @AmielMetier @ocots TBC

[AmielMetier]

Rapport

---

Mise à Jour de la Documentation

La documentation de la branche est désormais affichée directement au sein des pull requests. Cette amélioration permet une révision plus facile et un meilleur suivi des modifications de la documentation.

Le code source de la documentation se trouve dans le fichier suivant : docs/src/benchmark-core.md.template.

---

Nouvelle Fonctionnalité

Une nouvelle fonction, _plot_result, a été ajoutée au fichier utils. Cette fonction est destinée à générer des graphiques à partir des résultats des benchmarks.

---

Données des Benchmarks

Il n'est pas nécessaire de relancer les benchmarks pour tester ou utiliser la nouvelle fonctionnalité de tracé. Toutes les données requises sont déjà disponibles dans le fichier data.json.

[ocots]

Point du 30/10/2025

@HediChennoufi @AmielMetier TBC

[AmielMetier]

• Ajouter les packages dans project.toml lorsqu'on en ajoute de nouveaux
• Séparer _plot_result et _print_result (comme dans Jupyter pour l'affichage par cellule)
• Créer une issue pour augmenter le nombre de tailles pour les benchmarks
• Essayer de réaliser un graphique où chaque point représente un problème et une instance
• Identifier un profil de performance typique
• Explorer d'autres méthodes de benchmarking
• Éventuellement simuler les données localement pour les tests

[ocots]

Idées :

• Il faudrait ajouter des instances en faisant varier la condition initiale, cela rendrait l'analyse plus pertinente. Cependant, pour cela, il faut mettre à jour notamment la fonction benchmark.

[jbcaillau]

Point du 06/11/2025

@AmielMetier @HediChennoufi @ocots

• rdv 9:00 sur zoom

[AmielMetier]

• Changer l'échelle en log base 2 (au lieu de log base 1).
• Regrouper les graphes par pair solver / model pour une meilleure lisibilité.
• Sur Moonshot, tracer deux courbes distinctes :
  • une pour GPU
  • une pour CPU
• Faire les courbes en fonction du nombre d'itérations.
• Si l'algorithme ne converge pas, afficher le temps comme +∞ (infinity).

[ocots]

Pour ne pas oublier pour la prochaine réunion.

• J'ai revu le calcul du profile de performance et j'ai ajouté une analyse rapide. C'est deux parties sont à vérifier et à compléter.
• J'ai crée un tableau plus synthétique. A vérifier en comparant avec le log que ce qui est affiché est correct.
• Pourquoi pas créer un Select element pour choisir le problème et on affiche le tableau du problème choisi pour rendre plus compacte la page.
• Une fois le tableau validé, on pourra enlever le log brut des benchmarks.
• Ajouter un affichage des 2 meilleurs (à choisir manuellement).
• Améliorer le choix des couleurs : il existe des palettes prédéfinies, notamment pour les daltoniens.

[jbcaillau]

Point du 20/11/2025

@AmielMetier @HediChennoufi @ocots

• post-analyse des résultats avec les nouvelles sorties dans la doc (notamment bien détecter les pb de convergence, les résultats erronés, en particulier sur GPU)
• faire le bench trapeze vs. midpoint (NB : modeller = ADNLP + exa, pas JuMP, dans ce cas)
• ajoût en cours de nouveaux problèmes, relancer ensuite les benchs [Dev] Exa and problems OptimalControlProblems.jl#136 (comment)
• ajoût du solveur Uno.jl https://github.com/control-toolbox/CTDirect.jl/issues/304#issuecomment-3457532497

[jbcaillau]

cc @PierreMartinon (idées sur tests supplémentaires avec bench bienvenues)

[jbcaillau]

@AmielMetier @HediChennoufi no comment!

[ocots]

Point du 27/11/2025

• Changer les problèmes de max en min dans OptimalControlProblems.jl : [Dev] Change max to min - for all problems OptimalControlProblems.jl#178
• Relancer les benchmarks sur GPU avec une tolérance à 1e-8 : [Bug] issue with max on GPU CTBenchmarks.jl#101
• Trouver une bonne palette de couleurs (le cyan est moche sur GPU). Voir ici.
• Ajouter un benchmark run bench core-midpoint. Voir la documentation. On fait les combos (:madnlp, :trapeze), (:madnlp, :midpoint), (:ipopt, :trapeze) et (:ipopt, :midpoint). Tous avec :exa comme modeleur.

[jbcaillau]

@AmielMetier @HediChennoufi bien noté que vous avez cours demain 9:00, on décale la visio à 17:00 : on attend votre confirmation

[AmielMetier]

Okay pas de problème pour nous 👌🏿.

[jbcaillau]

https://univ-cotedazur.zoom.us/my/caillau

[AmielMetier]

Point 04/12/2025

📋 Plan d'Action : Benchmarks & Analyse

🛠️ Code & Configuration

• Gestion du Steering :
  • Vérifier le fonctionnement.
  • Action : Si le steering ne marche pas, l'enlever ou le mettre en commentaire.
• Configuration Midpoint :
  • S'assurer que les 4 combinaisons pour Midpoint sont configurées avec exa.

📊 Visualisation et Analyse

• Comparaison des schémas :
  • Générer un graphique comparant les 4 schémas.
  • Contrainte : Tracer strictement une courbe par schéma.

🚀 Exécution des Benchmarks (Runs)

1. Comparatif Méthodes :
   • Lancer le bench : Midpoint vs Trapez.
2. Sweep Max to Min :
   • Ordre : Lancer sur GPU en priorité.
   • Réglage : Modifier la tolérance avant le lancement.

[AmielMetier]

#📝 Suivi de Projet : Récapitulatif & Planning##✅ Tâches accomplies (Semaine passée)Cette semaine a été consacrée à l'implémentation de benchmarks comparatifs et à l'ajustement de la logique interne.

• Benchmarking & Analyse :

• Ajout du benchmark comparatif : Midpoint (Point milieu) vs Trapez (Trapèzes).

• Documentation :

• Mise à jour de la documentation technique pour inclure la comparaison Midpoint vs Trapez.

• Correctifs & Paramétrage :

• Logique : Remplacement de la fonction max par min dans le code.

• Précision : Modification du seuil de tolérance.

---

##🎯 Objectifs (Cette semaine)L'accent sera mis sur le profilage de performance et la visualisation des données pour le cas "Exa".

• Profilage de performance :

• Réaliser le profil Midpoint vs Trapez spécifique au cas Exa.

• Génération des 4 courbes de performance associées.

• Comparaison de schémas :

• Comparer les 4 schémas pour la méthode Trapez.

• Production des 4 courbes comparatives.

---

[AmielMetier]

Pour jeudi normalement il n'y a pas de problème, juste, je donne des cours à Nice Est jusqu'à 16h donc je pourrais avoir un peu de retard en fonction du trafic pour arriver à Sophia.

[jbcaillau]

@AmielMetier c mieux en présentiel, mais on peut faire visio pour ne pas te / vous (@HediChennoufi ?) faire revenir à sophia. di(te)s nous

[AmielMetier]

Oui ça nous arrange pour cette fois merci

[jbcaillau]

OK : visio 17:00
https://univ-cotedazur.zoom.us/my/caillau

[AmielMetier]

Bonjour @jbcaillau et @ocots,
Meilleurs vœux pour la nouvelle année.
Pour la réunion de demain, est-elle prévue en présentiel ou en visioconférence ?

Merci d’avance.

[jbcaillau]

salut et meilleurs voeux à tous les deux ! rdv demain 9:00 sur le zoom habituel :
https://univ-cotedazur.zoom.us/my/caillau

[jbcaillau]

Point du 08/01/2026

@AmielMetier @HediChennoufi @ocots

Courtes notes du jour (complétez svp) :

• FTR config bench : voir https://control-toolbox.org/CTBenchmarks.jl/dev/add_benchmark.html
• config PP = (instance, combo, critère)
• ex. : instance = (problem, grid_size), combo = (modeller, solver, disc_method), critère = cpu time
• finaliser plot et analyse
• passer à OptimalControlProblems v0.4
• runner : passer sur KKT (on s'en occupe)
• revoir init (seuls 9 pb stables à l'instant),

[AmielMetier]

@jbcaillau @ocots de ce qu'on a vu avec hedi, tout a été fait au niveau de midpoint vs trapeze par @ocots sauf si on a oublié quelque chose, il faut qu'on s'occupe juste des inits c'est bien ça ?

[jbcaillau]

yes!

[HediChennoufi]

@jbcaillau @ocots Bonjour, avons nous une réunion demain jeudi ?

[ocots]

Bonjour, je pense que oui avec le zoom habituel.

[HediChennoufi]

29/01

Revoir les inits et commenter les problèmes à exclure qui ont été remis dans src/OptimalControlProblems.jl ⚠️⚠️
Relancer avec run core all depuis CTBenchMark depuis pr #194
Merge de la branche #195 dans main
Nouvelle release de OCP
Relance des bench sur Ubuntu-latest et KKT, enlever Moonshot de la doc de CTBenchMark

[ocots]

Banques de problèmes : control-toolbox/OptimalControlProblems.jl#92

On commence par https://openmdao.github.io/dymos/examples/examples.html dans l'ordre des problèmes présentés.

Pour ajouter un problème, voir https://github.com/control-toolbox/OptimalControlProblems.jl.

[jbcaillau]

@AmielMetier @HediChennoufi https://github.com/google-gemini/gemini-cli 🔥

[AmielMetier]

Bonsoir @jbcaillau @ocots demain la réunion est en présentiel ou en visio ?

[jbcaillau]

bonsoir @AmielMetier @HediChennoufi visio sur le zoom habituel

https://univ-cotedazur.zoom.us/my/caillau