Statistics.Gateway 1.0.57

Installation de Statistics.Gateway

Guide d'installation du middleware de monitoring Statistics dans un projet .NET 8.

1. Ajouter la reference NuGet

Ajouter la reference au projet Statistics.Gateway dans le .csproj du projet cible :

<ProjectReference Include="..\Statistics.Gateway\Statistics.Gateway.csproj" />

2. Configuration appsettings.json

La section StatisticsGatewayConfig est obligatoire. Elle contient la ConfigurationKey qui permet au middleware de recuperer sa configuration complete (seuils, quotas, sampling, verbes HTTP surveilles) depuis l'API Statistics au demarrage, puis de la recharger toutes les minutes.

{
  "StatisticsGatewayConfig": {
    "ConfigurationKey": "CPCD-xxxxxxxxxxxxxxxx-xxxxxxxxxxxxxxxx-xxxxxxxxxxxxxxxx-xxxxxxxxxxxxxxxx",
    "Url": "https://statistics.api.test.capcod.cloud",
    "ApiKey": "00000000-0000-0000-0000-000000000000",
    "Env": "Production"
  }
}

Note : si ConfigurationKey est absente ou vide, le middleware demarre mais ne collecte rien (la configuration distante est necessaire pour activer l'interception).

3. Enregistrement des services (Program.cs)

using Statistics.Gateway;

// Enregistre tous les services de la gateway Statistics
builder.Services.AddStatisticsGateway(builder.Configuration);

Cet appel enregistre automatiquement :

4. Brancher le middleware HTTP

var app = builder.Build();

// Active l'interception des requetes HTTP entrantes
app.UseStatisticsGateway();

Le middleware intercepte chaque requete HTTP pour :

• Capturer les metadonnees (path, method, headers, payload POST)
• Verifier si l'endpoint est marque [Obsolete]
• Masquer automatiquement les donnees sensibles (password, token, apikey, authorization, etc.)
• Mesurer la duree d'execution, le status code et la taille de la reponse
• Appliquer les filtres (verbe HTTP, seuil de duree, seuil de taille, ratio de sampling)
• Envoyer les traces via SQS (queue Statistics-calls) si les filtres sont passes

Filtrage des appels

Un appel est enregistre uniquement si toutes ces conditions sont remplies :

1. Le quota HTTP n'est pas atteint
2. Le verbe HTTP est surveille (configurable, tous par defaut)
3. La duree depasse le seuil configure (HttpConfig.DurationThresholdMs)
4. La taille de reponse depasse le seuil configure (HttpConfig.SizeThresholdBytes), si applicable
5. Le sampling passe (ratio 0-100%, 100% = tout capturer)

5. Brancher l'intercepteur SlowQuery sur le DbContext

var cs = builder.Configuration.GetConnectionString("Main");
builder.Services.AddDbContext<MonDbContext>((sp, opt) =>
    opt.UseNpgsql(cs).UseStatisticsSlowQueryInterceptor(sp));

L'intercepteur capture les commandes SQL executees par EF Core :

• Mesure la duree de chaque commande
• Inline les parametres SQL dans la requete capturee
• Filtre selon le seuil configure (SqlConfig.DurationThresholdMs, defaut 200ms)
• Verifie le quota SQL et le ratio de sampling
• Envoie dans la queue SQS Statistics-slow-queries
• Capture un stack trace filtre (exclut les namespaces Microsoft/System/Npgsql/Infinity)

Note : si le projet configure deja le DbContext avec AddDbContext, il suffit d'ajouter .UseStatisticsSlowQueryInterceptor(sp) a la chaine existante. Penser a utiliser la surcharge (sp, opt) => pour avoir acces au IServiceProvider.

Exemple complet (Program.cs)

using Statistics.Gateway;

var builder = WebApplication.CreateBuilder(args);

// Services
builder.Services.AddControllers();
builder.Services.AddStatisticsGateway(builder.Configuration);

var cs = builder.Configuration.GetConnectionString("Main");
builder.Services.AddDbContext<MonDbContext>((sp, opt) =>
    opt.UseNpgsql(cs).UseStatisticsSlowQueryInterceptor(sp));

var app = builder.Build();

// Middleware
app.UseStatisticsGateway();
app.MapControllers();

app.Run();

Architecture : communication Gateway → API

La gateway ne communique jamais directement avec la base de donnees Statistics. Les traces transitent par des queues SQS, et la configuration est chargee via le SDK HTTP :

[Projet consommateur]                        [Statistics API]

GatewayConfigurationLoader (toutes les 1 min)
  → SDK HTTP GET /gatewayconfiguration  →     → GatewayConfiguration + Quota

ApiEndpointScanner (au demarrage)
  → SDK HTTP POST /apiendpoint/sync     →     → Upsert endpoints

ApiEndpointCallMiddleware
  → queue SQS "Statistics-calls"        →     ApiEndpointCallWorker
                                                → INSERT/UPDATE ApiEndpointCall

SlowQueryInterceptor
  → queue SQS "Statistics-slow-queries" →     SlowQueryWorker
                                                → INSERT SlowQuery + quota

Configuration distante

La ConfigurationKey permet de recuperer depuis l'API Statistics :

Cette configuration est rechargee automatiquement toutes les minutes par le GatewayConfigurationLoader.

Donnees sensibles

Le middleware masque automatiquement les valeurs sensibles dans les payloads JSON et les headers HTTP. Les cles contenant les mots suivants sont remplacees par "***" :

password, passwd, pwd, token, secret, apikey, api_key, authorization, credential

Ce qui est collecte