✓ Sobreviveu 1º de 18 propostasIndie Dados 20 de out. de 2026

Auditorias de backtest à prova de vazamento para modelos de séries temporais

Auditorias independentes de contaminação e vazamento de dados para que times de energia e finanças possam confiar em backtests de foundation models de séries temporais em zero-shot.

Abrir a discussão ↗

Um briefing pronto para colar no Claude Code, Cursor ou qualquer agente de programação (em inglês).

I want to build a small, bootstrappable product. Help me plan and start the MVP.

Product: Leakage-proof backtest audits for time-series models
What it is: Independent contamination and leakage audits so energy and finance teams can trust zero-shot time-series foundation model backtests.
Who pays: Heads of forecasting / quant researchers at energy trading firms, utilities, and macro pods adopting TSFMs — $10–50k per audit engagement or $1–5k/mo for a continuous evaluation subscription, from the model-validation budget.
Closest alternatives: GIFT-Eval / TIME / fev-bench public leaderboards (static, self-reported, can't r, In-house backtesting scripts built by each quant team, Nixtla utilsforecast / Darts evaluation utilities (metrics only, no contaminatio, Model vendors' own published benchmark reports
The gap: Leaderboards are one-off, public, and vendor-submitted; none can prove a foundation model's pretraining corpus did not contain the buyer's evaluation period, and none offer signal-to-noise-stratified evaluation on a customer's proprietary series. Each firm currently rebuilds this validation alone with no way to resolve the leakage question.
Why now: TSFMs trained on opaque web-scale corpora (Timestral, TimesFM-3, Chronos-2) only reached production-grade adoption in the last year, and comments show finance and energy teams migrating now — the train/test contamination risk is a new problem created by this model class.
Moat to build toward: Continuously generated post-cutoff evaluation series plus canary/honeypot series planted in public data sources compound over time; audit reputation and a growing corpus of verified-clean benchmarks are hard to replicate quickly.
Biggest risk: Model vendors preempt the market by publishing training-data manifests or timestamped clean-eval guarantees, making third-party audits seem unnecessary.

First three steps:
1. Build a contamination-detection harness: canary series probes and membership-inference-style tests run against Timestral, Chronos-2, TimesFM and TimeGPT via their public APIs/weights.
2. Assemble rolling, post-cutoff evaluation datasets for three verticals (power prices, macro series, retail demand) with signal-to-noise stratified test suites.
3. Publish free audit reports on the major TSFMs to build credibility, then sell paid audits on customers' proprietary series plus a subscription for re-validation on each model update.

Start by asking me up to five questions about constraints (stack, budget, timeline), then propose the smallest version a paying customer would use, and scaffold it.

Geral6.0/10

Dor6

Disposição a pagar6

Momento7

Lacuna6

Fosso5

Viabilidade6

A favor

Quem paga

Heads de forecasting e quant researchers em trading de energia, utilities e macro pods que adotam TSFMs. De US$ 10 mil a US$ 50 mil por engagement de auditoria, ou de US$ 1 mil a US$ 5 mil por mês em assinatura de avaliação contínua, a partir do orçamento de validação de modelos.

O que as pessoas disseram · 4

Um previsor de preços de energia afirma que não tem como saber se os dados de treinamento da Mistral vazam para o período do seu backtest, o que torna impossível a validação out-of-sample de um TSFM no seu domínio. Ler o comentário ↗
Argumenta que modelos de previsão deveriam ser testados em processos geradores de dados com relações sinal-ruído conhecidas e variáveis, caso contrário todo modelo parece SOTA e a habilidade real não pode ser medida. Ler o comentário ↗
Aponta que, com apenas um universo observado, modelos de previsão ficam inevitavelmente sobreajustados a ele, e é por isso que ninguém confia de fato nas avaliações de modelos de previsão. Ler o comentário ↗
Um head de macro diz que o seu pod está migrando para esse modelo, o que mostra que já há dinheiro real fluindo para modelos adotados cujos backtests não podem ser confiáveis. Ler o comentário ↗

Parafraseado da discussão. Siga os links para ler os comentários originais.

Concorrentes e lacuna

GIFT-Eval / TIME / fev-bench public leaderboards (static, self-reported, can't rIn-house backtesting scripts built by each quant teamNixtla utilsforecast / Darts evaluation utilities (metrics only, no contaminatioModel vendors' own published benchmark reports

Os leaderboards são pontuais, públicos e enviados pelos próprios fornecedores. Nenhum consegue provar que o corpus de pré-treinamento de um foundation model não contém o período de avaliação do comprador, e nenhum oferece avaliação estratificada por relação sinal-ruído sobre as séries proprietárias do cliente. Cada empresa refaz essa validação sozinha, sem meio de resolver a questão do vazamento.

Por que agora

TSFMs treinados em corpora opacos de escala web (Timestral, TimesFM-3, Chronos-2) só atingiram adoção em nível de produção no último ano, e comentários mostram times de finanças e energia migrando agora. O risco de contaminação entre treino e teste é um problema novo, criado por essa classe de modelos.

Fosso · 5/10

Séries de avaliação pós-corte geradas continuamente e séries canário/honeypot plantadas em fontes públicas de dados se acumulam com o tempo. A reputação de auditoria e um corpus crescente de benchmarks verificados como limpos são difíceis de replicar rapidamente.

Contra

Time vermelho: O problema de contaminação é genuinamente novo, não pode ser resolvido por empresas isoladas, e os orçamentos de validação de modelos em trading firms facilmente comportam US$ 10 mil a US$ 50 mil por engagement. O principal risco é que isso seja uma consultoria boutique, e não um produto escalável.
O que a faria fracassar: Fornecedores de modelos antecipam o mercado publicando manifestos de dados de treinamento ou garantias de avaliação limpa com timestamp, fazendo auditorias de terceiros parecerem desnecessárias.

Começar

Primeiros três passos: Construir um harness de detecção de contaminação: sondas com séries canário e testes no estilo membership inference executados contra Timestral, Chronos-2, TimesFM e TimeGPT por meio de suas APIs públicas ou pesos.
Montar datasets de avaliação rolantes e pós-corte para três verticais (preços de energia, séries macro e demanda de varejo), com suítes de teste estratificadas por relação sinal-ruído.
Publicar relatórios de auditoria gratuitos sobre os principais TSFMs para ganhar credibilidade, e então vender auditorias pagas sobre as séries proprietárias dos clientes, mais uma assinatura para revalidação a cada atualização de modelo.
Discussão original: Timestral: Mistral's time-series foundation models ↗ 613 pontos118 comentáriosDos comentáriosArtigo vinculado

Traduzido do inglês. Ler o original