Os municípios subiram mais do que subiriam sozinhos?

Em 2025 o Ideb subiu em quase todo o Brasil, e é justamente por isso que o antes-e-depois dos municípios do projeto não responde nada sozinho: não haveria como separar o efeito do programa da maré nacional. Esta aba mostra como a pergunta foi respondida — e, com igual destaque, quanto se pode afirmar com os dados de hoje.

Como se mede, em uma página

1. O município-espelho

Para cada município do projeto, os três mais parecidos com ele em 2019 — o retrato anterior à entrada de qualquer turma. Parecidos em sete características: Ideb, PIB, matrículas, gasto por aluno, taxa de aprovação, distorção idade-série e região.

As sete entram num escore de propensão, mas ele sozinho aproxima coisas distintas — as diferenças se compensam. Por isso há um limite: só disputa a vaga quem estiver a menos de 1 ponto de Ideb, dentro de três vezes o porte da rede e a meio desvio padrão na distorção idade-série.

2. A comparação

Uma regressão de diferenças em diferenças com efeitos fixos de município e de ano. Ela desconta tudo que é permanente de cada município e tudo que aconteceu com o país em cada ano; o que sobra é a diferença de trajetória entre os dois grupos.

3. A incerteza

O erro padrão é agrupado por município, porque os anos de um mesmo município não são observações independentes. Daí sai o intervalo de 95% — que é o que deve ser comunicado, e não o número central sozinho.

Nenhum projeto vira espelho de outro

Município de qualquer turma do Centro Lemann fica fora do grupo de comparação. Se entrasse, seria projeto contra projeto — e apagaria o efeito que se quer medir.

2021 e 2023 ficam de fora

2021 é a edição da pandemia, em que o Ideb caiu no país inteiro por razões alheias à gestão de rede. 2023 é o ano de entrada das duas turmas — nem antes, nem depois.

Sete desfechos, não só o Ideb

Ideb, as duas notas do Saeb, aprovação, reprovação, abandono e distorção idade-série. Um Ideb que sobe porque a rede passou a aprovar quem não aprendeu não é vitória — e esse jogo aparece nos indicadores de fluxo.

O que foi medido 7 indicadores em 4 recortes · nenhum distinguível de zero · clique para abrir

Cada bloco é uma turma numa etapa. O impacto está na unidade do próprio indicador: pontos de Ideb, pontos na escala do Saeb, pontos percentuais nas taxas.

T22 — anos iniciais

44 municípios · 132 espelhos · base 2019

Indicador	Impacto	Intervalo de 95%	p
Ideb	+0,32*	−0,03 a +0,67	0,070
Saeb Matemática	+8,15	−2,34 a +18,64	0,127
Saeb Português	+7,82*	−1,46 a +17,09	0,098
Taxa de aprovação (%)	+0,86	−1,22 a +2,94	0,416
Taxa de reprovação (%)	−0,59	−1,91 a +0,74	0,384
Taxa de abandono (%)	−0,09	−0,55 a +0,37	0,688
Distorção idade-série (%)	−0,53	−2,43 a +1,37	0,580

*** p < 0,01 · ** p < 0,05 · * p < 0,10. Sem estrela, o intervalo cruza o zero: não dá para distinguir o efeito de acaso.

T22 — anos finais

36 municípios · 108 espelhos · base 2019

Indicador	Impacto	Intervalo de 95%	p
Ideb	+0,18	−0,21 a +0,57	0,371
Saeb Matemática	+5,46	−7,38 a +18,30	0,402
Saeb Português	+2,99	−5,90 a +11,88	0,507
Taxa de aprovação (%)	+1,01	−1,93 a +3,96	0,498
Taxa de reprovação (%)	+0,47	−1,31 a +2,26	0,600
Taxa de abandono (%)	−0,53	−1,50 a +0,44	0,283
Distorção idade-série (%)	−0,62	−3,55 a +2,31	0,676

*** p < 0,01 · ** p < 0,05 · * p < 0,10. Sem estrela, o intervalo cruza o zero: não dá para distinguir o efeito de acaso.

T23 — anos iniciais

20 municípios · 60 espelhos · base 2019

Indicador	Impacto	Intervalo de 95%	p
Ideb	+0,14	−0,27 a +0,56	0,495
Saeb Matemática	+5,29	−6,27 a +16,85	0,365
Saeb Português	+3,68	−6,58 a +13,93	0,478
Taxa de aprovação (%)	−0,63	−3,64 a +2,39	0,681
Taxa de reprovação (%)	+0,16	−1,78 a +2,10	0,871
Taxa de abandono (%)	−0,29	−0,93 a +0,36	0,378
Distorção idade-série (%)	+0,39	−2,69 a +3,47	0,801

*** p < 0,01 · ** p < 0,05 · * p < 0,10. Sem estrela, o intervalo cruza o zero: não dá para distinguir o efeito de acaso.

T23 — anos finais

16 municípios · 48 espelhos · base 2019

Indicador	Impacto	Intervalo de 95%	p
Ideb	+0,21	−0,12 a +0,54	0,214
Saeb Matemática	+2,89	−9,64 a +15,42	0,647
Saeb Português	+1,98	−7,91 a +11,88	0,690
Taxa de aprovação (%)	+2,31	−2,17 a +6,79	0,306
Taxa de reprovação (%)	−1,74	−5,03 a +1,56	0,297
Taxa de abandono (%)	+0,31	−0,86 a +1,48	0,599
Distorção idade-série (%)	−2,49	−6,28 a +1,31	0,195

*** p < 0,01 · ** p < 0,05 · * p < 0,10. Sem estrela, o intervalo cruza o zero: não dá para distinguir o efeito de acaso.

O efeito ano a ano

Ideb Saeb Matemática Saeb Português Taxa de aprovação (%) Taxa de reprovação (%) Taxa de abandono (%) Distorção idade-série (%)

Cada linha é uma turma, e o que ela marca em cada ano é o quanto aquela turma estava acima ou abaixo dos seus municípios-espelho — não o Ideb dela. Zero quer dizer "andando junto com os espelhos"; acima de zero, à frente deles.

Tudo é medido em relação a 2019, a última edição antes da pandemia e antes de qualquer turma entrar. Por isso as duas linhas passam exatamente por zero em 2019: ali não há diferença por definição, é o ponto de partida da conta e não um resultado.

À esquerda de 2019 está o que valida a comparação. São anos em que nenhuma turma havia entrado ainda: se as linhas ficam perto de zero, os dois grupos vinham andando juntos e a diferença que aparecer depois é atribuível ao programa. Se já se separavam antes, o que vem depois é herança, não efeito. À direita está o resultado — a distância que se abriu até 2025.

Anos Iniciais

Anos Finais

2021 e 2023 não aparecem porque foram excluídos do painel — a edição da pandemia e o ano de entrada das turmas. Reprovação, abandono e distorção idade-série só existem a partir de 2015, então nesses indicadores o período anterior é mais curto.

Os testes que poderiam derrubar o resultado todos aprovados · clique para abrir

Tendências paralelas

Testa se as diferenças entre os grupos nos anos anteriores a 2019 são conjuntamente zero. Se não forem, os dois grupos já vinham se separando antes de o programa existir, e parte do que se mede depois é herança disso. p-valor alto é boa notícia.

Placebo

Usa só o período anterior ao projeto e finge que ele começou em 2017 — ano em que os municípios comprovadamente não tinham apoio do Centro Lemann. Como não houve tratamento nenhum, o efeito medido tem de dar zero. Se der diferente, o desenho está captando outra coisa. p-valor alto é boa notícia.

Turma e etapa	Teste	Indicador	p-valor	Leitura
T22 — anos iniciais	Placebo tratamento falso em 2017	Ideb	0,2906	Nenhum efeito no tratamento falso, como se espera
T22 — anos iniciais	Tendências paralelas 2005, 2007, 2009, 2011, 2013, 2015, 2017	Ideb	0,0689	Trajetória paralela antes do projeto
T22 — anos iniciais	Tendências paralelas 2005, 2007, 2009, 2011, 2013, 2015, 2017	Saeb Matemática	0,2966	Trajetória paralela antes do projeto
T22 — anos iniciais	Tendências paralelas 2005, 2007, 2009, 2011, 2013, 2015, 2017	Saeb Português	0,1124	Trajetória paralela antes do projeto
T22 — anos finais	Placebo tratamento falso em 2017	Ideb	0,6102	Nenhum efeito no tratamento falso, como se espera
T22 — anos finais	Tendências paralelas 2005, 2007, 2009, 2011, 2013, 2015, 2017	Ideb	0,2839	Trajetória paralela antes do projeto
T22 — anos finais	Tendências paralelas 2005, 2007, 2009, 2011, 2013, 2015, 2017	Saeb Matemática	0,8864	Trajetória paralela antes do projeto
T22 — anos finais	Tendências paralelas 2005, 2007, 2009, 2011, 2013, 2015, 2017	Saeb Português	0,8228	Trajetória paralela antes do projeto
T23 — anos iniciais	Placebo tratamento falso em 2017	Ideb	0,6560	Nenhum efeito no tratamento falso, como se espera
T23 — anos iniciais	Tendências paralelas 2005, 2007, 2009, 2011, 2013, 2015, 2017	Ideb	0,6536	Trajetória paralela antes do projeto
T23 — anos iniciais	Tendências paralelas 2005, 2007, 2009, 2011, 2013, 2015, 2017	Saeb Matemática	0,3973	Trajetória paralela antes do projeto
T23 — anos iniciais	Tendências paralelas 2005, 2007, 2009, 2011, 2013, 2015, 2017	Saeb Português	0,2459	Trajetória paralela antes do projeto
T23 — anos finais	Placebo tratamento falso em 2017	Ideb	0,4464	Nenhum efeito no tratamento falso, como se espera
T23 — anos finais	Tendências paralelas 2005, 2007, 2009, 2011, 2013, 2015, 2017	Ideb	0,7230	Trajetória paralela antes do projeto
T23 — anos finais	Tendências paralelas 2005, 2007, 2009, 2011, 2013, 2015, 2017	Saeb Matemática	0,6028	Trajetória paralela antes do projeto
T23 — anos finais	Tendências paralelas 2005, 2007, 2009, 2011, 2013, 2015, 2017	Saeb Português	0,5239	Trajetória paralela antes do projeto

O pareamento ficou equilibrado? pior diferença padronizada: 0,26 · clique para abrir

Depois de escolher os espelhos, é preciso conferir se os dois grupos ficaram de fato parecidos em cada característica. A diferença padronizada mede isso: abaixo de 0,10 o grupo é bem balanceado; até 0,25 ainda é aceitável.

Turma e etapa	Característica	Tratados	Espelhos	Dif. padronizada	Leitura
T22 — anos iniciais	Região — Sudeste	0,07	0,10	−0,119	Balanceamento aceitável
T22 — anos iniciais	Região — Nordeste	0,50	0,45	+0,090	Bem balanceado
T22 — anos iniciais	PIB municipal (log)	13,14	13,07	+0,058	Bem balanceado
T22 — anos iniciais	Taxa de aprovação	93,70	93,34	+0,049	Bem balanceado
T22 — anos iniciais	Matrículas na rede (log)	8,87	8,85	+0,019	Bem balanceado
T22 — anos iniciais	Ideb	5,74	5,72	+0,019	Bem balanceado
T22 — anos iniciais	Região — Norte	0,25	0,26	−0,017	Bem balanceado
T22 — anos iniciais	Gasto por aluno (log)	9,03	9,03	+0,012	Bem balanceado
T22 — anos iniciais	Distorção idade-série	13,95	14,01	−0,006	Bem balanceado
T22 — anos iniciais	Região — Sul	0,07	0,07	0,000	Bem balanceado
T22 — anos finais	Região — Sul	0,00	0,00	—	Desbalanceado
T22 — anos finais	PIB municipal (log)	13,22	12,96	+0,198	Balanceamento aceitável
T22 — anos finais	Região — Nordeste	0,61	0,54	+0,150	Balanceamento aceitável
T22 — anos finais	Região — Norte	0,19	0,25	−0,138	Balanceamento aceitável
T22 — anos finais	Matrículas na rede (log)	9,10	8,96	+0,136	Balanceamento aceitável
T22 — anos finais	Gasto por aluno (log)	8,98	8,94	+0,117	Balanceamento aceitável
T22 — anos finais	Região — Sudeste	0,08	0,11	−0,099	Bem balanceado
T22 — anos finais	Taxa de aprovação	90,25	89,92	+0,037	Bem balanceado
T22 — anos finais	Ideb	4,84	4,86	−0,020	Bem balanceado
T22 — anos finais	Distorção idade-série	29,61	29,67	−0,004	Bem balanceado
T23 — anos iniciais	Região — Sul	0,00	0,00	—	Desbalanceado
T23 — anos iniciais	Gasto por aluno (log)	8,99	8,94	+0,222	Balanceamento aceitável
T23 — anos iniciais	Região — Nordeste	0,60	0,67	−0,133	Balanceamento aceitável
T23 — anos iniciais	PIB municipal (log)	12,77	12,61	+0,131	Balanceamento aceitável
T23 — anos iniciais	Taxa de aprovação	92,45	91,96	+0,095	Bem balanceado
T23 — anos iniciais	Região — Sudeste	0,05	0,03	+0,075	Bem balanceado
T23 — anos iniciais	Região — Norte	0,30	0,27	+0,071	Bem balanceado
T23 — anos iniciais	Ideb	5,16	5,12	+0,040	Bem balanceado
T23 — anos iniciais	Matrículas na rede (log)	8,74	8,71	+0,032	Bem balanceado
T23 — anos iniciais	Distorção idade-série	16,26	16,25	+0,000	Bem balanceado
T23 — anos finais	Região — Sul	0,00	0,00	—	Desbalanceado
T23 — anos finais	Região — Norte	0,19	0,08	+0,258	Desbalanceado
T23 — anos finais	Região — Nordeste	0,75	0,85	−0,233	Balanceamento aceitável
T23 — anos finais	Ideb	4,31	4,22	+0,120	Balanceamento aceitável
T23 — anos finais	Gasto por aluno (log)	8,95	8,93	+0,115	Balanceamento aceitável
T23 — anos finais	PIB municipal (log)	12,88	12,79	+0,066	Bem balanceado
T23 — anos finais	Taxa de aprovação	86,96	86,72	+0,025	Bem balanceado
T23 — anos finais	Matrículas na rede (log)	8,94	8,96	−0,019	Bem balanceado
T23 — anos finais	Distorção idade-série	33,72	33,50	+0,015	Bem balanceado
T23 — anos finais	Região — Sudeste	0,06	0,06	0,000	Bem balanceado

MGP e MAV-RS: a linha de largada

As duas turmas entraram em 2025 — o Ideb 2025 é o ponto de partida delas, não o resultado. Não há efeito para medir ainda. O que dá para fazer, e é o mais útil, é o diagnóstico: de onde partem e em que velocidade vinham andando sozinhas. A linha tracejada projeta 2027 mantendo o ritmo histórico de cada grupo.

O que já dá para afirmar, e o que não dá

O resultado que se sustenta

Nenhum recorte reúne, hoje, as quatro condições: efeito positivo, distinguível de zero, sem ressalva nos testes e com o pareamento bem balanceado. Mas os 4 recortes têm efeito positivo, de +0,14 a +0,32 ponto de Ideb.

E nenhum deles reprova em teste algum — tendências paralelas e placebo passam nas 4 rodadas. O que falta é precisão, não sinal: com algumas dezenas de municípios por turma, o intervalo de confiança é largo o bastante para incluir o zero mesmo quando o efeito medido é positivo.

O que pede cautela

Nenhum recorte falhou nos testes desta vez — foi preciso apertar o pareamento até aqui para chegar a isso. O que pede cautela agora é o oposto do usual: não há resultado frágil a sinalizar, há faixas largas demais para afirmar tamanho. O balanceamento mais folgado do conjunto está em 0,26 de diferença padronizada — acima do limite de 0,25 que caracteriza pareamento aceitável, ainda que numa covariável só.

Recomendado ao comunicar

Evite citar município por município como prova. Mesmo depois do limite de semelhança, o município mediano tem entre 200 e 370 candidatos igualmente elegíveis a espelho — os três que saíram são um sorteio entre eles, e trocar um só já moveu o efeito de um recorte inteiro em rodadas anteriores. Os casos servem para ilustrar mecanismo, não para medir tamanho.