S3 Performance e Multipart

Conceito

Limites de requisição

Por prefixo, por segundo:

• 3.500 PUT / COPY / POST / DELETE
• 5.500 GET / HEAD

Esses limites são por prefixo, e o número de prefixos é ilimitado. Distribuir as chaves em vários prefixos (2026/01/, 2026/02/…) multiplica o throughput linearmente. Hoje o S3 particiona automaticamente, mas a prova ainda cobra o conceito.

Multipart Upload

• Recomendado acima de 100 MB, obrigatório acima de 5 GB
• Sobe partes em paralelo, e uma parte que falha é reenviada sozinha
• Upload interrompido deixa partes cobrando → limpe com lifecycle "abort incomplete multipart upload"

Transfer Acceleration

O upload entra pela edge location mais próxima e viaja pelo backbone da AWS até o bucket. Ganho real quando cliente e bucket estão em continentes diferentes. Combina com multipart.

S3 Select e leitura parcial

• S3 Select: aplica SQL dentro do objeto (CSV, JSON, Parquet) e devolve só o subconjunto — reduz dado trafegado e custo.
• Byte-Range Fetch: baixa faixas do objeto em paralelo, ou só o cabeçalho.

Outras peças de performance

• S3 Bucket Keys: reduz chamadas ao KMS em bucket com SSE-KMS — corta custo e evita throttling.
• CloudFront na frente do S3: cacheia leitura repetida e aproxima do usuário.
• Consistência forte de leitura após escrita: desde 2020, para PUT, DELETE e LIST — sem espera. Alternativa que fala em "consistência eventual do S3" está desatualizada.

Trade-offs

Transfer Acceleration cobra a mais por GB e só compensa em distância grande — a AWS oferece uma ferramenta de comparação justamente porque nem sempre vale. S3 Select reduz transferência mas cobra por dado escaneado; em consulta analítica recorrente, Athena costuma ser melhor.

Pra volume muito grande de dados a transferir, nenhuma otimização de rede vence o cálculo simples: se levaria mais de uma semana pela internet, use Snow Family.

Sinais de prova

• "Upload de arquivo de 20 GB" → multipart obrigatório
• "Upload lento de outro continente" → Transfer Acceleration
• "Custo do KMS alto com S3" → S3 Bucket Keys
• "Extrair poucas colunas de CSV grande" → S3 Select
• "Melhorar throughput de leitura" → mais prefixos ou CloudFront
• "Partes de upload cobrando sem arquivo final" → lifecycle de abort multipart
• "Petabytes pra migrar" → Snowball, não a rede

Relacionado

• Classes de Armazenamento S3
• S3 Lifecycle e Versionamento
• CloudFront
• Transferência de Dados em Massa

---

Parte de 04 - MOC Armazenamento S3 · Documentação AWS