Tecnologias/04 - Armazenamento de Objetos/03 - Apache Iceberg1 minmoc
MOC Apache Iceberg
Apache Iceberg
Apache Iceberg é um formato aberto de tabela para grandes conjuntos de dados. Seus metadados definem quais arquivos compõem cada versão da tabela e permitem evolução de schema, particionamento e leitura consistente entre motores compatíveis.
As camadas
| Camada | Exemplo | Papel |
|---|---|---|
| Armazenamento | S3, R2 | Conservar objetos |
| Arquivo | Parquet | Organizar colunas, páginas e estatísticas |
| Tabela | Iceberg | Definir schema, arquivos, snapshots e alterações |
| Catálogo | Glue, catálogo REST | Localizar tabelas e coordenar publicação de metadados |
| Motor | Spark, DuckDB, ClickHouse | Planejar e executar operações suportadas |
O suporte varia entre motores: conseguir ler uma tabela não significa conseguir escrever todas as versões do formato ou aplicar qualquer tipo de exclusão.
Relacionado: 0. MOC Amazon S3 · 0. MOC Cloudflare R2 · 04 - MOC Bancos Colunares.
Aprofundamento
-
4. Iceberg no S3 e no R2 - Catálogos e Motores — responsabilidades, compatibilidade, migração e exercício de integração.
-
3. Iceberg - Time Travel, Deletes e Manutenção — snapshots, copy-on-write, merge-on-read e limpeza segura.
-
2. Iceberg - Schema e Particionamento Oculto — identificadores de campos, transformações e evolução sem reescrever tudo.
-
1. Iceberg por Dentro - Metadados, Snapshots e Commits — arquivos de dados, manifests, catálogo e publicação atômica.
Parte de Armazenamento de Objetos