Google Cloud hat die Einführung von BigQuery-Tabellen für Apache Iceberg angekündigt, einer vollständig verwalteten, Apache Iceberg-kompatiblen Speicher-Engine von BigQuery mit Funktionen wie autonomen Speicheroptimierungen, Clustering und Streaming-Ingestion mit hohem Durchsatz. BigQuery-Tabellen für Apache Iceberg verwenden das Apache Iceberg-Format, um Daten in Cloud Storage-Buckets von Kunden zu speichern und bieten gleichzeitig eine ähnliche Kundenerfahrung und Funktionsumfang wie native BigQuery-Tabellen.
Ein interessanter Aspekt dieser Ankündigung ist die Fähigkeit von BigQuery-Tabellen für Apache Iceberg, die Einschränkungen von Open-Source-Tabellenformaten zu beheben. Mit BigQuery-Tabellen für Apache Iceberg übernimmt BigQuery selbstständig Tabellenwartungsaufgaben, ohne dass der Kunde eingreifen muss.
Beispielsweise werden optimale Dateigrößen adaptiv basierend auf der Größe der Tabelle ermittelt. BigQuery-Tabellen für Apache Iceberg profitieren von über einem Jahrzehnt Erfahrung im effizienten und kostengünstigen Betrieb der automatisierten Speicheroptimierung für native BigQuery-Tabellen.
Zusammenfassend lässt sich sagen, dass diese neue Lösung eine vielversprechende Lösung für die Datenverwaltung in einer Lakehouse-Umgebung darstellt und Kunden eine effizientere und kostengünstigere Möglichkeit bietet, ihre Daten zu speichern und zu verarbeiten.
