Apache Iceberg

#Data Engineering

分析データセット向けのオープンテーブルフォーマット（公式には "The open table format for analytic datasets"）。オブジェクトストレージ上のデータファイルに SQL テーブルの信頼性とシンプルさをもたらす仕様で、Spark・Trino・Flink・Hive など複数のエンジンが同一テーブルへ同時アクセスできる

スキーマ進化: 列の追加・リネーム・並べ替えを安全に行える（zombie data を発生させない）
隠蔽パーティショニング: 行からのパーティション値生成をテーブル側が担い、不要なパーティションの読み取りをスキップする
タイムトラベル: 同一スナップショットを参照する再現可能なクエリ
MERGE INTO / UPDATE / DELETE と、ファイルレイアウト最適化（コンパクション）に対応

Fetching description...

BigQuery

#Data Engineering Google Cloud上で提供されるフルマネージドのデータプラットフォーム（公式には "a fully managed, AI-ready data platform"）。機械学習・検索・地理空間分析・BI などの機能を組み込みで持ち、サーバーレスアーキテクチャによりインフラ管理なしで SQL や Python から分析できるストレージとコンピュートが分離されており、ペタビットスケールのネットワークで接続された 2 層が互いのパフォーマンスに影響を与えず独立にリソースを割り当てる ANSI 標準 SQL（ISO/IEC 9075 サポート）と Python API（BigQuery DataFrames）を備え、コンソール・bq CLI・クライアントライブラリ・ODBC/JDBC ドライバから利用できるストレージは分析クエリに最適化された列指向フォーマットで、自動的にレプリケーションされるオープンテーブルフォーマットとして Apache Iceberg・Delta Lake・Apache Hudi をサポートし、顧客所有の Cloud Storage バケット上のデータも扱える https://docs.cloud.google.com/bigquery/docs/introduction
DuckDB/

Iceberg extension

#Data Engineering DuckDBにApache Icebergオープンテーブルフォーマットのサポートを実装する拡張。初回使用時に自動でインストール・ロードされる 2 つのモードを持つ: テーブルのメタデータを直接指す読み取り専用アクセス（カタログ不要）と、Iceberg REST catalog への ATTACH によるカタログ管理テーブルアクセス（フル機能）対応カタログとして Amazon S3 Tables・AWS Glue・Cloudflare R2・Polaris・Lakekeeper・BigLake が挙げられ、オブジェクトストレージへは httpfs / azure 拡張と連携してアクセスする v1.5.3（2026-05）で MERGE INTO・ALTER TABLE・パーティション変換・Iceberg V3 サポートが追加された https://duckdb.org/docs/current/core_extensions/iceberg/overview