効率的なデータの保存と取得のために設計された、オープンソースの列指向データファイルフォーマット（公式には "an open source, column-oriented data file format"）。列単位の配置により、分析クエリで必要な列だけを読み取れる
- 高性能な圧縮・エンコーディング方式を備え、複雑なデータの一括処理を扱える
- 多くのプログラミング言語・分析ツールでサポートされる
Apache Parquet
-
DuckDB/MySQL extension#Data Engineering DuckDBから稼働中のMySQLインスタンスへ直接データを読み書きするための拡張。ATTACH に key-value 形式の接続文字列（host / user / port / database など）を渡して接続する INSERT / UPDATE / DELETE / CREATE TABLE などの書き込み操作に対応し、READ_ONLY オプションで読み取り専用にもできる CREATE TABLE ... AS FROM <db>.<table> で MySQL テーブルを DuckDB 側へ複製でき、COPY ステートメントでParquet形式へ直接エクスポートできる 認証情報は環境変数（MYSQL_HOST など）や secrets 機能で管理できる MySQL 側の DDL はトランザクション非対応。別接続でスキーマ変更した場合は mysql_clear_cache 関数でキャッシュを更新する https://duckdb.org/docs/current/core_extensions/mysql
-
OpenObserveO2 #Observability #Cloud Native ログ、メトリクス、分散トレースを統合するオープンソースのオブザーバビリティプラットフォーム Rustで実装されており、Apache ParquetによるカラムナーストレージでElasticsearch比約140倍のストレージコスト削減を実現する。OpenTelemetryをネイティブサポートしている https://openobserve.ai/