Kush's Wiki

BigQuery/

Storage Read API

#Data Engineering

BigQueryのテーブルデータをgRPCベースのプロトコルで高スループットに直読みする API。SQL クエリの実行を介さず、ストレージからストリームとして読み出す

  • スナップショット分離モデル: 全コンシューマが特定時点(デフォルトはセッション作成時点)のデータを読むため、読み取り中の書き込みに影響されない
  • ReadSession 作成時にサーバーがデータを複数ストリームへ分割し、並列に読み取れる。セッションは作成から最低 6 時間有効
  • 列の射影と行フィルタをサーバー側で適用でき、転送フォーマットは Apache Arrow または Avro
  • RPC フロー制御によりクライアントの消費速度に応じて送信が調整され、行オフセット指定で読み取りを再開できる