Data Processing
-
MapReduce#Data Processing Unixのプロセスと同様の特徴を持つ分散ファイルシステム上のバッチ処理フレームワーク。 MapReduceジョブは以下の2つに分かれる Mapper 分散ファイルシステムの各レコードからキーと値のコレクションを抽出する Reducer mapperによって生成されたキーと値のコレクションからコレクションに対するイテレータとともに関数を適用し出力レコードを適用する HadoopのMapReduce実装ではHDFS(Hadoop Destributed File System)と呼ばれる分散ファイルシステムが用いられる
-
レポーティングデータベース#Martin Fowler #Data Store #Data Processing アプリケーションのドメインモデルに対応するテーブルとは別にレポート目的の中間テーブルを用意することで、レポートの関心を分離してテーブルに変更を加えることができる。 ReportingDatabase
-
Amazon/Athena#Data Processing AWSのサーバーレスのインタラクティブな分析サービス、S3を中心に様々なデータソースを元にSQLでデータを抽出可能にする Amazon Athena とは - Amazon Athena
-
ETLExtract transform load #Data Processing ETL とは? - 抽出、変換、ロードの説明 - AWS
-
OLAPOnline Analytics Processing #Data Processing データ分析を目的として多次元データを扱うシステムに対して用いられる言葉
-
メッセージキュー#Data Processing イベントストリーム処理において、Pub/Subの間に配置されイベントをキューイングする役割。 基本としてイベントをコンシューマーと1対1でやりとりし処理が完了したらイベントが削除される実装がある。(Amazon SQS等) 対しログベースのメッセージキューはコンシューマーと1対Nでやり取りし古いイベントのリプレイも可能である。(Amazon Kinesis Stream等) メッセージキューとは何ですか?
-
Book/SRE サイトリライアビリティエンジニアリング
-
データ指向アプリケーションデザイン
-
GraphQL
-
Apache/Kafka#Data Processing イベントストリーミングプラットフォームのOSS イベントのPub/Sub、ストリーミングの保持を行う Apache Kafka