2023-01-01から1年間の記事一覧

データ基盤の本の紹介と比較(データ基盤書籍のマッピング)

目次 はじめに データ基盤関連の書籍の整理 データ基盤書籍のマッピング 個別の書籍紹介 実践的データ基盤への処方箋 データマネジメントが30分でわかる本 DXを成功に導くデータマネジメント エンジニアのためのデータ分析基盤入門 Google Cloudではじめるデ…

4日目:SQLの入門(書籍の紹介)とGA4のクエリの特徴

はじめに SQLの初心者向けの本 SQL初心者向けの本の選び方 SQL初心者向けの本の紹介 GA4特有のSQLのはなし ネストされたデータ (日付)シャーディングの扱い方 intradayテーブルへの対応 おわりに はじめに 今回はデータの抽出に欠かせないSQLについてみてい…

3日目:GCPの基礎/BQの基礎

はじめに GCPに関して GCPのイメージ GCPの構造 BigQueryの権限 IAMについて BigQueryの料金 分析料金について ストレージ料金について おわりに はじめに 今回はBigQueryとそれを含むGoogle Cloud Platform(以下GCP)のツール面に注目してみていく。具体的に…

2日目:GA4×BQの接続やデータの構造

目次 はじめに GA4とBigQueryの連携 GA4とBigQueryの連携について GA4とBigQueryのポイント ポイント1:無料枠のデータの有効期間 ポイント2:課金の有効化 ポイント3:プロジェクトの組織間の移管 BigQueryの見方 画面構成 GA4データのテーブルの特徴 おわ…

1日目:アドベントカレンダーの全体像

目次 はじめに 記事のねらい 今後の公開スケジュール ブログについて おわりに はじめに 1日目のこの記事では今後の記事をまとめたものとなっている。特に「記事のねらい」の段落では、今回のアドベントカレンダーの企画意図を説明しており、「今後の公開ス…

Fundamentals of Data Engineering 輪読会資料 第9回分 20230611開催

①前書き chpater2の「Major Undercurrents Across the Data Engineering Lifecycle」と chapter4の文章を踏まえた内容になっている。 chapter4の関係箇所 ・3rdパーティ:ベンダーが責任をもつが、ブラックボックス↔OSS:自己責任 ・Monolith:変更の影響範…

Fundamentals of Data Engineering 輪読会資料 第4回分 20230508開催

①担当箇所の要約 【データアーキテクチャの例と種類】 自分にとって最適的なアーキテクチャを考える上でいくつかの例を見る。 【データウェアハウス】 <導入> ・一番有名なアーキテクチャ。・Inmonによって考案された。 ➡定義は青木峰郎著『10年戦えるデータ…