はじめに ネット上ではGA4のテーブルを集計するための様々なSQLが紹介されており、参考になる。ただし、記述内容は「コードの簡易さを求めたもの」あれば、「GA4のUI上で表示されるデータに値を極力近づけるもの」、「独自のルールで各種指標を定義したもの…
目次 はじめに データ基盤関連の書籍の整理 データ基盤書籍のマッピング 個別の書籍紹介 実践的データ基盤への処方箋 データマネジメントが30分でわかる本 DXを成功に導くデータマネジメント エンジニアのためのデータ分析基盤入門 Google Cloudではじめるデ…
はじめに SQLの初心者向けの本 SQL初心者向けの本の選び方 SQL初心者向けの本の紹介 GA4特有のSQLのはなし ネストされたデータ (日付)シャーディングの扱い方 intradayテーブルへの対応 おわりに はじめに 今回はデータの抽出に欠かせないSQLについてみてい…
はじめに GCPに関して GCPのイメージ GCPの構造 BigQueryの権限 IAMについて BigQueryの料金 分析料金について ストレージ料金について おわりに はじめに 今回はBigQueryとそれを含むGoogle Cloud Platform(以下GCP)のツール面に注目してみていく。具体的に…
目次 はじめに GA4とBigQueryの連携 GA4とBigQueryの連携について GA4とBigQueryのポイント ポイント1：無料枠のデータの有効期間 ポイント2：課金の有効化 ポイント3：プロジェクトの組織間の移管 BigQueryの見方 画面構成 GA4データのテーブルの特徴 おわ…
目次 はじめに 記事のねらい 今後の公開スケジュール ブログについて おわりに はじめに 1日目のこの記事では今後の記事をまとめたものとなっている。特に「記事のねらい」の段落では、今回のアドベントカレンダーの企画意図を説明しており、「今後の公開ス…
①前書き chpater2の「Major Undercurrents Across the Data Engineering Lifecycle」と chapter4の文章を踏まえた内容になっている。 chapter4の関係箇所 ・3rdパーティ：ベンダーが責任をもつが、ブラックボックス↔OSS：自己責任 ・Monolith：変更の影響範…
①担当箇所の要約 【データアーキテクチャの例と種類】 自分にとって最適的なアーキテクチャを考える上でいくつかの例を見る。 【データウェアハウス】 <導入> ・一番有名なアーキテクチャ。・Inmonによって考案された。 ➡定義は青木峰郎著『10年戦えるデータ…
2章の中で重要なポイントを章内をまたいでまとめていきます。 要点： - chapter1の算術演算も論理ゲートで表現できる。 - 算術演算と論理演算が可能なALUの作成が目標。 加算器について： 同じ内容が異なる視点で説明されているので、その対応関係を掴むこと…
1章の中で重要なポイントを章内をまたいでまとめていきます。 ※自分が詰まった大事なポイント2つにアンダーラインを入れてます。 ブール関数： 入力がブール値、出力がブール値を返す関数 →(ブール)ゲート：ブール関数を物理的に実現したもの ブール関数の表…
『Pythonではじめるアルゴリズム入門』について この本はPythonのコードを使って、様々なアルゴリズムを紹介している本です。 この本での目標は「アルゴリズムは何で必要なのか」「コード力・問題処理能力の上昇」「処理速度の意識・向上」とされています。…
Scrapyを定期実行する際に複数の実施方法が考えられますが、 ここでは下記の3つの方法を比較し、自分が簡単に設定できた scrapy-doの設定方法について紹介します。 ・scrapy-do ・Scrapy Cloud (Scrapinghub) ・Scrapyd scrapy-doはscrapydの後発として生ま…
自然言語処理を8週間で学習するカリキュラム(Learn-Natural-Language-Processing-Curriculum)がYoutube,githubで公開されております。 www.youtube.com github.com この記事ではweek1の学習時のメモを公開しています。 ※week2との難易度の差が激しいので、カ…
この記事はpytorchで自然言語処理をしていて、テキストの前処理のために torchtextを利用しようと考えている初心者の方に向けた記事となっています。 torchtextにはテキストの前処理やサンプルテキストデータが入っており、 簡単にLSTMなどの分析モデルを試…
Scrapyとは Scrapyはスクレイピング用のフレームワーク。 (比較)PythonのDjangoやRubyのRuby on RailsがWebアプリケーション用のフレームワーク 収集(クローリング)、加工(スクレイピング)、保存機能が揃っており、 Pythonでそれぞれのライブラリをつなぎ合…
ここではPythonのパッケージ管理に使うpipコマンドを紹介していきます。 pipの確認 ・pipのバージョン確認 pip --version これでpipがインストールされていることを確認しましょう。 インストール系 ・パッケージのインストール pip install パッケージ名 ・…
この記事はディープラーニングをやりたいけれど、一歩踏み出せてない人の一歩を助けるような記事を目指してます (なので、プログラミングも機械学習も全く知らないという人向けの記事とはなってはいないです)。 自分はデータ分析が好きで、ディープラーニン…
