今日の学び@2020/3/4

SQL＆BigQuery 長文SQL解読 600行近くの既存長文SQLを解読理解速度が確実にUPしている要件に落とし込む為、テーブル等、各条件も整理した自分以外の人のコードを読むと、色々と学ぶ点がある基本処理とプログラミング知識を絡ませ、効率的なSQL文作成が理…

2020-02-29

今日の学び@2020/2/29

今日の学び Python 高校数学 Docker

Python データサイエンスのためのPython入門(参照元) 8-10 Numpy Pandas Pandasへ入り、早くも面白いw 数学ふたたびの高校(参照元) 解析幾何学図形と方程式（数Ⅱ） Docker 先週の復習＆ＤＳ講座1－7 VM(Docker Toolbox) 新規作成：docker-machine create d…

2020-02-25

今日の学び@2020/2/25

今日の学び SQL BigQuery Python

SQL＆BigQuery(BQ) ビッグデータ分析レシピ(参考元） 5章途中まで通読 BQヘルプ UDF（ユーザー定義関数）記法 SQL SQL+JSヒアドキュメントタイプ一時永続 SQL記法で良い気もしたが、Jsだとライブラリが便利 Jsライブラリへの関心も沸いた GCSにライブラ…

2020-02-24

今日の学び@2020/2/24

今日の学び SQL BigQuery Python

SQL＆BigQuery(BQ) ビッグデータ分析レシピ(参考元） 3章 -- URLからの文字抽出 SELECT timestamp_log, url, -- NET関数で取得可能なpath NET.HOST(url) AS host, NET.PUBLIC_SUFFIX(url) AS suffix, NET.REG_DOMAIN(url) AS domain, -- その他の抽出 REGEXP…

2020-02-23

今日の学び@2020/2/22-23

今日の学び BigQuery SQL Google Cloud Storage Google Cloud Scheduler Google Cloud Functions Google Apps Script Google Colab Python Docker Linux 高校数学

SQL＆BigQuery(BQ) 分析活用入門 9章長文SQL 相関サブクエリ SELECT t1.a, t1.b, ( COUNT(t1.a) FROM mytable AS t2 WHERE t1.a > t2.a --ここ ) AS **rank** FROM mytable AS t1 BQの相関サブクエリは、LEFT JOINだった。実際、WHERE句に不等号を使うと下…

2020-02-16

今日の学び@2020/2/16

今日の学び SQL BigQuery Python

SQL＆BQ 分析活用入門の復習 6章：結合 LEFT JOIN 左テーブル主キーに対して、右レコードが一意でない場合、結合テーブルは超過分レコード数が増える自己結合INNER JOIN BQは集計が怪しく、DISTINCT必須かも CROSS JOINは、今の所、用途不明ｗ 7章：WINDOW…