今日の学び@2020/2/22-23

今日の学び BigQuery SQL Google Cloud Storage Google Cloud Scheduler Google Cloud Functions Google Apps Script Google Colab Python Docker Linux 高校数学

SQL＆BigQuery(BQ)

  • 分析活用入門
    • 9章長文SQL
      • 相関サブクエリ
  SELECT
    t1.a,
    t1.b,
    (
      COUNT(t1.a)
      FROM mytable AS t2
      WHERE
        t1.a > t2.a --ここ
    ) AS **rank**
  FROM
    mytable AS t1

BQの相関サブクエリは、LEFT JOINだった。
実際、WHERE句に不等号を使うと下の様なエラーが出る。

LEFT OUTER JOIN cannot be used without a condition that is an equality of fields from both sides of the join.

仕方ないので放置ｗ 以降の分析活用入門は、レシピでカバー出来そうなので、いよいよレシピへ

  • ビッグデータ分析レシピ
    • sample大量ファイルのデータ型が違う
      ⇒ ぐぐってLINUXコマンドで一括変換
find 'C:\Users\xxx\SQL_bigdata_recipe\' -type f -name "*.sql" -print0 | xargs -0 sed -i.bak -e "s/integer/INT64/g"

LINUXコマンド便利ｗｗｗ
正規表現同様、少しずつ覚えていこう

GCP

  • Cloud Functions(CF)
  • Cloud Storage(CST)
  • Cloud Scheduler(CSC)
  • Cloud Pub/Sub(CPS)
  • 連携フロー模索
  • サービスヘルプ乱読
    • GCPのサービス間で、通知手段としてCloud Pub/Subが使われる
    • Pub/Subの仕組

環境構築

  • ローカル環境の断捨離ｗ

  • gcloud VSCodeのbashで使える様、Google Cloud SDKインストール
    gcloudは、コマンドプロンプト上で起動するが、GitBashを使いたいので、エイリアス設定＆保存

  • 設定："echo 'alias gcloud='gcloud.cmd' >> ~/.bashrc"

  • 確認：tail -n 10 ~/.bashrc

  • 保存：source ~/.bashrc

    これで gcloudコマンドが叩ける(bqも同様に作っておいた)
    更に、bq shellで「bq」無しでもコマンドが叩ける。

    BigQueryのテーブル定義とデータ挿入も一括でやりたいので、次回調べてみよう。

    • gcloudコマンド
      • projects
        • create xxx
        • describe xxx
        • list
          • --filter=yyy
        • update xxx
          • --name=yyy
        • delete xxx
          • 復元は、30日以内にCloud Consoleから

Google Colabのローカル接続にしたい＆Dockerも気になり、調べつつ設定

  • Docker
    1. hubアカウント作成

しかし、desktop for Windowsは、home未対応の為、インストール出来なかった
一旦、Docker諦め、Vagrant&VitualBoxを調べる

  • Vagrant&VitualBox Vagrantのboxでは、ubuntuのバージョンが古いので、virtualBoxで最新版をインストールした
    Vagrantに設計書書いて、VirtualBoxのVM起動する ⇒ Dockerで言うfileとImageみたいなもんかなと
    とここで、↓Docker ToolBoxの存在を知るｗ
    これがあれば、Vagrant不要、と言うか、Docker出来そうｗ

  • Docker Toolbox

    1. docker login
    2. docker-machine create default --driver virtualbox
    3. docker-machine ssh マシン名でSSH接続。以後、Dockerコマンドで操作

Windows homeでも、無事、Docker起動出来た。 これで、データサイエンスブログを満喫できそうｗ

  • Dockerコマンド
    • images：ローカルのDockerイメージ一覧
    • container run <image-name>：Dockerイメージからコンテナ起動

Python

  • データサイエンスのためのPython入門
    • 2-3 :コーディング
    • 2-7 :通読

    既に面白い。 今日は環境構築とCLI遊びにほうけてしまったので、明日は少し時間を割り振る

ふたたびの高校数学

本当、この本の作者が神過ぎるｗ
めちゃくちゃ分かりやすい。

一旦、高校シリーズ全部やり終えたら、マセマ高校、大学どちらにするか考える予定。（結構先になりそうだけどｗ）

学びの時間

昨日・今日とGCP・ローカルの環境周り？を遊び過ぎてしまったかも知れない。
3言語に時間を充てよう

参考URL)