Oculus Quest2 を買ったので、immersed というアプリを使って VR 空間上でリモート接続して PC 操作できるようにしてみたメモ [Immersed]()は VR 空間に仮想オフィス（PC…

やってみたかった。設定自体はpluginを入れるだけなので簡単

web-vitalsという各種指標を取得できるライブラリを見つけたのでgaに送信して眺められるようにしてみた

意外と大変だったのでメモ geopandasはdataframeで扱うの楽そうだと思ったので。pydeckはstreamlitがmapのplot用に使っていたので 結果として静止画で問題なければgeopandasだけ使えばよい。インタラクティブにしたいときはpydeck…

gitpod上のterminalでstreamlitなどを実行したかった

全国市販酒類調査という国税庁が毎年行っている、全国の酒類の品質や成分を報告データを可視化してみた。pdfファイルの最後の方に参考情報として載っている

表題の通り

表題の通り GA4ではbigqueryへのexportを無料で行うことができるが、そのままだと少し扱いづらい 特にevent_paramsがRECORDになっており、あるイベントのページURLやタイトルを取得する際の構文が長くなる

wildcard tableはテーブル名に任意のsuffixをつけて作成することで クエリの際、wildcardを使ってテーブルスキャン範囲を指定できる便利機能のこと

[visx](https://airbnb.io/visx)というairbnb発のreact用可視化ライブラリを触ったメモ

[clasp]([https://github.com/google/clasp](https://github.com/google/clasp))というgoogle製のapps script管理用cliを使ってみた

やったことをかいておく `gatsby-starter-blog`を生成し、カスタムしている

`flutter web`を有効にしてみたので、github pagesで表示されるようにデプロイ方法を整えた

GCPのリソース管理をterraformでやるために、まずは既存のものをimportしてみた importまで案外大変だったので書き残しておく

"ディープラーニングと物理学"本にイジングモデルのシミュレーション結果を機械学習モデルの学習データとして用いて、 ある状態が相転移状態か否かを判定するモデルを作成する手法が紹介されていたのでやってみた

サイト生成をhugoからgatsbyへ、ホスティングをnetlyfyからvercelにした gatsby導入などの作業メモを残しておく

matrix factorizationを使用してmovie lensのデータから映画のレコメンドモデルを作成し、tableauで可視化してみる

経歴書なんかを書くとき、プロジェクトの期間、スキルや役割を書いていくことが多い これを構造化して、スキルの積み上げが時系列で可視化できるかやってみた

[qiita organizations](https://qiita.com/organizations)にあるデータをクローリングして人気のタグや規模の大きい組織をtableauで可視化した

juliaでjulia集合を作成した。ついでにmandelbrot集合も。配列系の演算子（.など）の勉強になった

[ブクログ - web本棚サービス](https://booklog.jp) という読みたい本・読んだ本を登録しておけるサービスがある。こちらに登録したデータを出力して可視化してみた

spotifyのapiを使ってデータを取得してみた。 ロック音楽の年代ごとの特徴をみてみる

sagemaker上で独自の学習モデルや予測結果を取得したいとき、 カスタムモデルを作成する必要がある

[chalice](https://github.com/aws/chalice)はAWSの公式ツール。api gatewayとlambdaを pythonのflaskライクな書き方で定義できる

bigqueryの集計結果をGCSに出力したかった。しかし、どうやら1回でできそうなoperatorがなかったため、結果を一旦集計テーブルとして作成し、GCSにexportする形をとった

モバイルにある画像orカメラで撮った画像に対して画像分類を行うアプリを作った。android端末で試した h5形式のモデルをtfliteに変換して利用する

tensorflowで画像分類モデル（VGG19）を用いて絵画の画像データから芸術様式（写実主義、シュルレアリスム、印象派など）を予測するモデルをつくった

firefoxのブラウザ設定をいじる必要がある、つまりクライアント側の問題となる模様

pytrendsを試しがてら、食に関するサービスについてトレンドを比較してみた [pytrends](https://github.com/GeneralMills/pytrends#related_queries)という[Google トレンド](https://trends.google.co.jp/trends/)の非公式APIを提供しているpackageがある

いわゆるベイジアンABテスト。流行ってそうなので、挑戦してみた。 統計モデルをつくる作業はあまりやったことがなかったので、面白かった

[Access Patterns in Web Log Data: A Review](http://his02.softcomputing.net/jnic4.pdf)

docker上でやると多少コマンドやオプション等が異なったので残しておく

[causalml](https://github.com/uber/causalml)を試した。岩波データサイエンス vol.3に載っていたデータを使って、平均処置効果とアウトカムの推定に用いた特徴量のimportance等を出してみた

[poetry](https://github.com/python-poetry/poetry)は、パッケージマネージメントや、パッケージ作成を簡単にしてくれるツール

python implicitで暗黙的フィードバックデータからレコメンドモデルを作成した

[networkx](https://networkx.github.io/documentation/stable/index.html)を使って、2部グラフのネットワーク解析 skleanのspectral-clusteringを用いてクラスターを作成、可視化してみる

pythonでデータを作成し、tableauにて可視化を行った

google colaboratoryからgoogle spreadsheetsにdataframeを読み書きする方法

[ginza](https://github.com/megagonlabs/ginza)と[networkx](https://github.com/networkx/networkx)を用いて共起語ネットワークを描画する関数を作った。せっかくなので残しておく

[papermill](https://github.com/nteract/papermill)は、jupyter notebookファイルをcliやpythonから実行できるようにするツール

brain padの新卒研修で行われているらしいデータ集計のための教材[GitHub - BrainPad/SQLForBeginners2019](https://github.com/BrainPad/SQLForBeginners2019)をgoogle bigqueryでやってみた

Amazon API Gatewayのリクエストログ等をcloudwatchで見れるようにする

[networkx](https://networkx.github.io/documentation/stable/index.html)を使って、2部グラフのネットワーク解析をしてみたい 手軽に読み込めるデータセットがあったので、まずは可視化からやってみる

論文メモ: "ネットワーク構造を対象とした特徴量抽出とその応用"

upliftについて、考え方とアプローチ方法をまとめておく

[causalml](https://github.com/uber/causalml)はuberによる機械学習を用いた因果推論用のpythonパッケージ。例が載ってるノートブックを使って、一連の流れを試してみた

[surprise](http://surpriselib.com/)はレコメンドアルゴリズムをscikit風のインターフェイス使用できる、pythonパッケージ。予測結果の取得もいい感じにできる テストデータを使って、一連の流れを試してみた

docker19.03でdockerコマンドでgpuコンテナを作成できるようになったらしいので試した まあまあ大変だったので残しておく # []()環境 * ubuntu: 18.04 * docker: 19.03 # []()エラー ホストマシンにdockerとnvidia-smi…

flutterはgoogleがつくったモバイルアプリの開発フレームワーク。iOS、Android用のアプリが作成できる。開発にはdartという言語を用いる

使い方知らないとうまくできなかったのでまとめておく

atomic designについて読んで、考えていく

bootstrap法について、考え方と、使い方をまとめておく

こちらの記事 [A/B Testing with Machine Learning – A Step-by-Step Tutorial /| R-bloggers](https://www.r-bloggers.com/a-b-testing-with-machine-learning-a-step-by-step-tutorial/) の流れを追ってみた

google公式チュートリアルを試してみた [Distributed Load Testing Using](Kuberneteshttps://cloud.google.com/solutions/distributed-load-testing-using-kubernetes)

kubeflowはgoogleが作った機械学習パイプラインを作成するためのフレームワーク。macで試した。 docker for mac の kubernetes 上に構築してみた kubeflowはv0.5.1を使用している # []()requirements # []()docker stable…

cloud ML APIsは`Cloud Natural Language API`や`Cloud Speech-to-Text` などのgoogleが用意した学習済みAIを試せるAPI群のこと

t-sne について、理論とか知りたくなったので調べてまとめてみる

作ったページのコンテンツに対して検索をかける機能がほしかったので、algoliaのフリープランを使って全文検索できるページを追加した

行ってきたメモ

kubernetes を使ってローカルで web アプリを開発できる環境を整えてみた React, Flask, PostgreSQL の構成で作成した # []()構成 マイクロサービスといわれるらしい 利用イメージとしては

react(計算結果の描画) <==> flask(計算、dbの値操作) <==> postgresql(計算データや計算結果を保存)

haskellの実行環境をjupyter notebook上で整える。iHaskellというらしい

stackというツールでhaskellのプロジェクト管理をしてみる ローカル単位で管理するのが一般的らしい。使い方を調べるのが結構大変だったので。メモを残しておく

haskellの概要や用語の説明をまとめておく

CDN(Content Delivery Network)についてまとめておく CDNとはコンテンツの配信を高速にするための分散サーバシステムのことをいう ここでいうコンテンツとは web 上でやり取りされるファイル(html, image…)などのことを指している 高速化を行うため * ユーザの物理的な位置に基づいて、速く配信できるであろうサーバからコンテンツを送る * CDN 上にあるサーバはオリジンサーバ（コンテンツの配信元）から最新の状態をキャッシュしておき、リクエストがあれば、キャッシュしたコンテンツを配信する * …

このブログの開発、デプロイ環境をメモしておく。なるべく無料なサービスで構築した

kaldiという音声処理のOSSを試した

Cloud Speech APIを使って1時間くらいの長さの音声ファイルを 文字起こししようとしたら色々要件があって大変だったので残しておく

google geocoding apiをつかって 緯度(latitude)、経度(longitude)の座標から住所を取得する Reverse Geocodingという方法？らしい

reactで作ったweb画面から音声ファイルをブラウザへアップロード さらにcloud storageにファイルをアップロードする

vueでelement uiを使っているときに起きたことを書いておく

dopamineとはgoogleが開発したtensorflowベースの強化学習のフレームワークのこと

tensorflowjsには学習済みのモデルがいくつか公開されている。その中のmobilenetについてreactでデモページを作って試してみた

gceを使ってるとインスタンスの容量が足りなくなることもある google compute engineディスクの容量を増やす方法を試した

google colaboratoryで.pyファイルに引数を指定して実行したかったのでやってみた

React Google Chartsはその名の通り、google chartのreact component版

docker内のjenkinsでdockerコマンドを実行するための設定方法を書いておく

Makefileを使うと長いscriptを保存して、簡単なコマンドで使えるようになる dockerやgolangのプロジェクトでよく見かける (もともとMakefileとはなんなのかよくわからないまま書いている)

githubのprivateなリポジトリをdepで管理してみる Gopkgファイルの生成など、コマンドは全てdocker上で行っていく

hadoopクラスターを触ってみたくてdockerで構築してみた。クラスター自体はambariを使って構築した # []()環境 * Mac OS: 10.13.4 * docker: 18.03.0-ce * docker-compose: 1.20.1 # []()概要 正式名称はApache Hadoop、Apache…

kaggle公式のcliツール。kaggleのコンペについて調べたり、データセットのダウンロード、予測結果を送信したりできる

[Google Colaboratory](https://colab.research.google.com/)とはgoogleが作った jupyter note環境をブラウザで使えるようなツールのこと

nvidia-dockerはdockerコンテナ内でnvidia gpuを使うためのOSSのこと これを使って、dockerコンテナ内でgpu資源を使えるようにする nvidia, docker, docker-composeはインストール済のところから始める # []()環境 * ubuntu: 17.04 * docker: 17.12.0-ce * docker-compose: 1.19.0 * …

[dep](https://github.com/golang/dep)とは、golangのpackageをローカルで管理するためのツール

docker swarmでOpenFaaSを起動するまでやってみた # []()環境 * macOS: 10.13.2 * docker: 17.12.0-ce(edge) (docker swarmを使うので、kubernetesは無効にしておく) # []()OpenFaaSとは OpenFaaS…

kubernetesを内蔵したDocker for Macがリリースされたらしいので、試してみた kubectlコマンドでkubernetes-dashboardのデプロイ、docker stackコマンドでmetabaseをデプロイしてみた # []()環境 macOS 10.13.…

SegNetは、ケンブリッジ大学が開発した画素単位でのラベリング機能を実現する、A Deep Convolutional Encoder-Decoder Architectureのこと

1行ごとに値の入ったjsonファイルをinfluxdbのfieldsに保存するプログラムを書いた influxdbはgolangで書かれているようなので、golangで実行プログラムを作成してみた # []()環境 * go: 1.9.2 * influxdb: 1.3.7 # []()準備 # []()go get influxdb…

docker-composeにてvolumesを指定すると、dockerコンテナを再起動してもデータが消えないようになる どこかにvolumeが作られるが、どうやってアクセスするのかがわからなかった・・・アクセスする方法がわかったのでまとめておく # []()環境 * macOS: 10.13.1 * …

EC2上で動いているdockerコンテナのログを Amazon CloudWatch Logsに保存する手順を書いておく

docker-composeでphpの開発環境を構築する ついでにmysqlなんかもいれておく # []()環境 * docker: 17.09.0-ce * docker-compose: 1.15.0 # []()用意するファイル # []()docker-compose.yml phpとmysqlとphpmyadmin…

docker swarmはコンテナのクラスタを作成することができる。また複数ホストにまたがってクラスタを構築することもできる 複数ホストに立ち上げる手順とその時詰まったことを書いておく。構築は全てAWS EC2上で試している # []()環境 * docker: 17.06.0-ce # []()docker…

個人用、会社用などでgithubアカウントが複数あり、 同じpcから異なるアカウントのリポジトリにpushすると

kopsを使ってaws上に構築したkubernetesクラスタにkubernetes dashboard、weave scopeを追加する 手順とアクセス方法を書いていく # []()環境 * macOS: 10.13.x * kops: 1.7.0 * kubelet: 1.7.2 * kubernetes dashboard: 1.7.1 * weave…

aws上にkubernetesの環境を構築する。クラスタ作成(masterとnodeの構築)まで書いていく # []()kopsとは kubernetes公式デプロイツールの一つ Kops は Kubernetes Operationsの略。 cloud上でkubernetes(k8s…

privateなdockerレジストリからdocker image pullする時に困ったので手順を書き残しておく AWS ecr上にあるimageをpullする時、当然だが普通にpullすると認証ではじかれる kubernetesにsecretとかいうものを設定しなければならない # []()…