dbt 触ったメモ bigquery につないでデータを触ってみた 環境 dbt cloud dbt: v1.4 dbt IDE: 編集、実行はこちらを用いた。編集実行などが思ったより簡単にできた https://docs.getdbt.com/docs/running-a…

dataform を触ってみたのでメモ。基本的にローカルでの動作確認や github actions での CI なんかについてかいておく 概要 dataform は GCP のマネージドサービスであり、データパイプラインの構築、テスト、ドキュメント化、監視を行うことができる…

ローカルで ChatGPT API を使って動かす環境がほしかったので作ったメモ gradio の component で chat のインターフェイスが簡単に作れるのでとても簡単に作れてしまった role とは role は input として使うテキストに付与される情報のこと…

Oculus Quest2 を買ったので、immersed というアプリを使って VR 空間上でリモート接続して PC 操作できるようにしてみたメモ Immersedは VR 空間に仮想オフィス（PC 作業向け）を行えるようなアプリ。一人はもちろん…

やってみたかった。設定自体はpluginを入れるだけなので簡単 適用後に挙動がどうなるかメモを残したかった PWAとは https://web.dev/i18n/en/what-are-pwas/ この記事を読んでの理解 PWA(progressive web app…

web-vitalsという各種指標を取得できるライブラリを見つけたのでgaに送信して眺められるようにしてみた タグマネージャーを用いる方法と、ライブラリを用いる方法がありそうだったが後者にしてみた web vital web vitalsは…

意外と大変だったのでメモ geopandasはdataframeで扱うの楽そうだと思ったので。pydeckはstreamlitがmapのplot用に使っていたので 結果として静止画で問題なければgeopandasだけ使えばよい…

gitpod上のterminalでstreamlitなどを実行したかった cliで使うときなんかはDockerfileを作成して環境作成する必要がある initとかcommandではだめだった 設定ファイル gitpodでコマンド入れておくときはdockerを使う必要がある…

全国市販酒類調査という国税庁が毎年行っている、全国の酒類の品質や成分を報告データを可視化してみた。pdfファイルの最後の方に参考情報として載っている どうやら酒税は酒の成分に基づいて決まるようになっているのでそういった調査を行っているらしい…

表題の通り 環境 node: 12.x “@google/clasp”: “^2.3.0” @types/google-apps-script”: “^1.0.22” パラメータを指定するコマンド などとして指定することができる 例としてdry…

表題の通り GA4ではbigqueryへのexportを無料で行うことができるが、そのままだと少し扱いづらい 特にevent_paramsがRECORDになっており、あるイベントのページURLやタイトルを取得する際の構文が長くなる フラット化前後のクエリ例 生のままでは例えば↓の…

wildcard tableはテーブル名に任意のsuffixをつけて作成することで クエリの際、wildcardを使ってテーブルスキャン範囲を指定できる便利機能のこと データ取得の際など、スキャン範囲を簡単に指定できるので重宝する。作成する際のスキーマの管理方法をどうするかなど…

visxというairbnb発のreact用可視化ライブラリを触ったメモ d3ベースで作られているためd3っぽい設定を知っておくとよい themingや、animationの機能は自前のものを差し込むことができる こういったライブラリのことをというらしい primitiveな機能を…

claspというgoogle製のapps script管理用cliを使ってみた 環境 node: 12.7.0 clasp: 2.3.0 clasp実行環境セットアップ npmプロジェクト内で行う。そのため、以下claspコマンドにはnpxがprefixとしてつく apps…

やったことをかいておく を生成し、カスタムしている slugの生成方法を変える slugは各postのpath部分に使われる をみると、markdownの入ったファイルのパスを取得し、設定している ファイルのfrontmatterにslugを…

を有効にしてみたので、github pagesで表示されるようにデプロイ方法を整えた webページとリポジトリはこんな感じ さけのわデータviewerを作った 環境 flutter 1.20.0 dart 2.9.0 デプロイ github pageは任意のディレクトリ…

GCPのリソース管理をterraformでやるために、まずは既存のものをimportしてみた importまで案外大変だったので書き残しておく 環境 ubuntu: 18.04 terraformer: 0.8.10 tfenv: 2.0.0 terraform: 0.14.5…

“ディープラーニングと物理学”本にイジングモデルのシミュレーション結果を機械学習モデルの学習データとして用いて、 ある状態が相転移状態か否かを判定するモデルを作成する手法が紹介されていたのでやってみた 環境 google colabratory イジングモデルの計算とシミュレ…

サイト生成をhugoからgatsbyへ、ホスティングをnetlyfyからvercelにした gatsby導入などの作業メモを残しておく 2018/12くらいにhugoで作成したので、おおよそ2年での更新と相成った vercel deploy&custom domain githu…

matrix factorizationを使用してmovie lensのデータから映画のレコメンドモデルを作成し、tableauで可視化してみる なんとなくtableauで行列を表現したらどうなるだろうか、と思いやってみた 環境 python: 3.7 tensorflow…

経歴書なんかを書くとき、プロジェクトの期間、スキルや役割を書いていくことが多い これを構造化して、スキルの積み上げが時系列で可視化できるかやってみた データセット プロジェクトの開始、終了年月と、役割（設計、実装、企画など）とスキル（プログラミング言語など）を入力して…

qiita organizationsにあるデータをクローリングして人気のタグや規模の大きい組織をtableauで可視化した データセット https://qiita.com/organizations ページを起点に、登録してある組織の情報を取ってきた 取得したデータの内容は以…

juliaでjulia集合を作成した。ついでにmandelbrot集合も。配列系の演算子（.など）の勉強になった 環境 julia: 1.4.1 Plots: 1.5.9 mantelbrot集合 zn+1=zn2+cz0=0z_{n+1} = z^2_{n}+c…

ブクログ - web本棚サービス という読みたい本・読んだ本を登録しておけるサービスがある。こちらに登録したデータを出力して可視化してみた 環境 python: 3.7 ginza: 3.1 tableau: 2020.2.2 データ取得 ブクログにログインし…

spotifyのapiを使ってデータを取得してみた。 ロック音楽の年代ごとの特徴をみてみる 環境 python: 3.7 spotipy: 2.9.0 tableau: 2020.2.2 データ spotify ap…

sagemaker上で独自の学習モデルや予測結果を取得したいとき、 カスタムモデルを作成する必要がある カスタムモデルの構成と変更箇所をまとめておく 環境 python: 3.7 gensim: 3.8.3 カスタムモデルの構成要素 AWS ECRに学習、予測用docker…

chaliceはAWSの公式ツール。api gatewayとlambdaを pythonのflaskライクな書き方で定義できる 設定ファイルよりもpythonを書くのが楽な人には使いやすそう 色々機能を試してみたのでトピックごとにメモしておく 環境 python: 3.7 ch…

bigqueryの集計結果をGCSに出力したかった。しかし、どうやら1回でできそうなoperatorがなかったため、結果を一旦集計テーブルとして作成し、GCSにexportする形をとった 使用したoperatorはこちらのstack overflow回答まんまです 構成 pyt…

モバイルにある画像orカメラで撮った画像に対して画像分類を行うアプリを作った。android端末で試した h5形式のモデルをtfliteに変換して利用する 環境 flutter: 1.17.0 image_picker: 0.6.7 tflite: 1.1.0 tensorfl…

tensorflowで画像分類モデル（VGG19）を用いて絵画の画像データから芸術様式（写実主義、シュルレアリスム、印象派など）を予測するモデルをつくった 芸術様式の横文字はアートスタイルとかアートジャンルなどがヒットしたが、ジャンルは素材（写真、彫刻など…

firefoxのブラウザ設定をいじる必要がある、つまりクライアント側の問題となる模様 環境 node: 10 react: 16.4.0 方法 firefoxの検索ボックスからに移動 Fonts and ColorsからAdvanced…に移動し Allow pages to…

pytrendsを試しがてら、食に関するサービスについてトレンドを比較してみた pytrendsというGoogle トレンドの非公式APIを提供しているpackageがある 環境 python: 3.6 pytrends: 4.7.3 検索条件と数値データの説明 検索キーワー…

いわゆるベイジアンABテスト。流行ってそうなので、挑戦してみた。 統計モデルをつくる作業はあまりやったことがなかったので、面白かった 環境 python: 3.7 pymc3: 3.8 実験 図の見方と流れを書いておく。コードは最後にgistを掲載する ABテストとして…

Access Patterns in Web Log Data: A Review メタ情報 論文へのリンク http://his02.softcomputing.net/jnic4.pdf 筆者・所属機関 Mohammed Hamed Ahmed Elhiber and…

docker上でやると多少コマンドやオプション等が異なったので残しておく magic commandを用いることでjupyter notebookのセル上でtensorboardを表示することができる。これをdocker上のjupyterlabにて表示させてみる 環境 pyth…

causalmlを試した。岩波データサイエンス vol.3に載っていたデータを使って、平均処置効果とアウトカムの推定に用いた特徴量のimportance等を出してみた 機械学習モデルを用いてアウトカムを推定し、平均処置効果(average treatment effect…

poetryは、パッケージマネージメントや、パッケージ作成を簡単にしてくれるツール githubにテスト用のパッケージを作成してpipでinstallするところまで試してみた poetryでpackage作成 ちょうどf…

python implicitで暗黙的フィードバックデータからレコメンドモデルを作成した 協調フィルタリングに代表されるようなユーザの嗜好データを用いたレコメンドにおいて、活用できるデータは主に以下の2種類存在する explicit(明示的)データ: ratingなど…

networkxを使って、2部グラフのネットワーク解析 skleanのspectral-clusteringを用いてクラスターを作成、可視化してみる 環境 python: 3.6.8 networkx: 2.4 スペクトラルクラスタリング グラフの隣接行列から…

pythonでデータを作成し、tableauにて可視化を行った 作ったもの scotch whiskyの味の特徴と蒸留所の場所を可視化するtableauノートブックを作成した スコッチウイスキーについて、似ている風味のものや蒸留所(Distillery…

google colaboratoryからgoogle spreadsheetsにdataframeを読み書きする方法 実行 というpackageを使うと簡単だった dataframeをworksheetに読み書きする 使用しているデータフレームはウイスキーの種類と特徴について…

ginzaとnetworkxを用いて共起語ネットワークを描画する関数を作った。せっかくなので残しておく Rだと割と簡単に作成できるがpythonだとよさげなライブラリが見つからず、なかなか難しかった *こちらのコードは、分析を担当した現代短歌のテキストマイニング―𠮷田恭大…

papermillは、jupyter notebookファイルをcliやpythonから実行できるようにするツール こちらをAWS SageMakerのnotebook instanceにて使用してみた ついでにエラーが…

brain padの新卒研修で行われているらしいデータ集計のための教材GitHub - BrainPad/SQLForBeginners2019をgoogle bigqueryでやってみた 一部temporary table作るのを端折っていたりする selectから始まるのでs…

Amazon API Gatewayのリクエストログ等をcloudwatchで見れるようにする Amazon API Gatewayは文字通り、apiとしての機能を提供するためのサービス。lambda関数などを外から実行できるようにする時などに使う…

networkxを使って、2部グラフのネットワーク解析をしてみたい 手軽に読み込めるデータセットがあったので、まずは可視化からやってみる 環境 python: 3.6.8 networkx: 2.4 やってること 関数を使えばたいていの解析はできるが…

論文メモ: “ネットワーク構造を対象とした特徴量抽出とその応用” メタ情報 論文へのリンク http://www.orsj.or.jp/archive2/or60-8/or60_8_468.pdf 筆者・所属機関 羽室　行信(関西学院大学経営戦略研究科) 中原　孝信…

upliftについて、考え方とアプローチ方法をまとめておく 用語 treatment(group): なにがしかの変更（介入）を加えたグループ。ターゲティングの対象となるグループ。日本語だと統制群と言ったりする control(group): なにがしかの変更（介入…

causalmlはuberによる機械学習を用いた因果推論用のpythonパッケージ。例が載ってるノートブックを使って、一連の流れを試してみた 方法など、詳しい説明はこちらを参考に https://ohke.hateblo.jp/entry/2019/01/05/230000 h…

surpriseはレコメンドアルゴリズムをscikit風のインターフェイス使用できる、pythonパッケージ。予測結果の取得もいい感じにできる テストデータを使って、一連の流れを試してみた 環境 python: 3.6.8 surprice: 0.1 scikit-learn:…

docker19.03でdockerコマンドでgpuコンテナを作成できるようになったらしいので試した まあまあ大変だったので残しておく 環境 ubuntu: 18.04 docker: 19.03 エラー ホストマシンにdockerとnvidia…

flutterはgoogleがつくったモバイルアプリの開発フレームワーク。iOS、Android用のアプリが作成できる。開発にはdartという言語を用いる 環境 ubuntu: 18.04 flutter: 1.0.0 vscode: 1.26.1 flutterインストール…

使い方知らないとうまくできなかったのでまとめておく 環境 python 3.7 xgboost 0.9.0 モデルのセーブ、ロード で学習したものを保存、呼び出しを行う際につまづいた どうやらinstance化するXGBの種類によって 処理を追加する必要があるらしい 2017…

atomic designについて読んで、考えていく http://atomicdesign.bradfrost.com/table-of-contents/ おそらく2016年くらいに提唱された概念らしい reactが普及し始めたのを受けて考えたのだろうか atomic…

bootstrap法について、考え方と、使い方をまとめておく 方法 抽出対象となる標本データに対して、重複を許してランダムにデータを取り出して（復元抽出）、再標本化(resampling)する手法 標本データで学習すると生じる、真の値からの誤差（バイアス）を小さくするために用いる…

こちらの記事 A/B Testing with Machine Learning – A Step-by-Step Tutorial /| R-bloggers の流れを追ってみた 問題設定＋ソースコードを追ってみた。Rで行う 背景 従来の統計的推論では(処置群と統制群…

google公式チュートリアルを試してみた Distributed Load Testing Using 手順としては、kubernetesでlocustという負荷テストツールを用いて 負荷分散テスト用のクラスタを作成し、負荷テスト対象としてサンプルのweb appを…

kubeflowはgoogleが作った機械学習パイプラインを作成するためのフレームワーク。macで試した。 docker for mac の kubernetes 上に構築してみた kubeflowはを使用している requirements docker stable だと…

cloud ML APIsはや などのgoogleが用意した学習済みAIを試せるAPI群のこと こちらに一通り使い方が書いてあるノートブックがあったので簡単に試してみた セットアップ google cloud consoleから プロジェクト作成 & 請求先の登録 APIs &…

t-sne について、理論とか知りたくなったので調べてまとめてみる 正式には t-sne(t-distributed stochastc neighbor embedding) といい次元削減法の一種。 word2vec など…

作ったページのコンテンツに対して検索をかける機能がほしかったので、algoliaのフリープランを使って全文検索できるページを追加した index 用の json を生成 参考サイトのとおりに作った に以下を追加 出力する json のテンプレートは hugo のCustom…

行ってきたメモ 東京富士美術館の企画展示 19世紀頃のロシア絵画が展示されていた その頃は西欧化が進められていたらしく、その影響か、印象派っぽいものや、風俗画が多かった気がする それだけでなく、宗教画のように背後にストーリ性のある絵が多いのが印象的だった…

kubernetes を使ってローカルで web アプリを開発できる環境を整えてみた React, Flask, PostgreSQL の構成で作成した マイクロサービスといわれるらしい 利用イメージとしては こんな感じだろうか…

stackというツールでhaskellのプロジェクト管理をしてみる ローカル単位で管理するのが一般的らしい。使い方を調べるのが結構大変だったので。メモを残しておく 環境 ubuntu: 17.10 project作成 作成後のプロジェクトの中身はこんな感じ test…

haskellの概要や用語の説明をまとめておく ソースコード iHaskellで試している Haskell入門 ウォークスルー Haskell ウォークスルー Haskell - Haskell 入門をiHaskellでやってみた に書いておく https://github…

haskellの実行環境をjupyter notebook上で整える。iHaskellというらしい docker-composeで構築する して、 http://localhoct:8888 にアクセスすると画面が表示される 下は、を作成して、実行してみた図 参考 http…

CDN(Content Delivery Network)についてまとめておく CDNとはコンテンツの配信を高速にするための分散サーバシステムのことをいう ここでいうコンテンツとは web 上でやり取りされるファイル(html, image…)などのことを指している 高速化を行う…

このブログの開発、デプロイ環境をメモしておく。なるべく無料なサービスで構築した hugo: ブログ作成用ツール netlify: コンテンツのホスティング github: コンテンツの登録 google domain: ドメイン取得 開発環境 ローカルの開発環境は…

kaldiという音声処理のOSSを試した tedium model(TEDの公演を学習したモデル)を使って、音声認識するまで行う。ソフトウェアはdockerコンテナで起動する モデル、テストデータの準備 ホストマシンで行う モデルのダウンロード テストデータのダウンロード d…

Cloud Speech APIを使って1時間くらいの長さの音声ファイルを 文字起こししようとしたら色々要件があって大変だったので残しておく 環境 ubuntu: 16.04 Google Cloud SDK: 216.0.0 セットアップ https://cloud…

google geocoding apiをつかって 緯度(latitude)、経度(longitude)の座標から住所を取得する Reverse Geocodingという方法？らしい 環境 python: 3.6 googlemaps: 3.0.2 api key取得 Get…

reactで作ったweb画面から音声ファイルをブラウザへアップロード さらにcloud storageにファイルをアップロードする 音声ファイルの扱い方はあまり情報がないので残しておく 環境 node: 8.11.2 firebase: 5.4.1 react-cli: 1.1…

vueでelement uiを使っているときに起きたことを書いておく 環境 vue: 2.5.2 element-ui: 2.4.3 デフォルトの言語を変える そのままだとポップアップの文字等が中国語になっている 画像はの削除ポップアップ 公式のやり方を参考に http:/…

dopamineとはgoogleが開発したtensorflowベースの強化学習のフレームワークのこと インストールして、サンプルを実行するまで書いておく 環境 ubuntu: 16.04 python: 3.6.2 インストール https://github.com…

tensorflowjsには学習済みのモデルがいくつか公開されている。その中のmobilenetについてreactでデモページを作って試してみた 環境 node: 8.11.2 @tensorflow-models/mobilenet: 0.2.2 create-react…

gceを使ってるとインスタンスの容量が足りなくなることもある google compute engineディスクの容量を増やす方法を試した ディスクサイズを変更する google cloud console上でストレージ設定の変更 インスタンス一覧のページより https…

google colaboratoryで.pyファイルに引数を指定して実行したかったのでやってみた 引数を含んだ.pyファイルを実行する 引数なしで.pyファイルの実行する場合は とすれば実行できる しかし、機械学習用…

React Google Chartsはその名の通り、google chartのreact component版 scatter plotを試してみたのでコードと結果を残しておく。D3よりも簡単に使えて、データの表示や選択などのアニメーションもいいかんじにやってくれる 環境 n…

docker内のjenkinsでdockerコマンドを実行するための設定方法を書いておく 環境 macOS: 10.13.4 構成ファイル ポイントは以下 にてローカル(ホストマシン)のdockerソケットをマウントしている これによりdockerエンジンをjenkin…

Makefileを使うと長いscriptを保存して、簡単なコマンドで使えるようになる dockerやgolangのプロジェクトでよく見かける (もともとMakefileとはなんなのかよくわからないまま書いている) 基本の書き方 以下のような規則で書く必要がある target:…

githubのprivateなリポジトリをdepで管理してみる Gopkgファイルの生成など、コマンドは全てdocker上で行っていく 環境 docker: 18.03.1-ce docker-compose: 1.21.1 gitの設定 privateなリポジトリからインス…

hadoopクラスターを触ってみたくてdockerで構築してみた。クラスター自体はambariを使って構築した 環境 Mac OS: 10.13.4 docker: 18.03.0-ce docker-compose: 1.20.1 概要 正式名称はApache Hadoop…

kaggle公式のcliツール。kaggleのコンペについて調べたり、データセットのダウンロード、予測結果を送信したりできる 環境 ubuntu: 16.04 python: 3.6 pip: 10.0 概ね以下のREADMEに書いてあることを試している https…

Google Colaboratoryとはgoogleが作った jupyter note環境をブラウザで使えるようなツールのこと ファイルを読み込む方法について調べたのでまとめておく 各方法についてcsvファイルを読み込んで表示するまでの手順を書いていく *コードの実行は全てco…

nvidia-dockerはdockerコンテナ内でnvidia gpuを使うためのOSSのこと これを使って、dockerコンテナ内でgpu資源を使えるようにする nvidia, docker, docker-composeはインストール済のところから始める 環境 ubunt…

depとは、golangのpackageをローカルで管理するためのツール Gopkg.lockに書かれたpackageのリビジョンを変更する方法を試したので残しておく 環境 go: 1.9.3 dep: v0.4.1 概要 Gopkg…

docker swarmでOpenFaaSを起動するまでやってみた 環境 macOS: 10.13.2 docker: 17.12.0-ce(edge) (docker swarmを使うので、kubernetesは無効にしておく) OpenFaaSとは OpenFaaSはサー…

kubernetesを内蔵したDocker for Macがリリースされたらしいので、試してみた kubectlコマンドでkubernetes-dashboardのデプロイ、docker stackコマンドでmetabaseをデプロイしてみた 環境 macOS 10.13.2…

SegNetは、ケンブリッジ大学が開発した画素単位でのラベリング機能を実現する、A Deep Convolutional Encoder-Decoder Architectureのこと keras2系+tensorflowで実装してみた とりあえず動かしたソースコードを貼っていく…

環境 ubuntu: 17.04 python: 3.6 keras: 2.0.8 tensorflow: 1.3.0 tensorflow-tensorboard: 0.1.5 実装 tensorboard用callbackの指定 model.fit…

1行ごとに値の入ったjsonファイルをinfluxdbのfieldsに保存するプログラムを書いた influxdbはgolangで書かれているようなので、golangで実行プログラムを作成してみた 環境 go: 1.9.2 influxdb: 1.3.7 準備 go get…

docker-composeにてvolumesを指定すると、dockerコンテナを再起動してもデータが消えないようになる どこかにvolumeが作られるが、どうやってアクセスするのかがわからなかった・・・アクセスする方法がわかったのでまとめておく 環境 macOS: 10.13…

EC2上で動いているdockerコンテナのログを Amazon CloudWatch Logsに保存する手順を書いておく 環境 docker: 17.09.0-ce docker-compose: 1.16.1 EC2にポリシーをアタッチ のポリシーを作成して、EC2のIAM…

docker-composeでphpの開発環境を構築する ついでにmysqlなんかもいれておく 環境 docker: 17.09.0-ce docker-compose: 1.15.0 用意するファイル docker-compose.yml phpとmysqlとphpmyad…

docker swarmはコンテナのクラスタを作成することができる。また複数ホストにまたがってクラスタを構築することもできる 複数ホストに立ち上げる手順とその時詰まったことを書いておく。構築は全てAWS EC2上で試している 環境 docker: 17.06.0-ce doc…

個人用、会社用などでgithubアカウントが複数あり、 同じpcから異なるアカウントのリポジトリにpushすると とエラーがでた。その時にやったことを書いておく ssh keyを作成してgithubに登録 ssh keyの作成 githubに登録 githubのページから…

kopsを使ってaws上に構築したkubernetesクラスタにkubernetes dashboard、weave scopeを追加する 手順とアクセス方法を書いていく 環境 macOS: 10.13.x kops: 1.7.0 kubelet: 1.7.2 kubernet…

aws上にkubernetesの環境を構築する。クラスタ作成(masterとnodeの構築)まで書いていく kopsとは kubernetes公式デプロイツールの一つ Kops は Kubernetes Operationsの略。 cloud上でkubernetes(k8s…

privateなdockerレジストリからdocker image pullする時に困ったので手順を書き残しておく AWS ecr上にあるimageをpullする時、当然だが普通にpullすると認証ではじかれる kube…

環境 ubuntu: 17.04 nodebrew: 0.9.7 nodeのインストールに失敗する pythonコマンドで3系が起動するように設定しているとき nodeをインストールすると失敗する python2系じゃないとだめらしい 対処法１（install…