Terraform で秘密情報を扱う
Terraform を使うとインフラの構成がコード化される、Infrastructure as Code (IoC) という利点があります。そして、Terraf…
続きを読む
Terraform で秘密情報を扱う
Windows 版 Amazon WorkSpaces での開発
背景 とあるお客様のお仕事では、Amazon WorkSpaces の環境が各人に渡されて、そこでほぼ全ての作業が行われます。 Amazon WorkSpace…
続きを読む
Windows 版 Amazon WorkSpaces での開発
ELECTRAの解説
今日はBERTの派生モデルであるELECTRAを解説しようと思います。 BERTに関しては、過去にもブログ記事を投稿していますので良かったら御覧ください。 BE…
続きを読む
ELECTRAの解説
Slackの新しくなったメッセージ取得APIを使用する際に考えなければならないこと色々
全てのメッセージを時系列にまとめて取得できていたchannels.historyが廃止されました。この仕様変更により、APIを利用しているシステムに結構な改修を…
続きを読む
Slackの新しくなったメッセージ取得APIを使用する際に考えなければならないこと色々
SparkでDataFrameの内容を単一のファイルに保存する
Sparkで処理したDataFrameをファイルとしてディスクに書き出す際、通常ファイルはパーティションの数分作成されます。 val df = Seq(("Ta…
続きを読む
SparkでDataFrameの内容を単一のファイルに保存する
BERTのモデル構造をもう少し詳しく
以前にBERTに関する記事を投稿しました BERTについて勉強したことまとめ (1) BERTとは? その特徴と解決しようとした問題、及び予備知識BERTについ…
続きを読む
BERTのモデル構造をもう少し詳しく
Ansibleに関するエラーを解消する
最近遭遇したエラーについて簡単に解消方法を提示します。小さいトピックなので２つのエラーについてまとめていっきに書いてみます。 Homebrewでインストールした…
続きを読む
Ansibleに関するエラーを解消する
MySQL で一意制約が削除できない
基本: 外部キーに使われているインデックスは削除出来ない MySQL でインデックスを削除するときに、以下のようなエラーメッセージが出る事があります。 Cann…
続きを読む
MySQL で一意制約が削除できない
分類のための指標(PrecisionとRecall)の解説
指標はいろいろあって難しい 私が機械学習の勉強を始めた際に、モデルの性能を評価するための指標というものがあるのを知りました。具体的に言うと、sckit-lear…
続きを読む
分類のための指標(PrecisionとRecall)の解説
AWS の session token を簡単に管理する
トークン取得→設定作業が地味に面倒 先日、こんな issei-m がこんな投稿をしました。 IAM で MFA を強制する方法と CLI での認証方法 – もば…
続きを読む
AWS の session token を簡単に管理する
kedroのモデルを読み込むパイプラインにおいて、同じ型のモデルを切り替える
kedroのパイプラインで、同じ型のモデルを差し替えて利用する方法を、私が分かった＆やってみた範囲で紹介します。 例えば、BERTとELECTRAにおいて、どち…
続きを読む
kedroのモデルを読み込むパイプラインにおいて、同じ型のモデルを切り替える
IAM で MFA を強制する方法と CLI での認証方法
今関わっているとあるプロジェクトでは、利用している AWS のリソースを操作するすべてのユーザーに対して MFA (多要素認証) を設定する事を義務付けています…
続きを読む
IAM で MFA を強制する方法と CLI での認証方法