AWS の session token を簡単に管理する
トークン取得→設定作業が地味に面倒 先日、こんな issei-m がこんな投稿をしました。 IAM で MFA を強制する方法と CLI での認証方法 – もば…
続きを読む
AWS の session token を簡単に管理する
kedroのモデルを読み込むパイプラインにおいて、同じ型のモデルを切り替える
kedroのパイプラインで、同じ型のモデルを差し替えて利用する方法を、私が分かった＆やってみた範囲で紹介します。 例えば、BERTとELECTRAにおいて、どち…
続きを読む
kedroのモデルを読み込むパイプラインにおいて、同じ型のモデルを切り替える
IAM で MFA を強制する方法と CLI での認証方法
今関わっているとあるプロジェクトでは、利用している AWS のリソースを操作するすべてのユーザーに対して MFA (多要素認証) を設定する事を義務付けています…
続きを読む
IAM で MFA を強制する方法と CLI での認証方法
Scala の Option, Either とエラー処理
Scala ではエラー処理に使えるクラス・仕組みが沢山ありますが、今回は Option, Either を使った方法を色々紹介します。 前提知識として、Scal…
続きを読む
Scala の Option, Either とエラー処理
静的データベースと動的データベース（Spark SQLの小ネタ）
このようなデータベースの種類を分ける概念は一般的にはないと思われますが、「Spark SQL」で開発しているとまさに動的だなぁという思いが湧いてくることが多々あ…
続きを読む
静的データベースと動的データベース（Spark SQLの小ネタ）
kedro触ってみた
PyTorchで学習周りのコードを書いてたのですが、今後も検証を勧めていく上で、実験結果の記録やパラメータ変更や複数モデルの比較などをするために、何らかの学習周…
続きを読む
kedro触ってみた
BERTについて勉強したことまとめ (3) 自己教師学習と汎用性について
前回の続きです。今回はBERTにおける２つのトピック、自己教師学習と汎用性についてです。 自己教師学習 アノテーション 機械学習において、教師ありデータというも…
続きを読む
BERTについて勉強したことまとめ (3) 自己教師学習と汎用性について
AKS上のKubernetesの秘匿情報をAzure Key Vaultで管理する方法
最近AKSでKubernetesを管理しているのですが、SecretオブジェクトをAzure Key Vaultで管理したくなり、調べた所、Azure Key …
続きを読む
AKS上のKubernetesの秘匿情報をAzure Key Vaultで管理する方法
docker-compose.ymlのサービス名にアンダースコアを使うと正しいインターネットホスト名ではなくなる
以前こんな記事を書きました。 AWS CLI v2の公式Dockerイメージが出たみたいなので使ってみた ご存知の通りDocker Composeでは、以下の様…
続きを読む
docker-compose.ymlのサービス名にアンダースコアを使うと正しいインターネットホスト名ではなくなる
データベースの論理削除と物理削除
最近、開発をしていてユーザーログイン情報テーブルの削除方法について議論する機会があり、自分の思考を整理するために少しその議論の過程をまとめてみることにしました。…
続きを読む
データベースの論理削除と物理削除
Scalaのコレクションで遅延処理を行う
皆様おはようございます。梅雨もとっくに過ぎ、すっかり夏らしい空模様となりました。埼玉は毎日気温が高くて死にそうです・・・。 さて今回はScalaのコレクションネ…
続きを読む
Scalaのコレクションで遅延処理を行う
Label Studio で教師データ作成
機械学習にとってはデータが重要です。本記事では、機械学習の教師データを作成するときに使える Label Studio というオープンソースのツールについて紹介し…
続きを読む
Label Studio で教師データ作成