Slackの新しくなったメッセージ取得APIを使用する際に考えなければならないこと色々
全てのメッセージを時系列にまとめて取得できていたchannels.historyが廃止されました。この仕様変更により、APIを利用しているシステムに結構な改修を…
続きを読む
Slackの新しくなったメッセージ取得APIを使用する際に考えなければならないこと色々
SparkでDataFrameの内容を単一のファイルに保存する
Sparkで処理したDataFrameをファイルとしてディスクに書き出す際、通常ファイルはパーティションの数分作成されます。 val df = Seq(("Ta…
続きを読む
SparkでDataFrameの内容を単一のファイルに保存する
BERTのモデル構造をもう少し詳しく
以前にBERTに関する記事を投稿しました BERTについて勉強したことまとめ (1) BERTとは? その特徴と解決しようとした問題、及び予備知識BERTについ…
続きを読む
BERTのモデル構造をもう少し詳しく
Ansibleに関するエラーを解消する
最近遭遇したエラーについて簡単に解消方法を提示します。小さいトピックなので２つのエラーについてまとめていっきに書いてみます。 Homebrewでインストールした…
続きを読む
Ansibleに関するエラーを解消する
MySQL で一意制約が削除できない
基本: 外部キーに使われているインデックスは削除出来ない MySQL でインデックスを削除するときに、以下のようなエラーメッセージが出る事があります。 Cann…
続きを読む
MySQL で一意制約が削除できない
分類のための指標(PrecisionとRecall)の解説
指標はいろいろあって難しい 私が機械学習の勉強を始めた際に、モデルの性能を評価するための指標というものがあるのを知りました。具体的に言うと、sckit-lear…
続きを読む
分類のための指標(PrecisionとRecall)の解説
AWS の session token を簡単に管理する
トークン取得→設定作業が地味に面倒 先日、こんな issei-m がこんな投稿をしました。 IAM で MFA を強制する方法と CLI での認証方法 – もば…
続きを読む
AWS の session token を簡単に管理する
kedroのモデルを読み込むパイプラインにおいて、同じ型のモデルを切り替える
kedroのパイプラインで、同じ型のモデルを差し替えて利用する方法を、私が分かった＆やってみた範囲で紹介します。 例えば、BERTとELECTRAにおいて、どち…
続きを読む
kedroのモデルを読み込むパイプラインにおいて、同じ型のモデルを切り替える
IAM で MFA を強制する方法と CLI での認証方法
今関わっているとあるプロジェクトでは、利用している AWS のリソースを操作するすべてのユーザーに対して MFA (多要素認証) を設定する事を義務付けています…
続きを読む
IAM で MFA を強制する方法と CLI での認証方法
Scala の Option, Either とエラー処理
Scala ではエラー処理に使えるクラス・仕組みが沢山ありますが、今回は Option, Either を使った方法を色々紹介します。 前提知識として、Scal…
続きを読む
Scala の Option, Either とエラー処理
静的データベースと動的データベース（Spark SQLの小ネタ）
このようなデータベースの種類を分ける概念は一般的にはないと思われますが、「Spark SQL」で開発しているとまさに動的だなぁという思いが湧いてくることが多々あ…
続きを読む
静的データベースと動的データベース（Spark SQLの小ネタ）
kedro触ってみた
PyTorchで学習周りのコードを書いてたのですが、今後も検証を勧めていく上で、実験結果の記録やパラメータ変更や複数モデルの比較などをするために、何らかの学習周…
続きを読む
kedro触ってみた