Spark 2.x で null を含む JSON を書き出す方法

• Post Author:issei_m
• 投稿公開日:2021-05-27

Spark 2.x では、 DataFrame を JSON に書き出す際、値が null のデータは失われます。 次のコードを見てみましょう: case cl…

続きを読む Spark 2.x で null を含む JSON を書き出す方法

AnsibleのEC2インベントリ機能を使って自動でIPアドレスを割り当てる

• Post Author:koji
• 投稿公開日:2021-05-26

Ansibleのec2.pyを使ったインベントリが出来なくなったということで、その改修作業について書こうと思ったのですが、これについては良くまとまっている記事が…

続きを読む AnsibleのEC2インベントリ機能を使って自動でIPアドレスを割り当てる

[GitHub Actions] Secrets や書き込み権限が必要な Workflow を Dependabot からも使えるようにする

• Post Author:issei_m
• 投稿公開日:2021-04-30

先月、とある GitHub リポジトリで使っている Dependabot が送ってくる Pull request の CI が軒並み落ちるようになり、状況を見て…

続きを読む [GitHub Actions] Secrets や書き込み権限が必要な Workflow を Dependabot からも使えるようにする

Terraform で秘密情報を扱う

• Post Author:中の人（管理者）
• 投稿公開日:2021-03-25

Terraform を使うとインフラの構成がコード化される、Infrastructure as Code (IoC) という利点があります。そして、Terraf…

続きを読む Terraform で秘密情報を扱う

Windows 版 Amazon WorkSpaces での開発

• Post Author:中の人（管理者）
• 投稿公開日:2021-03-15

背景 とあるお客様のお仕事では、Amazon WorkSpaces の環境が各人に渡されて、そこでほぼ全ての作業が行われます。 Amazon WorkSpace…

続きを読む Windows 版 Amazon WorkSpaces での開発

ELECTRAの解説

• Post Author:miyamonz
• 投稿公開日:2021-03-01

今日はBERTの派生モデルであるELECTRAを解説しようと思います。 BERTに関しては、過去にもブログ記事を投稿していますので良かったら御覧ください。 BE…

続きを読む ELECTRAの解説

Slackの新しくなったメッセージ取得APIを使用する際に考えなければならないこと色々

• Post Author:koji
• 投稿公開日:2021-02-26

全てのメッセージを時系列にまとめて取得できていたchannels.historyが廃止されました。この仕様変更により、APIを利用しているシステムに結構な改修を…

続きを読む Slackの新しくなったメッセージ取得APIを使用する際に考えなければならないこと色々

SparkでDataFrameの内容を単一のファイルに保存する

• Post Author:issei_m
• 投稿公開日:2021-02-01

Sparkで処理したDataFrameをファイルとしてディスクに書き出す際、通常ファイルはパーティションの数分作成されます。 val df = Seq(("Ta…

続きを読む SparkでDataFrameの内容を単一のファイルに保存する

BERTのモデル構造をもう少し詳しく

• Post Author:miyamonz
• 投稿公開日:2021-01-29

以前にBERTに関する記事を投稿しました BERTについて勉強したことまとめ (1) BERTとは? その特徴と解決しようとした問題、及び予備知識BERTについ…

続きを読む BERTのモデル構造をもう少し詳しく

Ansibleに関するエラーを解消する

• Post Author:koji
• 投稿公開日:2021-01-20

最近遭遇したエラーについて簡単に解消方法を提示します。小さいトピックなので２つのエラーについてまとめていっきに書いてみます。 Homebrewでインストールした…

続きを読む Ansibleに関するエラーを解消する

MySQL で一意制約が削除できない

• Post Author:中の人（管理者）
• 投稿公開日:2021-01-19

基本: 外部キーに使われているインデックスは削除出来ない MySQL でインデックスを削除するときに、以下のようなエラーメッセージが出る事があります。 Cann…

続きを読む MySQL で一意制約が削除できない

分類のための指標(PrecisionとRecall)の解説

• Post Author:miyamonz
• 投稿公開日:2020-12-03

指標はいろいろあって難しい 私が機械学習の勉強を始めた際に、モデルの性能を評価するための指標というものがあるのを知りました。具体的に言うと、sckit-lear…

続きを読む 分類のための指標(PrecisionとRecall)の解説