CloudWatch Logs を S3 にエクスポートする際オブジェクトのイベント通知が発生しない場合がある

• Post Author:issei_m
• 投稿公開日:2021-08-25

CloudWatch Logs にはログを S3 にエクスポートする機能があるのですが、この機能を使ってログを S3 にアップロードした際、S3 バケットの&n…

続きを読む CloudWatch Logs を S3 にエクスポートする際オブジェクトのイベント通知が発生しない場合がある

aws-vault を使って AWS IAM のクレデンシャルを安全に管理する

• Post Author:issei_m
• 投稿公開日:2021-06-16

最近、ローカルの開発 PC 上での AWS IAM のクレデンシャルの管理に aws-vault を使い始めてみた所、結構良さそうだったので紹介します。 ローカ…

続きを読む aws-vault を使って AWS IAM のクレデンシャルを安全に管理する

Spark 2.x で null を含む JSON を書き出す方法

• Post Author:issei_m
• 投稿公開日:2021-05-27

Spark 2.x では、 DataFrame を JSON に書き出す際、値が null のデータは失われます。 次のコードを見てみましょう: case cl…

続きを読む Spark 2.x で null を含む JSON を書き出す方法

[GitHub Actions] Secrets や書き込み権限が必要な Workflow を Dependabot からも使えるようにする

• Post Author:issei_m
• 投稿公開日:2021-04-30

先月、とある GitHub リポジトリで使っている Dependabot が送ってくる Pull request の CI が軒並み落ちるようになり、状況を見て…

続きを読む [GitHub Actions] Secrets や書き込み権限が必要な Workflow を Dependabot からも使えるようにする

SparkでDataFrameの内容を単一のファイルに保存する

• Post Author:issei_m
• 投稿公開日:2021-02-01

Sparkで処理したDataFrameをファイルとしてディスクに書き出す際、通常ファイルはパーティションの数分作成されます。 val df = Seq(("Ta…

続きを読む SparkでDataFrameの内容を単一のファイルに保存する

IAM で MFA を強制する方法と CLI での認証方法

• Post Author:issei_m
• 投稿公開日:2020-10-20

今関わっているとあるプロジェクトでは、利用している AWS のリソースを操作するすべてのユーザーに対して MFA (多要素認証) を設定する事を義務付けています…

続きを読む IAM で MFA を強制する方法と CLI での認証方法

AKS上のKubernetesの秘匿情報をAzure Key Vaultで管理する方法

• Post Author:issei_m
• 投稿公開日:2020-09-15

最近AKSでKubernetesを管理しているのですが、SecretオブジェクトをAzure Key Vaultで管理したくなり、調べた所、Azure Key …

続きを読む AKS上のKubernetesの秘匿情報をAzure Key Vaultで管理する方法

docker-compose.ymlのサービス名にアンダースコアを使うと正しいインターネットホスト名ではなくなる

• Post Author:issei_m
• 投稿公開日:2020-08-25

以前こんな記事を書きました。 AWS CLI v2の公式Dockerイメージが出たみたいなので使ってみた ご存知の通りDocker Composeでは、以下の様…

続きを読む docker-compose.ymlのサービス名にアンダースコアを使うと正しいインターネットホスト名ではなくなる

Scalaのコレクションで遅延処理を行う

• Post Author:issei_m
• 投稿公開日:2020-08-17

皆様おはようございます。梅雨もとっくに過ぎ、すっかり夏らしい空模様となりました。埼玉は毎日気温が高くて死にそうです・・・。 さて今回はScalaのコレクションネ…

続きを読む Scalaのコレクションで遅延処理を行う

24時間稼働でないKinesisストリームの運用で手こずった点

• Post Author:issei_m
• 投稿公開日:2020-05-21

前回に引き続き、Kinesisネタです。今回は、前回紹介したとあるコンシューマアプリケーションの運用で、タイトルにもある通り24時間稼働ではないユースケースでの…

続きを読む 24時間稼働でないKinesisストリームの運用で手こずった点

Scala + Kinesis Client LibraryでKinesisコンシューマーアプリケーションを作る

• Post Author:issei_m
• 投稿公開日:2020-05-14

ここ最近のプロジェクトでKinesisのコンシューマーアプリケーションをScalaで開発・メンテしていたので、何回かに分けてノウハウをメモしておきます。 今回は…

続きを読む Scala + Kinesis Client LibraryでKinesisコンシューマーアプリケーションを作る

JAVA_TOOL_OPTIONS環境変数でAWS Lambda関数のシステムプロパティを設定する

• Post Author:issei_m
• 投稿公開日:2020-04-16

最近AWS Lambdaをよく使う事があり、色々知見が溜まってきました。今回はAWS Lambdaに直接関係がないトピックですが、JavaアプリケーションをLa…

続きを読む JAVA_TOOL_OPTIONS環境変数でAWS Lambda関数のシステムプロパティを設定する