Docker による AWS Lambda 関数コンテナイメージ化のすすめ

• Post Author:issei_m
• 投稿公開日:2021-12-06

皆さん Lambda 関数は書いてますか？？ Lambda と言えば現在では多数の言語でのランタイムをサポートしていますが、その中でもコンテナイメージを使った開…

続きを読む Docker による AWS Lambda 関数コンテナイメージ化のすすめ

Scala のテストライブラリのバージョン互換の件で苦労した話

• Post Author:issei_m
• 投稿公開日:2021-11-18

とある Spark のプロジェクトのテストに新たに spark-testing-base を追加しようとしたらバージョン互換の件でうまく動か…

続きを読む Scala のテストライブラリのバージョン互換の件で苦労した話

Vagrant で Linux での最新の Docker 環境を構築

• Post Author:issei_m
• 投稿公開日:2021-10-18

私は普段、 Docker を使った開発では macOS で Docker Desktop for Mac を使う事が多いのですが、今回とあるプロジェクトで Li…

続きを読む Vagrant で Linux での最新の Docker 環境を構築

Go の interface は構造体の利用側が定義すると言う話

• Post Author:issei_m
• 投稿公開日:2021-10-04

Go を業務で使い始めてそろそろ 1 年が経ちました。Go には、これまで私が使ってきた Scala や PHP とは違う特性がいくつかあるのですが、その中でも…

続きを読む Go の interface は構造体の利用側が定義すると言う話

CloudWatch Logs を S3 にエクスポートする際オブジェクトのイベント通知が発生しない場合がある

• Post Author:issei_m
• 投稿公開日:2021-08-25

CloudWatch Logs にはログを S3 にエクスポートする機能があるのですが、この機能を使ってログを S3 にアップロードした際、S3 バケットの&n…

続きを読む CloudWatch Logs を S3 にエクスポートする際オブジェクトのイベント通知が発生しない場合がある

aws-vault を使って AWS IAM のクレデンシャルを安全に管理する

• Post Author:issei_m
• 投稿公開日:2021-06-16

最近、ローカルの開発 PC 上での AWS IAM のクレデンシャルの管理に aws-vault を使い始めてみた所、結構良さそうだったので紹介します。 ローカ…

続きを読む aws-vault を使って AWS IAM のクレデンシャルを安全に管理する

Spark 2.x で null を含む JSON を書き出す方法

• Post Author:issei_m
• 投稿公開日:2021-05-27

Spark 2.x では、 DataFrame を JSON に書き出す際、値が null のデータは失われます。 次のコードを見てみましょう: case cl…

続きを読む Spark 2.x で null を含む JSON を書き出す方法

[GitHub Actions] Secrets や書き込み権限が必要な Workflow を Dependabot からも使えるようにする

• Post Author:issei_m
• 投稿公開日:2021-04-30

先月、とある GitHub リポジトリで使っている Dependabot が送ってくる Pull request の CI が軒並み落ちるようになり、状況を見て…

続きを読む [GitHub Actions] Secrets や書き込み権限が必要な Workflow を Dependabot からも使えるようにする

SparkでDataFrameの内容を単一のファイルに保存する

• Post Author:issei_m
• 投稿公開日:2021-02-01

Sparkで処理したDataFrameをファイルとしてディスクに書き出す際、通常ファイルはパーティションの数分作成されます。 val df = Seq(("Ta…

続きを読む SparkでDataFrameの内容を単一のファイルに保存する

IAM で MFA を強制する方法と CLI での認証方法

• Post Author:issei_m
• 投稿公開日:2020-10-20

今関わっているとあるプロジェクトでは、利用している AWS のリソースを操作するすべてのユーザーに対して MFA (多要素認証) を設定する事を義務付けています…

続きを読む IAM で MFA を強制する方法と CLI での認証方法

AKS上のKubernetesの秘匿情報をAzure Key Vaultで管理する方法

• Post Author:issei_m
• 投稿公開日:2020-09-15

最近AKSでKubernetesを管理しているのですが、SecretオブジェクトをAzure Key Vaultで管理したくなり、調べた所、Azure Key …

続きを読む AKS上のKubernetesの秘匿情報をAzure Key Vaultで管理する方法

docker-compose.ymlのサービス名にアンダースコアを使うと正しいインターネットホスト名ではなくなる

• Post Author:issei_m
• 投稿公開日:2020-08-25

以前こんな記事を書きました。 AWS CLI v2の公式Dockerイメージが出たみたいなので使ってみた ご存知の通りDocker Composeでは、以下の様…

続きを読む docker-compose.ymlのサービス名にアンダースコアを使うと正しいインターネットホスト名ではなくなる