[AWS] EventBridge Rules による ECS Scheduled Task はエラー時リトライできない

• Post Author:issei_m
• 投稿公開日:2022-05-18

なので Step Functions を使いましょうと言うお話です。 ある ECS で動いているバッチジョブの定期実行に EventBridge Rules を…

続きを読む [AWS] EventBridge Rules による ECS Scheduled Task はエラー時リトライできない

Goroutines と Channels を使ってジョブを並行化した時のメモ

• Post Author:issei_m
• 投稿公開日:2022-03-18

先日、Go で書かれたとあるバッチジョブのパフォーマンス改善として処理の並行化をするにあたり、今回初めて使った Goroutines, Channels で色々…

続きを読む Goroutines と Channels を使ってジョブを並行化した時のメモ

JMeter gRPC Request で gRPC リクエストを送る方法とハマった点

• Post Author:issei_m
• 投稿公開日:2022-01-17

遅くなりましたが皆様あけましておめでとうございます。今年もどうぞ宜しくお願い致します。 さて、今回とあるプロジェクトで gRPC の API サーバーへの負荷試…

続きを読む JMeter gRPC Request で gRPC リクエストを送る方法とハマった点

Docker による AWS Lambda 関数コンテナイメージ化のすすめ

• Post Author:issei_m
• 投稿公開日:2021-12-06

皆さん Lambda 関数は書いてますか？？ Lambda と言えば現在では多数の言語でのランタイムをサポートしていますが、その中でもコンテナイメージを使った開…

続きを読む Docker による AWS Lambda 関数コンテナイメージ化のすすめ

Scala のテストライブラリのバージョン互換の件で苦労した話

• Post Author:issei_m
• 投稿公開日:2021-11-18

とある Spark のプロジェクトのテストに新たに spark-testing-base を追加しようとしたらバージョン互換の件でうまく動か…

続きを読む Scala のテストライブラリのバージョン互換の件で苦労した話

Vagrant で Linux での最新の Docker 環境を構築

• Post Author:issei_m
• 投稿公開日:2021-10-18

私は普段、 Docker を使った開発では macOS で Docker Desktop for Mac を使う事が多いのですが、今回とあるプロジェクトで Li…

続きを読む Vagrant で Linux での最新の Docker 環境を構築

Go の interface は構造体の利用側が定義すると言う話

• Post Author:issei_m
• 投稿公開日:2021-10-04

Go を業務で使い始めてそろそろ 1 年が経ちました。Go には、これまで私が使ってきた Scala や PHP とは違う特性がいくつかあるのですが、その中でも…

続きを読む Go の interface は構造体の利用側が定義すると言う話

CloudWatch Logs を S3 にエクスポートする際オブジェクトのイベント通知が発生しない場合がある

• Post Author:issei_m
• 投稿公開日:2021-08-25

CloudWatch Logs にはログを S3 にエクスポートする機能があるのですが、この機能を使ってログを S3 にアップロードした際、S3 バケットの&n…

続きを読む CloudWatch Logs を S3 にエクスポートする際オブジェクトのイベント通知が発生しない場合がある

aws-vault を使って AWS IAM のクレデンシャルを安全に管理する

• Post Author:issei_m
• 投稿公開日:2021-06-16

最近、ローカルの開発 PC 上での AWS IAM のクレデンシャルの管理に aws-vault を使い始めてみた所、結構良さそうだったので紹介します。 ローカ…

続きを読む aws-vault を使って AWS IAM のクレデンシャルを安全に管理する

Spark 2.x で null を含む JSON を書き出す方法

• Post Author:issei_m
• 投稿公開日:2021-05-27

Spark 2.x では、 DataFrame を JSON に書き出す際、値が null のデータは失われます。 次のコードを見てみましょう: case cl…

続きを読む Spark 2.x で null を含む JSON を書き出す方法

[GitHub Actions] Secrets や書き込み権限が必要な Workflow を Dependabot からも使えるようにする

• Post Author:issei_m
• 投稿公開日:2021-04-30

先月、とある GitHub リポジトリで使っている Dependabot が送ってくる Pull request の CI が軒並み落ちるようになり、状況を見て…

続きを読む [GitHub Actions] Secrets や書き込み権限が必要な Workflow を Dependabot からも使えるようにする

SparkでDataFrameの内容を単一のファイルに保存する

• Post Author:issei_m
• 投稿公開日:2021-02-01

Sparkで処理したDataFrameをファイルとしてディスクに書き出す際、通常ファイルはパーティションの数分作成されます。 val df = Seq(("Ta…

続きを読む SparkでDataFrameの内容を単一のファイルに保存する