IAM で MFA を強制する方法と CLI での認証方法
今関わっているとあるプロジェクトでは、利用している AWS のリソースを操作するすべてのユーザーに対して MFA (多要素認証) を設定する事を義務付けています…
続きを読む
IAM で MFA を強制する方法と CLI での認証方法
docker-compose.ymlのサービス名にアンダースコアを使うと正しいインターネットホスト名ではなくなる
以前こんな記事を書きました。 AWS CLI v2の公式Dockerイメージが出たみたいなので使ってみた ご存知の通りDocker Composeでは、以下の様…
続きを読む
docker-compose.ymlのサービス名にアンダースコアを使うと正しいインターネットホスト名ではなくなる
24時間稼働でないKinesisストリームの運用で手こずった点
前回に引き続き、Kinesisネタです。今回は、前回紹介したとあるコンシューマアプリケーションの運用で、タイトルにもある通り24時間稼働ではないユースケースでの…
続きを読む
24時間稼働でないKinesisストリームの運用で手こずった点
Scala + Kinesis Client LibraryでKinesisコンシューマーアプリケーションを作る
ここ最近のプロジェクトでKinesisのコンシューマーアプリケーションをScalaで開発・メンテしていたので、何回かに分けてノウハウをメモしておきます。 今回は…
続きを読む
Scala + Kinesis Client LibraryでKinesisコンシューマーアプリケーションを作る
AWS CLI v2の公式Dockerイメージが出たみたいなので使ってみた
既に使っている方も多くいると思いますが、先月AWS CLI v2が正式リリースされました。このバージョンではバイナリが各メジャーなOS毎に用意されていて、Pyt…
続きを読む
AWS CLI v2の公式Dockerイメージが出たみたいなので使ってみた
AWS LambdaのJavaランタイムでミドルウェアのコネクションのリークでハマった件
今回はAWS LambdaでJava 8ランタイムを使った際に、Redis等のミドルウェアとのコネクションの管理関連でハマった点を備忘録として残しておきます。A…
続きを読む
AWS LambdaのJavaランタイムでミドルウェアのコネクションのリークでハマった件
Option（Scala）の実用的な使い方 − データのマージ処理
いまいち使いどころを理解できていなかったScalaのOptionですが、データのマージ処理を実装した際に、割と理解しやすいコードが書けたと感じましたのでざっくり…
続きを読む
Option（Scala）の実用的な使い方 − データのマージ処理
GUIありのWebスクレイピングを定期実行する
GUIありのWebスクレイピングというのは、バックグラウンドではなく実際にGUIでブラウザが立ち上がって、まるでゴーストが勝手にボタンを押しているかのように自動…
続きを読む
GUIありのWebスクレイピングを定期実行する
AWS Lambda でWebスクレイピングできなかったサイトについて
ちょっと前に書いた以下のWebスクレイピングの記事に関してですが、結局AWS Lambdaでは動かすことができず、EC2で妥協したサイトが２種類ほどありましたの…
続きを読む
AWS Lambda でWebスクレイピングできなかったサイトについて
PostgreSQLなRDSでIAM Database Authenticationを使ってみた
最近、とあるPostgreSQLなRDS（Auroraでない）を運用しているのですが、普通にRailsから使っているのとは別に、Lambdaからも接続する要件が…
続きを読む
PostgreSQLなRDSでIAM Database Authenticationを使ってみた
AWS Lambda上でWebスクレイピング
AWS Lambdaは様々なリソースの制限（例えば900秒を超える処理は実行できない等）があるため、スクレイピング処理をうまく動作させるために一苦労しました。こ…
続きを読む
AWS Lambda上でWebスクレイピング
key
S3 の特定のフォルダのみにアクセス権限を与える
背景: S3の権限設定は色々難しい Amazon S3 は、（お金さえ出せば）容量を気にせず色んなファイルを置いておける便利なストレージで、様々な用途に使われて…
続きを読む
S3 の特定のフォルダのみにアクセス権限を与える