AWS AthenaでINSERTするときに困ったこと
AWS Athenaを分析ツール（読み込み）として使ってみた系の記事はたくさんあるのですが、書き込み（INSERT）に関する記事が充実していないために調べるのに…
続きを読む
AWS AthenaでINSERTするときに困ったこと
AnsibleのEC2インベントリ機能を使って自動でIPアドレスを割り当てる
Ansibleのec2.pyを使ったインベントリが出来なくなったということで、その改修作業について書こうと思ったのですが、これについては良くまとまっている記事が…
続きを読む
AnsibleのEC2インベントリ機能を使って自動でIPアドレスを割り当てる
Slackの新しくなったメッセージ取得APIを使用する際に考えなければならないこと色々
全てのメッセージを時系列にまとめて取得できていたchannels.historyが廃止されました。この仕様変更により、APIを利用しているシステムに結構な改修を…
続きを読む
Slackの新しくなったメッセージ取得APIを使用する際に考えなければならないこと色々
Ansibleに関するエラーを解消する
最近遭遇したエラーについて簡単に解消方法を提示します。小さいトピックなので２つのエラーについてまとめていっきに書いてみます。 Homebrewでインストールした…
続きを読む
Ansibleに関するエラーを解消する
静的データベースと動的データベース（Spark SQLの小ネタ）
このようなデータベースの種類を分ける概念は一般的にはないと思われますが、「Spark SQL」で開発しているとまさに動的だなぁという思いが湧いてくることが多々あ…
続きを読む
静的データベースと動的データベース（Spark SQLの小ネタ）
データベースの論理削除と物理削除
最近、開発をしていてユーザーログイン情報テーブルの削除方法について議論する機会があり、自分の思考を整理するために少しその議論の過程をまとめてみることにしました。…
続きを読む
データベースの論理削除と物理削除
Vagrant環境でRailsのリモートデバッグ（ブレークポイント使用可能）
基本的には以下の記事の流れに沿ってインストールすれば良いのですが、ある程度インフラに精通していないと完了までに結構はまることになると思いますので、重要なポイント…
続きを読む
Vagrant環境でRailsのリモートデバッグ（ブレークポイント使用可能）
Firebaseのためのお手軽な開発環境２
以下の記事の続きです。今回はFirebaseの認証機能を実装をすることと実際にデプロイして動くことを試してみたいと思います。 https://engineeri…
続きを読む
Firebaseのためのお手軽な開発環境２
Firebaseのためのお手軽な開発環境
Firebaseのプロトタイプを作る必要があったため、ReactからFirebaseを操作できる開発環境をdockerで作ってみました。お手軽感はかなり高いと思…
続きを読む
Firebaseのためのお手軽な開発環境
Option（Scala）の実用的な使い方 − データのマージ処理
いまいち使いどころを理解できていなかったScalaのOptionですが、データのマージ処理を実装した際に、割と理解しやすいコードが書けたと感じましたのでざっくり…
続きを読む
Option（Scala）の実用的な使い方 − データのマージ処理
GUIありのWebスクレイピングを定期実行する
GUIありのWebスクレイピングというのは、バックグラウンドではなく実際にGUIでブラウザが立ち上がって、まるでゴーストが勝手にボタンを押しているかのように自動…
続きを読む
GUIありのWebスクレイピングを定期実行する
AWS Lambda でWebスクレイピングできなかったサイトについて
ちょっと前に書いた以下のWebスクレイピングの記事に関してですが、結局AWS Lambdaでは動かすことができず、EC2で妥協したサイトが２種類ほどありましたの…
続きを読む
AWS Lambda でWebスクレイピングできなかったサイトについて