CloudWatch Logs + Spark SQL で Rails ActiveJob の実行時間を集計してみた
Rails には主にバックグラウンドで処理を実行できる ActiveJob と言う機能がありますが、先日とあるプロジェクトで、各ジョブの実行時間を集計する必要が…
続きを読む
CloudWatch Logs + Spark SQL で Rails ActiveJob の実行時間を集計してみた
Scala のテストライブラリのバージョン互換の件で苦労した話
とある Spark のプロジェクトのテストに新たに spark-testing-base を追加しようとしたらバージョン互換の件でうまく動か…
続きを読む
Scala のテストライブラリのバージョン互換の件で苦労した話
How to setup Scala Play framework on Docker?
In the previous article we showed you How to setup Scala and SBT on Docker? and …
続きを読む
How to setup Scala Play framework on Docker?
How to setup Scala and SBT on Docker?
In this article we are going to show you how to setup Scala in docker container …
続きを読む
How to setup Scala and SBT on Docker?
Spark 2.x で null を含む JSON を書き出す方法
Spark 2.x では、 DataFrame を JSON に書き出す際、値が null のデータは失われます。 次のコードを見てみましょう: case cl…
続きを読む
Spark 2.x で null を含む JSON を書き出す方法
Scala の Option, Either とエラー処理
Scala ではエラー処理に使えるクラス・仕組みが沢山ありますが、今回は Option, Either を使った方法を色々紹介します。 前提知識として、Scal…
続きを読む
Scala の Option, Either とエラー処理
静的データベースと動的データベース（Spark SQLの小ネタ）
このようなデータベースの種類を分ける概念は一般的にはないと思われますが、「Spark SQL」で開発しているとまさに動的だなぁという思いが湧いてくることが多々あ…
続きを読む
静的データベースと動的データベース（Spark SQLの小ネタ）
Scalaのコレクションで遅延処理を行う
皆様おはようございます。梅雨もとっくに過ぎ、すっかり夏らしい空模様となりました。埼玉は毎日気温が高くて死にそうです・・・。 さて今回はScalaのコレクションネ…
続きを読む
Scalaのコレクションで遅延処理を行う
Scala + Kinesis Client LibraryでKinesisコンシューマーアプリケーションを作る
ここ最近のプロジェクトでKinesisのコンシューマーアプリケーションをScalaで開発・メンテしていたので、何回かに分けてノウハウをメモしておきます。 今回は…
続きを読む
Scala + Kinesis Client LibraryでKinesisコンシューマーアプリケーションを作る
AWS LambdaのJavaランタイムでミドルウェアのコネクションのリークでハマった件
今回はAWS LambdaでJava 8ランタイムを使った際に、Redis等のミドルウェアとのコネクションの管理関連でハマった点を備忘録として残しておきます。A…
続きを読む
AWS LambdaのJavaランタイムでミドルウェアのコネクションのリークでハマった件
(Scala) List[Option[A]]#flattenで起きる事
先日、kojiがOption（scala）の実用的な使い方 − データのマージ処理と言うナイスな記事を書いてくれたので、ScalaのOptionを包括した&nb…
続きを読む
(Scala) List[Option[A]]#flattenで起きる事
Option（Scala）の実用的な使い方 − データのマージ処理
いまいち使いどころを理解できていなかったScalaのOptionですが、データのマージ処理を実装した際に、割と理解しやすいコードが書けたと感じましたのでざっくり…
続きを読む
Option（Scala）の実用的な使い方 − データのマージ処理