Spark ガンマン


Spark 版ガンマンです。

databricks (無料のCommunity Edition)で実験。


databricksのSparkスクリプト(python)


  • Twitter のトレンドワードをKafka経由で取得し、
  • Spark で RDD にして(parallelize)、
  • mapとsort で時刻情報だけのRDDに成形し、
  • reduceで最新時刻を取得し、
  • ガンマン時計を表示します。

※databricksは、Sparkクラウドサービスで、
 スクリプトを記述して、Shift+Enterで実行ができる。

databricks での実行結果

■ワーク

databricks
DashBoard
presented DashBoard
Twitter->Kafka
[ ガンマンのページへ戻る ]