Spark ガンマン
Spark 版ガンマンです。
databricks
(無料のCommunity Edition)で実験。
databricksのSparkスクリプト(python)
Twitter のトレンドワードをKafka経由で取得し、
Spark で RDD にして(parallelize)、
mapとsort で時刻情報だけのRDDに成形し、
reduceで最新時刻を取得し、
ガンマン時計を表示します。
※databricksは、Sparkクラウドサービスで、
スクリプトを記述して、Shift+Enterで実行ができる。
databricks での実行結果
========================================================================================= (1) request to produce Kafka message request to produce Kafka message... [https://gunclocks-rails.herokuapp.com/gunclocks/tweet] wait for Kafka message... kafka message received. ========================================================================================= (2) listing as csvdata -------------------------------------------------------------------------------- 0,0005,2017-08-05 13:25:40 +0000,1324nk,宮城の花火大会テロみたいになってんのウケる<br>,2,4867 1,0009,2017-08-05 13:25:40 +0000,minorie10,RT @_amatsuki_: 本日はStars on planet神戸公演！<br>これから昼の部！<br>本日で今年のスタプラはファイナル！<br>盛大に打ち上がりたい！神戸も花火大会だし！<br><br>そのまま綺麗に散って灰となり風に乗り、大地に還ります！ありがとうございます！<br><br>よろしくねーー！！…<br>,3,4808 2,0001,2017-08-05 13:25:41 +0000,m_y_120131,どあああああ<br>ﾊﾞｲﾄ疲れたああああああ<br>明日は玉野花火大会やああああ<br>えれええええええええ<br>,0,4902 3,0003,2017-08-05 13:25:41 +0000,puni8puni885,【淀川花火大会影響】梅田駅が人多すぎて地獄絵図に・・カオスすぎる現場光景がこちら（画像） https://t.co/RloRHneE0T<br>,0,4903 4,0004,2017-08-05 13:25:40 +0000,fly_omelet,手賀沼も日立台も花火大会だったわ https://t.co/X3bbR5EwK2<br>,0,4904 5,0010,2017-08-05 13:25:40 +0000,Cain_LOVEs_Rika,RT @BCopine: ・<br>・<br>ワクワク♡<br>・<br>#けずりイチゴ美味しすぎる！<br>#花火#夏#いちご @ いたばし花火大会 https://t.co/1PF5YYidjX<br>,0,4905 6,0002,2017-08-05 13:25:41 +0000,koma1001koma,RT @ryunosukeguitar: 【拡散希望】<br>8/5は、淀川の花火大会いうことで<br>約1時間でオリジナルを作ってみました🎇<br>「甘いラムネは恋の味🎐」<br>甘酸っぱい、切ない曲になりました<br>是非聴いてみてください😊 https://t.co/kM3ySe0n5B<br>,4,4865 7,0006,2017-08-05 13:25:40 +0000,hrk00107,@unchicchi01 😆名前:<br>📷写真撮れるか:<br>💭彼氏彼女いそう？:<br>💗好きor嫌い:<br>🌹付き合えるか:<br>💙通話できる？:<br>👘花火大会行ける？:<br>🐷家族にするとしたら:<br><br>いいね押したらやります！😁<br>,4,4866 8,0007,2017-08-05 13:25:40 +0000,aoi_satogo,RT @sivaeri: 沼津夏まつり・狩野川花火大会お疲れ様でした！<br>ってことで浴衣ルビィちゃん！！<br>ほんとうに素敵なイベントでした…😇<br>未熟DREAMERは本当に感動しました<br><br>ふりりんの浴衣と髪型がめちゃくちゃかわいかったので<br>ルビィちゃんで再現を🍭<br>(2ndでプレボに突…<br>,1,4893 9,0008,2017-08-05 13:25:40 +0000,Akabudou100,@kuniponnnnn あー、そっちの花火大会あったらしいね<br>岡山もあったし<br>,1,4894 -------------------------------------------------------------------------------- ========================================================================================= (3) create RDD from csvdata [python] rdd = sc.parallelize(csvdata).map(lambda line: line.split(","))) [result: rdd] -------------------------------------------------------------------------------- #, seq, dateTime, user-id, tweet-message, partition, offset -------------------------------------------------------------------------------- 0, 0005, 2017-08-05 13:25:40 +0000, 1324nk, 宮城の花火大会テロみたいになってんのウケ..., 2, 4867 1, 0009, 2017-08-05 13:25:40 +0000, minorie10, RT @_amatsuki_: 本日はS..., 3, 4808 2, 0001, 2017-08-05 13:25:41 +0000, m_y_120131, どあああああ<br>ﾊﾞｲﾄ疲れたあああ..., 0, 4902 3, 0003, 2017-08-05 13:25:41 +0000, puni8puni885, 【淀川花火大会影響】梅田駅が人多すぎて地..., 0, 4903 4, 0004, 2017-08-05 13:25:40 +0000, fly_omelet, 手賀沼も日立台も花火大会だったわ htt..., 0, 4904 5, 0010, 2017-08-05 13:25:40 +0000, Cain_LOVEs_Rika, RT @BCopine: ・<br>・<..., 0, 4905 6, 0002, 2017-08-05 13:25:41 +0000, koma1001koma, RT @ryunosukeguitar:..., 4, 4865 7, 0006, 2017-08-05 13:25:40 +0000, hrk00107, @unchicchi01 😆名前:<br..., 4, 4866 8, 0007, 2017-08-05 13:25:40 +0000, aoi_satogo, RT @sivaeri: 沼津夏まつり・..., 1, 4893 9, 0008, 2017-08-05 13:25:40 +0000, Akabudou100, @kuniponnnnn あー、そっちの..., 1, 4894 -------------------------------------------------------------------------------- ========================================================================================= (4) map(change column-order) & sort(by seq-number) [python] rdd2 = rdd.map(lambda d: d[0:2] + d[5:7] + d[2:5]).sortBy(lambda d: d[1]) [result: rdd2] -------------------------------------------------------------------------------- #, seq, pt, ofs, dateTime, user-id, tweet-message -------------------------------------------------------------------------------- 2, 0001, 0, 4902, 2017-08-05 13:25:41 +0000, m_y_120131, どあああああ<br>ﾊﾞｲﾄ疲れたあああ... 6, 0002, 4, 4865, 2017-08-05 13:25:41 +0000, koma1001koma, RT @ryunosukeguitar:... 3, 0003, 0, 4903, 2017-08-05 13:25:41 +0000, puni8puni885, 【淀川花火大会影響】梅田駅が人多すぎて地... 4, 0004, 0, 4904, 2017-08-05 13:25:40 +0000, fly_omelet, 手賀沼も日立台も花火大会だったわ htt... 0, 0005, 2, 4867, 2017-08-05 13:25:40 +0000, 1324nk, 宮城の花火大会テロみたいになってんのウケ... 7, 0006, 4, 4866, 2017-08-05 13:25:40 +0000, hrk00107, @unchicchi01 😆名前:<br... 8, 0007, 1, 4893, 2017-08-05 13:25:40 +0000, aoi_satogo, RT @sivaeri: 沼津夏まつり・... 9, 0008, 1, 4894, 2017-08-05 13:25:40 +0000, Akabudou100, @kuniponnnnn あー、そっちの... 1, 0009, 3, 4808, 2017-08-05 13:25:40 +0000, minorie10, RT @_amatsuki_: 本日はS... 5, 0010, 0, 4905, 2017-08-05 13:25:40 +0000, Cain_LOVEs_Rika, RT @BCopine: ・<br>・<... -------------------------------------------------------------------------------- ========================================================================================= (5) map(select column) [python] rdd_time = rdd2.map(lambda d: d[4]) [result: rdd_time] -------------------------------------------------------------------------------- dateTime -------------------------------------------------------------------------------- 2017-08-05 13:25:41 +0000 2017-08-05 13:25:41 +0000 2017-08-05 13:25:41 +0000 2017-08-05 13:25:40 +0000 2017-08-05 13:25:40 +0000 2017-08-05 13:25:40 +0000 2017-08-05 13:25:40 +0000 2017-08-05 13:25:40 +0000 2017-08-05 13:25:40 +0000 2017-08-05 13:25:40 +0000 -------------------------------------------------------------------------------- ========================================================================================= (6) reduce (compareTime) [python] ------------------------------------- def compareTime( t1, t2 ): if ( t1 > t2 ): return t1 else: return t2 guessedCurrentTime = rdd_time.reduce(compareTime) ------------------------------------- [result: guessedCurrentTime] -------------------------------------------------------------------------------- 2017-08-05 13:25:41 +0000 -------------------------------------------------------------------------------- -------------------------------------------------------------------------------- 2017-08-05 22:25:41+09:00 [JST] -------------------------------------------------------------------------------- ========================================================================================= (7) GunClock -------------------------------------------------------------------------------- 12 + + __ _|__|_ _______ b (@@) |22:25| + V|~~|> ~~~~~~~ //T| ::: ::: 9 :: 3 ## ## ## + __AA + | 6 |__P ~~| l + /_/~l_l 6 --------------------------------------------------------------------------------
■ワーク
databricks
DashBoard
presented DashBoard
Twitter->Kafka
[
ガンマンのページへ戻る
]