没有使用TwitterUtils和Spark Streaming获得任何推文

时间:2016-03-28 09:14:00

标签: scala twitter apache-spark spark-streaming

所以,我一直试图用scala语言使用TwitterUtils和Spark Streaming来获取推文。这是我的代码到目前为止,我认为它应该足以实现我正在寻找的东西,但似乎它没有得到任何推文。输出是这样的:

时间:1312300000

//推文应该出现在这里

时间:1312360000

import org.apache.spark.streaming.{Seconds, StreamingContext}
import org.apache.spark.SparkContext._
import org.apache.spark.streaming.twitter._
import org.apache.spark.SparkConf
import java.io._
import scala.collection.mutable.ArrayBuffer

object TwitterPopularTags {

    def main(filtroLoc: Array[String]): Unit = {


    System.setProperty("twitter4j.oauth.consumerKey", CONSUMERKEY)
    System.setProperty("twitter4j.oauth.consumerSecret", CONSUMERSECRET)
    System.setProperty("twitter4j.oauth.accessToken", ACCESSTOKEN)
    System.setProperty("twitter4j.oauth.accessTokenSecret", ACCESSTOKENSECRET)

    val ssc = new StreamingContext("local[2]", "TwitterPopularTags", Seconds(60),System.getenv("SPARK_HOME"))
    val stream = TwitterUtils.createStream(ssc, None)
    stream.print


        ssc.start()
        ssc.awaitTermination()
    }
}

1 个答案:

答案 0 :(得分:0)

我遇到了同样的问题,但是随后我使用了不同的consumerKey,consumerSecret,accessToken,accessTokenSecret,并且能够获得这些推文。