如何按Spark SQL中的日期范围进行筛选

时间:2015-11-26 12:30:45

标签: scala apache-spark apache-spark-sql

我正在尝试使用数据块从以下数据中过滤日期范围,数据块返回null作为响应。 我的csv数据如下:

ID, Desc, Week_Ending_Date
100, AAA, 13-06-2015
101, BBB, 11-07-2015
102, CCC, 15-08-2015
103, DDD, 05-09-2015
100, AAA, 29-08-2015
100, AAA, 22-08-2015

我的查询是:

df.select(df("ID"), date_format(df("Week_Ending_Date"), "yyyy-MM-dd"))
.filter(date_format(df("Week_Ending_Date"), "yyyy-MM-  dd").between("2015-07-05", "2015-09-02"))

非常感谢任何帮助。

1 个答案:

答案 0 :(得分:8)

从我的头脑中,我会通过在阅读时转换日期列然后使用别名来应用过滤器来完成以下操作:

 
@if(Session::has('flash_message'))
    <div class="alert alert-success"><span class="glyphicon glyphicon-ok"></span><em> {!! session('flash_message') !!}</em></div>
@endif
相关问题