pyspark里怎么把类似‘yyyy-mm-dd‘的字符串转成星期几的形式?

  算法/数据结构/数据库 Spark    浏览次数:2207        分享
0

比如表里有一列date_str是yyyy-mm-dd字符串形式的日期,怎么把这列转成星期几的形式?

 

chang   2019-09-05 22:17



   1个回答 
3

先引用一下F

from pyspark.sql import functions as F

然后用下面的表达式提取星期几

F.from_unixtime(F.unix_timestamp(F.col('date_str'), 'yyyy-mm-dd'), 'u')

得到1到7的整数,1是星期一,2是星期二,等等等

SofaSofa数据科学社区DS面试题库 DS面经

kidd23   2019-09-08 14:51



  相关讨论

pyspark的dataframe里怎么count每一列的null的数量?

pyspark获取当月的最后一天的日期?

pyspark里怎么查看一个dataframe的schema?

怎么在pyspark中查看一个表格的partition?

pyspark里转成整数型报错TypeError: unexpected type:

怎么对pyspark的dataframe进行随机抽样?

怎么用pyspark取出hive表里的json串中某一个key的值?

hive和spark sql的区别是什么?

pyspark里怎么求百分位数?

如何获取pyspark DataFrame的行数和列数?

  随便看看

回归中自变量和因变量的相关系数和回归系数(斜率)有什么关系?

用一个骰子生成1到7的随机数?

统计学中的自变量和因变量分别是什么意思?

R里线性回归结果中最后的F-statistic什么意思?有什么用?

什么是混淆矩阵(confusion matrix)