本文目录一览:
python中时间序列数据的一些处理方式
datetime.timedelta对象代表两个时间之间的时间差,两个date或datetime对象相减就可以返回一个timedelta对象。
利用以下数据进行说明:
如果我们发现时间相关内容的变量为int,float,str等类型,不方便后面的分析,就需要使用该函数转化为常用的时间变量格式:pandas.to_datetime
转换得到的时间单位如下:
如果时间序列格式不统一,pd.to_datetime()的处理方式:
当然,正确的转换是这样的:
第一步:to_datetime()
第二步:astype(datetime64[D]),astype(datetime64[M])
本例中:
order_dt_diff必须是Timedelta('0 days 00:00:00')格式,可能是序列使用了diff()
或者pct_change()。
前者往往要通过'/np.timedelta'去掉单位days。后者其实没有单位。
假如我们要统计某共享单车一天内不同时间点的用户使用数据,例如
还有其他维度的提取,年、月、日、周,参见:
Datetime properties
注意 :.dt的对象必须为pandas.Series,而不可以是Series中的单个元素
Pandas-时间序列基础
Python标准库中包含用于日期和时间的数据类型,而且还有日历方面的功能,我们主要会用到datetime、time和calendar模块,datetime.datetime是用的最多的数据类型。
datetime以毫秒形式存储日期和时间,datetime.timedelta表示两个datetime对象之间的时间差.
可以给datetime对象加上或者减去一个或多个timedelta,会产生一个新对象:
利用str或者strftime方法,datetime对象和pandas的Timestamp对象可以被格式化为字符串:
datetime.strptime也可以用这些格式化编码将字符串转化为日期:
datetime.strptime是通过已知格式进行日期解析的最佳方式,但是每次都要编写格式定义很麻烦,尤其是对于一些常见的日期格式,这种情况下,可以用dateutil这个第三方包中的parser.parse方法,dateutil可以解析几乎所有人类能够理解的日期表示形式:
在国际通用格式中,日通常出现在月的前面,传入dayfirst=True即可:
pandas通常是用于处理成组日期的,不管这些日期是DataFrame的轴索引还是列,to_datetime方法可以解析多种不同的日期表示形式。
to_datetime可以处理缺失值,NAT是pandas中时间戳数据的NA值:
pandas最基本的时间序列类型就是以时间戳为索引的Series:
这里的Series索引不是普通的索引,而是DatetimeIndex,而ts变为了一个TimeSeries,同时,可以看到,pandas用Numpy的datetime64数据类型以纳秒形式存储时间戳。
跟其他Series一样,不同索引的时间序列之间的算数运算会自动对齐:
DateTimeIndex中的各个标量值是pandas的Timestamp对象.
由于TimeSeries是Series的一个子类,所以在索引以及数据选曲方面他们的行为是一样的,但是我们还可以传入一个可以被解释为日期的字符串来进行索引:
对于较长的时间序列,只需传入年或年月即可轻松选取数据的切片:
通过日期进行切片的方式只对规则Series有效:
还有一个等价的实例方法也可以截取两个日期之间的TimeSeries:
DataFrame也同样适用上面的规则
pandas中的时间序列一般被认为是不规则的,也就是说,没有固定的频率,对于大部分程序而言,这是无所谓的,但是,他常常需要以某种相对固定的频率进行分析,比如每月,每日,每15min等。pandas有一套标准时间序列频率以及用于重采样,频率推断,生成固定频率日期范围的工具.
例如,我们可以将之前的时间序列转换为一个具有固定频率(每日)的时间序列,只需调用resample即可.返回DatetimeIndexResampler,获取值使用asfreq():
生成日期范围使用date_range函数
默认情况下,date_range会产生按天计算的时间点,如果只传入起始或结束日期,那就还得传入一个表示一段时间的数字:
如果你不想按天生成数据,想要按照一定的频率生成,我们传入freq参数即可.如想按5小时生成数据:
如果你想生成一个由每月最后一个工作日组成的日期索引,可以使用BM频率:
date_range默认会保留起始和结束的时间戳的时间信息,但是如果我们想产生一组规范化到午夜的时间戳,normalize选项可以实现这个功能:
WOM(week of Month)是一种非常实用的频率类,它以WOM开头,它使你能获得诸如每月第三个星期五之类的日期:
python中datetime怎么设置时区
1、默认情况下,pandas中的时间序列是单纯(naive)的时区,其索引的tz字段为None。
2、可以用时区集生成日期范围。
3、从单纯到本地化的转换是通过tz_localize方法处理的。
4、一旦时间序列被本地化到某个特定时区,就可以用tz_convert将其转换到别的时区了。
5、对于上面这种时间序列(它跨越了美国东部时区的夏令时转变期),我们可以将其本地化到EST,再转换为UTC或柏林时间。