Mongodb设置TTL索引自动清除数据与过期数据的方法

作者:计算机专家

MongoDB TTL索引的实例详解

Mongodb通常会被用来存储缓存数据或大尺寸、低价值的数据,对于这些类型的数据,数据量往往非常大,如果不定期清理,不但会影响性能,也会浪费大量的系统资源。

MongoDB中存在一种索引,叫做TTL索引(time-to-live index,具有生命周期的索引),这种索引允许为每一个文档设置一个超时时间。一个文档达到预设置的老化程度后就会被删除。

TTL索引是一种特殊类型的单字段索引,主要用于当满足某个特定时间之后自动删除相应的文档。也就是说集合中的文档有一定的有效期,超过有效期的文档就会失效,会被移除。也即是数据会过期。过期的数据无需保留,这种情形适用于如机器生成的事件数据,日志和会话信息等等。本文主要描述TTL索引的使用。

Mongodb其实可以像Redis一样设置数据的过期时间,TTL索引是MongoDB中一种特殊的索引,可以支持文档在一定时间之后自动过期删除,目前TTL索引只能在单字段上建立。

数据到期对于某些类型的信息非常有用,例如机器生成的事件数据,日志和会话信息,这些信息只需要在数据库中保存有限的时间。

一、TTL索引

当你在集合中某一个字段建立TTL索引后,后台会有一个单线程,通过不断查询索引的值来判断document是否有过期,并且删除文档的动作还依据mongod实例的负载情况,如果负载很高,可能会稍微延后一段时间再删除。

在createIndex中指定expireAfterSeconds选项就可以创建一个TTL索引:

创建方法 db.collection.createIndex options: expireAfterSeconds 指定多少秒或者包含日期值的数组创建示例 db.eventlog.createIndex( { "lastModifiedDate": 1 }, { expireAfterSeconds: 3600 } ) 何时失效 在指定的时间达到后失效,也即是索引字段的值加上一个特定的秒数之后 如果索引字段是一个数组,即索引字段上存在着多个日期值,此时MongoDB取最小值加上失效时间 对于非日期字段或不包含日期数组的索引字段,文档不会失效 对于不包含索引字段的文档,文档不会失效删除操作 mongod的一个后台线程会读取索引的值并将失效的文档从集合移除 当TTL线程被激活后,可以从db.currentOp()或者从profile观察到删除操作何时删除 当基于后台方式创建索引时,TTL线程能够在索引创建期间开始删除失效文档 当基于前台方式创建索引时,TTL线程在索引创建完成后开始删除失效文档 TTL索引的删除不能完全保证失效期后一定删除,存在一定延迟 TTL删除文档后台线程每60s移除失效文档 在副本集环境中,TTL后台线程仅仅在主副本上工作,辅助副本上由复制操作实现 在使用TTL索引查询时,与使用非TTL索引一样一些限制 不能基于已经存在索引的字段创建TTL索引以及非日期字段创建TTL索引,文档不会失效 TTL索引不支持基于多个字段的复合索引 不支持定长集合

创建TTL索引方法:

// 超时时间为24小时,默认是前台运行,可以通过background:true设置为后台模式db.user_session.createIndex({"updated":1},{expireAfterSeconds:60*60*24});

二、TTL索引示例

和普通索引的创建方法一样,只是会多加一个属性而已

这样在updated字段上创建了一个TTL索引。如果一个文档的updated字段存在并且它的值是日期类型,当服务器时间比文档的updated字段的时间晚expireAfterSeconds秒时,文档就会被删除。

# mongo --shell localhost:27000 TTLData.js MongoDB shell version: 3.2.11connecting to: localhost:27000/testrepSetTest:PRIMARY> addTTLTestData() //添加集合数据Create three records in database each with a create time that is 1 minute apartCreated three test documents, oldest being 4 mins oldNow create a TTL index with expiry of 5 mins on the createDate field as followsdb.ttlTest.ensureIndex({createDate:1}, {expireAfterSeconds:300})repSetTest:PRIMARY> db.ttlTest.find() //当前向集合里插入了3个文档{ "_id" : 1, "createDate" : ISODate("2017-03-10T03:23:01.169Z") }{ "_id" : 2, "createDate" : ISODate("2017-03-10T03:24:01.169Z") }{ "_id" : 3, "createDate" : ISODate("2017-03-10T03:25:01.169Z") }//下面为测试集合上的文档添加索引,即5分钟后索引失效repSetTest:PRIMARY> db.ttlTest.createIndex({createDate:1}, {expireAfterSeconds:300}){ "createdCollectionAutomatically" : false, "numIndexesBefore" : 1, // Author : Leshami "numIndexesAfter" : 2, // Blog : http://blog.csdn.net/leshami "ok" : 1}//查找文档repSetTest:PRIMARY> db.ttlTest.find(){ "_id" : 1, "createDate" : ISODate("2017-03-10T03:23:01.169Z") }{ "_id" : 2, "createDate" : ISODate("2017-03-10T03:24:01.169Z") }{ "_id" : 3, "createDate" : ISODate("2017-03-10T03:25:01.169Z") }//当指定时间到期后,文档被删除,如下,查询不到任何文档repSetTest:PRIMARY> db.ttlTest.find()

例:在log_events的集合中,createTime 字段上建立一小时后过期的TTL索引

db.getCollection.insert, "updated":new Date;

如有疑问请留言或者到本站社区交流讨论,感谢阅读,希望能帮助到大家,谢谢大家对本站的支持!

db.log_events.createIndex( { "createTime": 1 }, ---字段名称 { expireAfterSeconds: 60*60 } ) ---过期时间

mongodb保存时间使用的UTC时间,在查询出来的结果的时候会转换为GMT时间,所以你看到保存的时间和电脑时间相差8个小时db.getCollection.find({updated:{$gt: new Date("2019-07-12 14:00:00")}}) 在查询的时候可以使用new Date()直接进行时间的比较,new Date传入的参数是GMT时间

上例中creteTime字段类型必须是Date()类型

为了防止活跃的会话被删除,可以在会话上有活动发生时将updated字段的值更新为当前时间。只要updated的时间距离当前时间达到24小时。相应的文档就会被删除。

本文由杏彩发布,转载请注明来源

关键词: