问答

如何在DolphinDB database中更快地获取最新状态数据

作者:admin 2021-08-20 我要评论

我的应用场景是每600毫秒一次从1000个设备收集数据,然后将其写入分布式数据库。需要实时数据查询以查询每个设备的最新状态数据。 def createDatabase(dbName){ ...

在说正事之前,我要推荐一个福利:你还在原价购买阿里云、腾讯云、华为云服务器吗?那太亏啦!来这里,新购、升级、续费都打折,能够为您省60%的钱呢!2核4G企业级云服务器低至69元/年,点击进去看看吧>>>)

我的应用场景是每600毫秒一次从1000个设备收集数据,然后将其写入分布式数据库。需要实时数据查询以查询每个设备的最新状态数据。

def createDatabase(dbName){
    tableSchema = table(100:0,`id`ts`tag01`tag02`tag03 ,[INT,TIMESTAMP, FLOAT,DOUBLE,LONG])
    db1 = database("",VALUE,2019.01.01..2020.12.31)
    db2 = database("",RANGE,0..30*10)
    db = database(dbName,COMPO,[db1,db2])
    dfsTable = db.createPartitionedTable(tableSchema,"readings",`ts`id)
}
createDatabase("dfs://devDB")

我使用以下语句查询,

select  last(ts),last(tag0001),last(tag0002),last(tag0003)
from loadTable('dfs://devDB', 'readings') where ts >datetimeAdd(now(),-1,`h)  group by id

这样可以找到最新的数据,但是我发现随着表中数据的增加,每个查询所花费的时间会逐渐增加。是否有任何方法可以加快查询速度?

###

DolphinDB 提供了快照引擎(Snapshot Engine)以快速获取任意设备任意指标的最新状态。尽管数据库会对最新或最频繁使用的数据进行缓存,但这不是百分之百保证的。快照引擎则会把所有设备采集的实时数据更新到哈希表,查询时可以快速返回结果。一旦客户为数据表设置了快照引擎,写入和查询对用户都是透明的,无需额外的工作即可以非常小的内存代价获取优异的响应速度。

注册、查询快照引擎的语法如下:

registerSnapshotEngine(dbName, tableName, keyColumnName)
select [HINT_SNAPSHOT] * from loadTable(dbName, tableName)

版权声明:本文转载自网络,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。本站转载出于传播更多优秀技术知识之目的,如有侵权请联系QQ/微信:153890879删除

相关文章
  • 使用箭头函数return数据不能实现

    使用箭头函数return数据不能实现

  • 个人小程序号能接入小程序3D地图吗?

    个人小程序号能接入小程序3D地图吗?

  • vue 移动端项目中,使用了better-scrol

    vue 移动端项目中,使用了better-scrol

  • css如何做出区域平均划分为四列

    css如何做出区域平均划分为四列

腾讯云代理商
海外云服务器