问答

如何提高DolphinDB的写入性能?

作者:admin 2021-08-21 我要评论

我正在DolphinDB上执行各种计算,速度足够好。但是我在DolphinDB中的写性能遇到了障碍,因为我的数据有成千上万的列,所以要花几秒钟来写100条记录。我该如何改...

在说正事之前,我要推荐一个福利:你还在原价购买阿里云、腾讯云、华为云服务器吗?那太亏啦!来这里,新购、升级、续费都打折,能够为您省60%的钱呢!2核4G企业级云服务器低至69元/年,点击进去看看吧>>>)

我正在DolphinDB上执行各种计算,速度足够好。但是我在DolphinDB中的写性能遇到了障碍,因为我的数据有成千上万的列,所以要花几秒钟来写100条记录。我该如何改善?

###

你是否启用了cacheEngine功能?
CacheEngine是DolphinDB database中的一种数据写入缓存机制,它是为了解决数据表列数过多的情况下写入性能急剧下降的问题而引入的。 DolphinDB采用的是列式存储,一个分区内的每一列数据单独存放在一个文件中。如果表的列数过多(比如物联网场景下同时记录几千个指标), 每进行一次数据写入,就要对几千个物理文件进行操作(打开,写入,关闭等)。引入CacheEngine以后,写入操作时首先写入缓存中,到达一定阈值以后, 开始异步将缓存中的数据写入磁盘中。
CacheEngine能够提升写入性能的基本逻辑在于:对一个文件进行写入时,写入1行数据和写入1000行数据的时间基本相等,大部分时间都花在打开和关闭文件上; 因此,如果把多次少量的写入缓存起来,在一次文件IO中批量写入,那么就可以节省许多对文件进行打开和关闭带来的时间开销,从而在整体上提升系统的写入性能。

要启用cacheEngine,请在配置文件中添加一行设置,如下所示:

//in unit of GB
chunkCacheEngineMemSize = 4

版权声明:本文转载自网络,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。本站转载出于传播更多优秀技术知识之目的,如有侵权请联系QQ/微信:153890879删除

相关文章
  • 使用箭头函数return数据不能实现

    使用箭头函数return数据不能实现

  • 个人小程序号能接入小程序3D地图吗?

    个人小程序号能接入小程序3D地图吗?

  • vue 移动端项目中,使用了better-scrol

    vue 移动端项目中,使用了better-scrol

  • css如何做出区域平均划分为四列

    css如何做出区域平均划分为四列

腾讯云代理商
海外云服务器