问答

spark如何在dataset map中循环查询另一个表的数据?

作者:admin 2021-04-20 我要评论

我有两个表,一个曝光表,一个点击表,我想找到点击最近的曝光记录关联上,条件要同一个用户和一些其他条件;如果找不到符合的,这个其他条件可以忽略,用同一用...

在说正事之前,我要推荐一个福利:你还在原价购买阿里云、腾讯云、华为云服务器吗?那太亏啦!来这里,新购、升级、续费都打折,能够为您省60%的钱呢!2核4G企业级云服务器低至69元/年,点击进去看看吧>>>)

我有两个表,一个曝光表,一个点击表,我想找到点击最近的曝光记录关联上,条件要同一个用户和一些其他条件;如果找不到符合的,这个其他条件可以忽略,用同一用户的第一条曝光兜底。这种需求用join好像实现不了,目前想的是以点击为主,for循环点击记录,查询对应曝光管理,但我不清楚如何在算子的map里查询另外的算子,之前我是把曝光记录发布共享变量达到这个目的,但是曝光记录太大用共享变量会导致oom,所有问下有没有大佬有解决思路?

###

您好,请问一下map中循环查询另一张表的数据,这个问题解决了吗?最近我也遇到这个问题.被循环的表广播出去会导致内存溢出

版权声明:本文转载自网络,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。本站转载出于传播更多优秀技术知识之目的,如有侵权请联系QQ/微信:153890879删除

相关文章
  • nginx响应速度很慢

    nginx响应速度很慢

  • 点击选中的多选框,会在已选那一栏显示

    点击选中的多选框,会在已选那一栏显示

  • PHP 多态的理解

    PHP 多态的理解

  • 关于C语言中static的问题

    关于C语言中static的问题

腾讯云代理商
海外云服务器