定时统计任务参考
-
时间的触发,过期的数据不再使用(数据来源是消息中间件)
-
相关联的任务使用事件的方式,例如一天的统计数据是需要小时的数据来生成的,当一天的小时数据生成完了,再去触发生成一天的数据,请勿使用延时的观念,是神坑,勿入。
-
数据的读取,采用批量的方式读取,一次读取一个限定的值的数量。
-
数据的写入,采用批量的方式写入,最好有ticker来触发写入未到阈值数量的数据。
-
撸数据是一次sql撸完,还是分页撸?DBA告诉我让我一次撸完。
- 原文作者:Daryl
- 原文链接:https://siskinc.github.io/post/%E5%AE%9A%E6%97%B6%E7%BB%9F%E8%AE%A1%E4%BB%BB%E5%8A%A1%E5%8F%82%E8%80%83/
- 版权声明:本作品采用知识共享署名-非商业性使用-禁止演绎 4.0 国际许可协议进行许可,非商业转载请注明出处(作者,原文链接),商业转载请联系作者获得授权。