时间的触发,过期的数据不再使用(数据来源是消息中间件) 相关联的任务使用事件的方式,例如一天的统计数据是需要小时的数据来生成的,当一天的小时数据生成完了,再去触发生成一天的数据,请勿使用延时的观念,是神坑,勿入。 数据的读取,采用批量的方式读取,一次读取一个限定的值的数量。 数据的写入,采用批量的方式写入,最好有ticker来触发写入未到阈值数量的数据。 撸数据是一次sql撸完,还是分页撸?DBA告诉我让我一次撸完。 ……

阅读全文