中泰证券现场--20220518问题排查

前言

最近,中泰证券现场升级版本,出现了一些问题。已排查的出问题都已经得到有效的解决,这里不免吐槽一下。作为一个在现场提供支援的开发人员,我表示版本升级的稳定性是非常重要,特别是生产环境,一旦因为升级造成生产环境出现问题,这种影响是非常严重的,有时候造成的后果是我们难以估计的。

1、问题

1、1 升级导致Ts_FilePathSetNew表预埋路径错乱

发现这个问题,是因为现场发现生成的监控不正确,并且在服务器的/home/share路径下产生了很多的文件,即邮件发送过来的对账单和场外净值文件都放错了目录,第一反应可能是Ts_FilePathSetNew表的路径出现了问题。

查看了一些服务中的脚本:

这种写法根据主键去删除数据肯定不合适,每个现场的主键对应的预埋路径不一定和咱们开发环境一致。所以大概率要出问题。问题解决很简单,重新处理一下表中的脚本即可。

1.2 自动估值节点卡在进行中的状态,不向下执行

2022年5月18号开始跑5月14、5月15号以及5月16号的账,因为14,15号是周六周日,所以T+2跑账会14、15、16号三天的账。过程中发现,所有账套的的自动任务都卡在的第一节点,一直都是进行中的状态,并且很长时间没有更新节点的状态。

1.2.1 排查问题过程

/**
1、我单独选择8000这个账套,进行查看日志分析,在30facade服务的info日志中发现有打印第一个节点:公共数据处理节点的任务已经做完了,error日志没有打印相关的错误日志,因此可以判定,30facade服务调估值存过执行公共数据处理没有问题。

2、按道理,30facade执行完后,发送一条mq消息给自动估值服务,自动估值服务到底直没有接收到消息,还是接收到消息了没有消费,因此,我查看相关队列 : fam_basedata_handling_fa,发现队列里面没有消息堆积,且一条消息都没有。

3、此时,要么就是30facade没有发送消息,要么就是消息发送了,发错了地方。但是30facade没有相应的错误日志,所以断定应该是消息发错地方了。

4、于是:我排查了一下30facade服务和 自动估值服务的配置文件,发现30facae服务的mq虚拟机配置是: virtual-host: /   但是 自动估值服务的mq的虚拟机配置是:virtual-host: server

5、最后,修改了30facade服务的rabbtimq配置后,问题解决了。
*/

end
  • 作者:旭仔(联系作者)
  • 发表时间:2022-05-20 20:41
  • 版权声明:自由转载-非商用-非衍生-保持署名
  • 转载声明:如果是转载栈主转载的文章,请附上原文链接
  • 公众号转载:请在文末添加作者公众号二维码(公众号二维码见右边,欢迎关注)
  • 评论

    123
    六六六
    旭仔
    栈主
     @ 123
    必须的
    旭仔
    栈主
     @ 旭仔
    哈哈