【无线案例】XX医院内网业务系统卡顿故障定位

a8222021

一、当前问题
        在现阶段，XX 医院已经实现了医疗业务网络建设，等保安全设备也已逐步完善。不过在这种情况下，医院信息科依旧收到大量投诉，主要集中在院内 HIS2.0、HIS3.0 以及其它个别业务在使用时经常出现卡顿现象，且长时间无法发现故障原因。给整个医院的日常办公带来的极大的不便，信息科也面临着严峻的挑战。

二、部署方式
        由北京派网 Panabit 于院内部署 Panabit 网络服务质量感知探针与日志系统，对山大二院内网中相关访问卡顿原因进行分析。
        于院内核心交换机旁路部署一台 PanabitPX3 探针 PA1，接收核心交换机接服务器区接口镜像流量做分析；于中山楼汇聚交换机（位于旁路部署一台 PanabitMini 探针 PA2，接收与核心交换机互联的接口镜像流量做分析；于岭南楼楼层接入交换机旁路部署一台 PanabitMini 探针PA3，接收终端用户的镜像流量做分析；部署一台 Panalog 日志分析服务器在服务器区交换机，接收 3 台探针设备的数据，做数据留存与历史数据分析。
        拓扑如图：

三、测试结果
        1、针对 HIS2.0 卡顿报障问题，通过派网日志审计分析能力，发现原本作为医院内部使用的内网 DNS 服务器，存在大量外网域名（用户后台软件造成）解析请求，极大消耗了 DNS 服务器的处理能力，造成在高峰时段无法应付大量请求，造成内网 DNS 解析慢，或者解析失败，这个是让用户感觉到卡顿的一个重要因素。通过客户运维工程师处理掉一部分外网域名解析请求（卸载或者通过其他方法阻断该类域名解析）一周后，HIS2.0 报障数量大大下降，用户访问业务体验上升；
        2、针对 HIS3.0 卡顿报障问题，通过派网日志 NPM 网络服务质量分析能力，定位到用户侧汇聚交换机到核心交换机之间存在丢包现象，通过排查发现核心交换机启用了某安全策略导致性能下降，使某些业务请求收到影响；
        3、针对某业务服务器段使用卡顿问题，通过派网日志 NPM 网络服务质量分析能力，发现某安全设备上线后大量下发请求到院内所有终端，且返回大量下载请求，导致该安全设备所在接入/汇聚交换机性能达到瓶颈，无法正常转发其他业务系统请求，导致使用问题。对该设备进行处理，并让其在夜间下发，减少对院内其他业务系统使用的影响，同时让该安全设备的安全业务可以在夜间进行处理，白天工作时间恢复正常使用。

四、方案优势
        派网实现对全网 1:1 流量、会话日志留存，通过专业的网络服务质量功能，实时监控全网终端业务质量，还可以根据实际问题点可溯源、可导出、易分析。多节点部署，数据精准对比，更好定位网络故障所在。除此之外，流量异常随时发现，便于随时管控，排除网络中存在的安全隐患。