惊魂甫定的萧耀南下决心大举剿匪。1923年9月间，他任命张联陞为鄂北剿匪总司令，限一个月内肃清当地土匪。同时，根据直系军阀首领之一吴佩孚的建议，这个月中旬，鄂豫两省代表在洛阳举行联席会议，任命郭任才为鄂豫游击队司令，负责两省边界地区剿匪军事。然而，在当时情况下，吴佩孚、萧耀南的愿望肯定只是竹篮打水一场空。随宗万林一道南下的刘心惠杆，一直到1924年仍在鄂北枣阳、随县一带为祸，而河南则从1923年底开始，就因老洋人的复叛而闹得昏天黑地了。
当然，官军的大举剿匪也不是全无成绩，至少与梅神父案有关的一批杆首后来都相继伏法了。刘排长、宗万林等杆从桐柏山柳树庄北逃后，潘、靳二部官兵咬住不放。9月中旬，匪首刘排长、马老六先后被擒，残匪逃往豫西伏牛山中。刘排长等人验明正身后，立即被砍头示众。报纸上也就很乐观地宣称“匪势衰微”了。
过了几个月，到1924年1月初，各报上竟又刊出一条新闻，令人们又惊又喜。当初在应山县掳架梅神父的首恶雷老么，早已传说于1923年7月中旬毙命于应山锡家山，却不料竟在汉口被活活抓住。原来，雷老么当时确曾中弹，但重伤未死，被他的参谋长陈大爷救出。二人改名更姓，潜藏民间数月。
雷老么伤愈后，因外间风传他已身亡，遂以为不会有事。二人携带劫得的金银珠宝，于1924年1月11日乘火车来到汉口。在大智门车站下车后，尽管二人化了妆，礼帽压得低低的，混杂在熙熙攘攘的旅客之中，但雷老么那高大的身材却依然引人注目。当时年关已近，为防匪盗流窜活动，车站里不仅军警众多，随时盘查可疑的旅客，更有各县派出的便衣侦探，游荡其间，警觉地审视每一张面孔。
因此，雷老么刚刚走到剪票口，就被应山县侦探认了出来。两名匪首还未来及掏枪，10几名军警已将他们团团围住。二人只得俯首就擒，几天后，雷老么和陈大爷被凌迟处死。绑架梅神父一案，至此才算了结。