相传在1600多年前，武陵地方有一个打鱼人驾舟溯江而上，来到一个两岸桃花、风景秀美的地方。正当山重水复疑无路时，他发现一个山洞，于是弃舟进入山洞。前面豁然开朗，竟然柳暗花明又一村。这里居住着一群人，男耕女织。其先人为躲避秦未战火迁此，世代相传，不知外界已几经朝代变迁。渔人返回后，将此事传开，当地官民曾想再寻此境，竟不可得。
东晋大诗人陶渊明在其《桃花源记》里，所叙述的这个故事，就发生在湖南省的西部地区。其中的武陵，就是当今湘西门户常德市，那条江即为况江；而那个山洞则为位于湘西桃源县境内的桃源洞。桃源县、桃源洞，都是因了《桃花源记》而得名。后世人们也就将整个湘西地区称作“世外桃源”。
这不仅因为这里地处偏僻，与世隔绝，而且还因为它有仙境一般的景色。这里有山有水，山则千岩竞秀，层峦叠翠；水则素流奔湍，小溪萦回。山中洞穴相连，深邃幽美；林间古木参天，野花遍地。错落有致的衣舍、田园，炊烟缭缭而起，黄花依依东篱——简直是在在应入画，处处可成诗。
然而，千余年之后，这一片风景秀姜的世外桃源竟成了闻名全国的上匪渊薮。山间石壁、林边大树，上面赫然以大字写着：“此山是我开，此树是我栽，若要走此过，留下买路钱！”
数十股匪徒划地为界、占山为王，不仅月黑杀人、风高放火，便是青天白日也照样肆虐横行。广大的湘西地区因之而田园荒芜，人烟稀少，野坟累累，白骨遍地。白天，只有老弱妇孺耕作于田间，不见青壮；入夜，则家家闭户熄灯，一片黑暗。偶闻犬吠如豹，便是土匪经过，人们心惊肉跳地瑟缩于陋室一角，恐惧地等待着灾难与死亡的降临——这就是民国年间湘西匪患严重的写照。
湘西土匪已有近600年的历史。14世纪，明朝初年，朱元璋与陈友谅在江西、两湖地区争雄角逐，数省百姓为避战祸纷纷逃往湘西这块世外桃源。
不意其中不逞之徒遂窜踞山林，凭恃手中的钢刀、木棍，拦路打劫旅客，进而抢掠民宅。匪源从此而开，一发不可收拾。乃至民国初期，袁世凯帝制自为，蔡松坡在云南起义，护国军北上讨袁。
北洋军南下狙击，其第一路军由马继增统卒，在湘西与南军交锋，相继失利。这时，各县土匪也纷起打击北军，断交通、歼溃兵、截击辎重部队，其意在劫取武器、粮草，客观上却帮助了护国军。不久，洪宪帝制失败，北军撤返途中，又将许多武器弹药卖给当地人。从此，湘西土匪手中的吃饭家伙从冷兵器变成了火器，湘西百姓的苦难也就更加深重了。
湘西地域广大，民国时期，大约有20多个县，竟有几十股土匪。有一股控制一县的，有两股平分秋色的，有以一县为中心、活动于附近数县的。这里的北、西、南三面，与鄂、川、黔、桂四省交界，有许多三不管的地区，便于土匪流窜、藏匿。境内武陵山脉、雪峰山脉，自东北而西南，透迄而下，横亘全境。交通又极不方便，仅东北方面靠澧水、洗江水路通往洞庭、长江。
国民党统治时期，曾开辟过盘山公路，通向大西南。但公路之外的崇山峻岭中，路隘林密，洞穴连绵，为数10余万的匪徒隐身其中，难以搜寻。积年老匪长期盘踞山间，熟悉山中地势，掌握四季变化，更是出没难测，进退裕如。
历届官府多次围剿，奈何不得，便造就了一批穷凶极恶、心狠手辣的匪首。
其中有的自幼为匪，有的半路出家；有的一生为盗，成了积年巨匪；有的世代相传，竟为绿林世家。
被称为“湘西王”的陈渠珍（又名陈有木、陈巨金），清朝末年曾担任过驻西藏的清军统领；后驻军溃败，他逃回湘西老家，上山为匪。他曾在名义上统一过全湘西土匪，故人称“陈老统”，第二次国内革命战争时期，陈渠珍曾纠集了5万之众的匪徒，配合国民党军队“围剿”红军。到全国解放前夕，陈渠珍年届七十，为匪达40年之久。
怀化县匪首彭玉清自幼狡诈顽劣。1937年，他十三四岁时，见一国民党士兵在桐树溪洗澡，便假装要士兵教他游水。下水后，二人渐至水深处，彭玉清即潜入水下，将士兵拖入水底，溺死后，推至急流冲走。他便劫夺了士兵的步枪和军衣。从此以后，仅凭这一支步枪，他当上土匪，拉起队伍，逐渐自立山头，竟拥有500多人枪的匪众。全国解放时，他才26岁，却已有10几年的土匪历史。
电视剧《乌龙山剿匪记》中的匪首田大榜的原型姚大榜，祖传24代为匪。
他本人从10多岁开始，就随父辈横行于晃县（今名新晃侗族自治县）、芷江、麻阳。1949年，他已81岁，仍亲自统领股匪，前后为匪60余年。湘西老百姓称他“混世魔王”，各路土匪则都尊称为“榜老爷”、“榜公”、“老前辈”。当地官府也都敬他三分。
1949年阴历三月初一，晃县县长率全县党政军界及绅商人才，邀请他进城，沿街放鞭炮半个多小时，地上积了几寸厚的纸屑。国民党湖南当局几次想招抚他，企图利用他在土匪中的声望，治理湘西。他回信自称是“江湖上的狼、绿林中的虎”，不愿为官，只图在山林中逍遥自在。当局见软的不行，又派军队前去武装请驾，但也屡屡落空，甚至已见到他的身影，包围过去，却又无影无踪。
之所以如此，一个原因是姚大榜总是保持高度警惕。他有祖传线香报警一法，即将线香切成几寸长一段，夜间宿营时，将一截点燃绑在手上，待香烧到手烫时，便惊醒更换住处。这样，一夜之间，要更换营地多次，偷袭者根本无从捉摸。而且他从不轻信别人，线香一定要绑在自己手上才放心。另一个原因是，姚大榜走山路极为迅疾，他是湘西土匪中唯一不吸鸦片的，力大如牛，行走如飞。
据说有一次，他率队从芷江回晃县、途中见一黄狗飞跑而过。他转脸问众匪徒：谁能追上这条狗？众人面面相觑，都以为他在讲玩话。谁知姚大榜随即迈开双腿，飞步上前，不一会儿便追上黄狗，拉住了狗尾巴。他自己却神色不变，大气不喘。众匪徒都惊叹不已。