9月17日，滕代远以中共湖南省委特派员的身份，在铜鼓幽居主持召开了红五军党组织负责人与平（江）、浏（阳）、修（水）、铜（鼓）四县党组织负责人联席会议，正式组建了中共湘鄂赣边界特委。滕代远任书记，彭德怀、王首道、李宗白、邱训民等为常委。特委的成立，标志着湘鄂赣边界的斗争进入一个新的阶段。此后，边界各县的党组织也逐步地建立和健全起来。

    会议对平江起义以来的经验教训进行了总结，研究了红五军的去向问题。大桥受挫后，红五军面临的局势是十分严峻和危险的，敌人调集大军，步步追逼，部队内部又因伤亡和少数旧军官、士兵叛逃而严重减员，同时，给养也很困难。在这种形势下，红五军往哪里去？这是一个必须作出答复的大问题。是继续留在湘鄂赣边境单独作战呢，还是上井冈山与朱毛红军会合？会议经过认真讨论，认为革命正处于低潮，留驻湘鄂赣边境于我不利，平江、浏阳、修水、铜鼓一带的“会剿”敌军随时都在十团之众，加上各地反动地方武装，其兵力大大超过我十余倍，如继续在此地孤军奋战，极易被敌人各个击破；而到井冈山与红四军会合，则能有效地保存力量，相机对付敌人，共同促进革命形势的转变与到来。幽居会议的这一决定，对以后红五军挺进井冈山的行动起了关键性的作用。

    幽居会议后，部队即在平、浏、铜边界的纸坊进行了整编，取消了团的建制，军直辖5个大队：一大队长雷振辉，二大队长黄公略，三大队长贺国中，四大队长李玉华，五大队长李灿，原四团团长陈鹏飞改任军部高级参议。全军不足一千人。

    队伍缩编后，以修水台庄为中心，开展了游击战争。但是，由于敌军的穷追，部队“几乎每天都要与国民党正规军和地主武装奋战数次方能前进，有时最多的一天打过八次仗”。就在这样危急的形势下，四大队长李玉华与一大队长雷振辉狼狈为奸，在部队转移到平江北乡六坪时，图谋叛逃。一天，雷振辉乘彭德怀训话之机，举起手枪对着彭德怀的脑袋，幸被彭身边的一位勇士扳倒，处决了雷振辉，彭德怀仍然面不改色，从容训话。

    10月，红五军党委与湘鄂赣边界特委在修水台庄召集平、浏、修、铜、武（宁）五县党组织负责人召开联席会议，将五军与各地地方武装合编，仍称红五军，下辖三个纵队十个大队。一纵队辖三个大队，纵队长李灿；二纵队辖两个大队，纵队长黄公略；三纵队辖四个大队，纵队长贺国中；另军部直辖一个大队。同时，对五军的党组织进一步作了调整，将师（党）委改为军（党）委，下设支部和分支部（设在大队）。至此，红五军对部队的思想和组织整顿得到落实，从而，朝着井冈山这盏“明灯”，采取飘忽不定的游击战术，胜利地前进了。