诚然，斯大林进行了一系列大清洗，但在一九三四年以前党内毕竟还有不少老布尔什维克，斯大林制度在某种程度上还离不开他们。这些人员虽然不能投身到政治生活之中，却能以全部精力投入国家的工业化建设和国防建设。可到了现在，连这些人也要被当作“绊脚石”而踢开了，斯大林容不下这些看穿了他的政治野心并始终不忘列宁和托格茨基的人。
为了摆脱这些人，斯大林于一九三五年借口审查和换发党证，又组织了一次清洗。这次清洗明目张胆而又厚颜无耻地将矛头直指老党员。于是，各级党委的领导权纷纷落入那些不久前才入党的新毛头手中，这些人大多数是中央委员会里的小职员，刚出来就掌实权。就连庞大的国家政治保安总局的党委工作。在一九三四年也是由一个年仅二十五岁，入党才一年多的巴拉扬负责。可就是这个巴拉扬，在莫斯科捷尔任斯基区成立了一个清党委员会，把许多革命前坐过牢的老资格布尔什维克从党内踢了出去。
接着，斯大林又迈出了另一步。他在一九三五年五月宣布解散老布尔什维克协会。这个协会的成员都是老党员。他们在沙皇制度统治下积极开展过地下革命斗争，号召工人阶级起来革命。列宁把这批老战士叫做“金矿”。广大党员对他们无比崇敬和热爱，将他们称为“党的良心”。
老布尔什维克协会拥有一个出版社和附属于出版社的印刷厂。这个厂里印发各种马克思著作，以及协会成员们为再现布尔什维克建党斗争的往事而写的回忆录。由于这些书大多是列宁在世时出版的，自然就没有提到斯大林的名字，而是整章整篇地回忆其他杰出的布尔什维克的革命活动。正因为这一点，斯大林对这些布尔什维克党的老战士恨之入骨。要知道。他们的回忆录从根本上戳穿了许多按斯大林授意而杜撰出来的斯大林传记。斯大林认为。要达到独裁专制。就必须改写和美化自己的历史。
看到斯大林的御用“理论家”如何肆无忌惮地篡改历史事件，臆造无稽之谈，甚至明目张胆地直接伪造，替斯大林炮制出蛊惑人心的传记，看到“理论家”们如何将这种假货奉献给列宁的这位“最亲密的战友”，老布尔什维克协会的成员们真是义愤填膺。他们亲眼目睹列宁时期出版的党史书籍被封禁，被一批肉麻的歌颂斯大林并污蔑其他革命家的新书所代替，尽管那些革命家才是党的名副其实的真正领袖人物。时光流逝，斯大林的权力欲变得越来越不可遏制。到后来，上一批新党史书籍已不能令他满意，被禁止流传，取而代之的是另一批小册子，其内容十分荒诞离奇，无限制地夸大和突出斯大林的作用，就连列宁的形象也因此而黯然失色。可老布尔什维克们不会忘记过去，更不会像小学生那样去背诵赞扬当今独裁专制者的离奇故事。这些在沙皇监牢里和流放中度过了青春年华的老人们，是斯大林所不能收买的。的确，他们之中有些人挡不住世间的恶势力，害怕株连自己的子孙，昧着良心投靠了斯大林，但其余绝大多数却坚持认为斯大林是革命的叛徒。这些人眼见得逞的反动势力葬送了一个又一个革命成果，内心感到万分痛苦。
看到参加过反对派的协会会员被捕和流放后，其他尚还自由的会员也被迫沉默了。他们无力反抗斯大林的暴力。丰富的政治斗争经验告诉他们，革命既有高潮也有低潮。他们暗中盼望斯大林的专制统治被新到来的革命浪潮冲垮，虽然他们口头上不说。在全民都得吹捧领袖及其业绩的斯大林专制统治下，这种沉默实际上就是反抗的表示。除此之外，他们一有机会就聚集在协会里，讨论国内发生的事件，这也使得斯大林不能制造假案来剪除布尔什维克党的老一代领袖人物。
老布尔什维克协会被解散之后，党的老战士开始相继失踪。他们被派往各个城市去担任各种职务，但实际上只有一小部分到达了上任地点，大多数被发配到西伯利亚，以后就彻底消失了。
解散了老布尔什维克协会之后过了一个月，斯大林又解散了苦役犯和流放者协会。沙俄的苦役流放相当于法国当时的鬼岛流放。此协会的成员都服过这种苦役。而斯大林，如众所周知，却不曾享受政治苦役犯的殊荣。
政治苦役犯协会从一九二一年开始出版《苦役和流放》杂志，以此再现沙皇以监狱、苦役和流放来迫害革命者的历史，以及一九一七年前的俄国革命运动史。只要浏览一下各期杂志。就会确认一个十分重要的事实：杂志上所提及的俄国革命运动的非凡领袖们，凡活到了斯大林暴政时期的，统统都被清洗掉了。斯大林认为，这些威胁过沙皇统治的谋反者，现在也是他个人专制的大敌。
这两个协会被解散的同时，许多其他组织却依旧活动，并得到上方的大力资助。也正是在这些年间，国内创办了很多特权阶层俱乐部，如厂长俱乐部、厂长夫人俱乐部、汽车主人俱乐部、甚至还有“西方舞俱乐部”。
斯大林认为，威胁他的统给的力量并不仅仅是老布尔什维克。在专制的腐败环境中成长起来的年轻一代，也使他惶惶不可终日。他深知，沙皇时期的革命党派，主要就是动员青年加入地下组织，因为青年永远具有崇高的正义感，对任何形式的压迫都不肯屈服。
