بریا یک روز صبرش به پایان رسید و تصمیم گرفت، استاروستین را به جرم دست داشتن در قتل استالین دستگیر کند. او پس از یافتن عکسی که شش سال پیش در جریان مراسمی در میدان سرخ گرفته شده بود به این نتیجه رسید. در آن روز برای خشنودی استالین مراسمی به نام “روز ورزش” برگزار شد. قرار بود در جریان این مراسم اسپارتاک و دینامو برابر هم قرار بگیرند اما در آخرین لحظه تیم دینامو از این کار منصرف شد چون یکی از بازیکنانش به سمت استالین ضربه زد و به همین خاطر از انجام بازی برابر رهبرشان میترسید. به همین خاطر بازیکنان اصلی و نیمکت نشین اسپارتاک برابر هم قرار گرفتند. بازی مورد پسند استالین قرار گرفت و او دستور داد نیمه سوم هم برگزار شود. این اتفاق به شدت بریا را عصبانی کرد. او پس از سالها عکسی از این بازی پیدا کرد که یکی از افراد عنواندار استالین دیده میشد. او این شخص را کسی عنوان کرد که قصد داشت به دستور براداران استاروستین، استالین را به قتل برساند.
هر چهار برادر محاکمه و به زندان سیاسی فرستاده شدند اما به خاطر محبوبیت زیاد توانستند از اعدام رهایی پیدا کنند. با گذشت زمان، استاروستین توسط واسیلی، پسر استالین فراخوانده شد. او در آن زمان نیروهای منطقهای را رهبری میکرد و میخواست تیمی از آنها تشکیل بدهد؛ به همین خاطر از استاروستین خواست تا هدایت آنها را بر عهده بگیرد. بر این اساس استاروستین به مسکو بازگشت. واسیلی استالین از بریا متنفر بود. بریا چند بار سعی کرد استاروستین را دستگیر و او را دوباره تبعید کند اما استاروستین تحت مراقبت استالین جوان بود. در نهایت بریا به هدف خود رسید و از غلفت واسیلی بهره برد. او این بار استاروستین را به یکی از شهرهای کویری قزاقستان فرستاد. تنها پس از مرگ استالین در سال ۱۹۵۳ و به پایان رسیدن دوران وحشت او استاروستین توانست دوباره به مسکو برگردد. از طرفی بریا به جرایم مختلفی همچون خیانت به کشور و جنایت علیه مردم محکوم شد. او به حبس ابد محکوم شد و به همین خاطر تعداد زیادی از افراد تبعید شده از جمله استاروستین توانستند به وطن خود بازگردند. همچنین مارتین مرتزوف که در یک بازی در سال ۱۹۲۰ بریا را از زمین اخراج کرده بود نیز از تبعید رهایی پیدا کرد.