مسدود کردن IP پر مصرف در دایرکت ادمین سرور لینوکس

با سلام خدمت همگی دوستان

بنده یک سرور دانلود دارم که توش فایلهام رو اپلود میکنم تا کاربران سایتم بتونن فایل ها رو دانلود کنن.

مشکلم الان اینه که یه سری IP با VPS از سرور من دانلود میکنن و پورت ریادی استفاده میکنن و همین موجب میشه که بقیه کاربرا مشکل افت سرعت دانلود داشته باشن
میخواستم ببینم چجوری میتونم این IP ها رو شناسایی و بلاک کنم تا دسترسی به سرور من نداشته باشن دیگه،
ip هایی که با سرعت بالای 10 مگ دانلود میکنن
ip هایی که بیش از مثلا 100 گیگ در ماه دانلود میکنن

سیستم عامل سرور من لینوکس است و کنترل پنل دایرکت ادمین داره،

لطفا فقط اگه دانش کافی در این زمینه دارید پاسخ بدید که یوقت تنظیماتی رو به اشتباه دستکاری نکنم و سرور به مشکل بخوره ، ممنون