Стража

значение слова

СТРАЖА, стражи, множественного числа нет, женский род (книжное устаревшее, специальное) — вооруженная охрана.
Приставить стражу.
Перед ним расступались, молчанье храня, рабочие люди и стража. Некрасов.
Набежала стража в сад со всех сторон. Сериков.
Пограничная стража (войска пограничной охраны; дореволюционное).
Лесная стража (вооруженная лесная охрана; дореволюционное).
Тюремная стража. Конвойная стража.

На страже (стоять, быть; книжное риторическое) - охраняя и защищая.
Наша задача - стоять на страже мира и быть готовым к любым заговорам и покушениям извне. Молотов.
На страже ты над ним стояла годы. Некрасов.
Под стражей (быть, находиться; официальное) - под арестом.
Под стражу взять или под стражу заключить (официальное) - арестовать.
[Ушаков]

Федеральная стража - так красиво могла бы называться Федеральная служба исполнения наказаний вместо уродливого сокращения ФСИН.