Как например запретить регистрацию определенных ников. Или даже сделать маску, например чтобы никто у кого в нике есть слово test, не мог зарегестрироватся?

Никак, разве что в бан-фильтр добавить этот ник.