Собственно форум отображает таких ботов как к примеру Яндекс, Гугл, Фейсбук. А как внести других ботов? К примеру бота web.archive.org?

Понятно что через "Список User Agent" в админке, но где брать список ключей и регулярных выражений на них?

Регулярные выражения составляете сами на основе юзер-агента бота. Но не обязательно это должно быть регулярное выражение, можете писать и обычную строку которая содержится в агенте этого бота. Например, если у яндекса юзер-агент: Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)

то для опции "Регулярное выражение" достаточно вписать: YandexBot

или просто Yandex для всех ботов яндекса (YandexImages, YandexVideo и тд).

@siv1987,

Спасибо. Попробую и отпишусь.

Только майл бот добавился...