Удалить закрытый ключ после копирования открытого ключа.

Хранить открытый ключ в секрете и скопировать закрытый ключ на каждый сервер.

Опубликовать оба ключа, чтобы любая сторона могла пройти аутентификацию.

Хранить закрытый ключ в секрете, а открытый ключ разместить на серверах, которые должны его принимать.