Забыл написать, что демон запускается в foreground режиме.
Запускал его в ssh сессии.
При выходе ключи "отключаются".