Быстрее всего, при установке пароля, стояла раскладка клаввиатуры Defaults, соответственно если ты использовал в пароле символы типа (#@#!^**&%) то у тебя пароль вааще не тот что ты вводиш.
Рекомендую сделать так:
1. Если ESXi чистая то переустанови ее снова.
2. После установки настрой пароль самый простой 1234567890
3. Настрой все сетвые параметры и ребутни сервак.
4. Подключись клиентом из под винды и смени пароль root из под винды перезагрузи сервер.
5. Создай нового пользователя, например свое имя и задай ему права, отличные от root и ходи на esxi только под ним а не под root.

Попутно: SSH включен? если включен то можно через него сменить пароль при работающе боевом сервере.