исходя из выше сказанного:
1) банальный перегрев;
2) не хватает БП;
3) кривые дрова/прошивка видео/дрова на чипсет;
4) слишком сильно гонишь ( мамки серии SE - не очень хорошая платформа);
5) перепрошивка весьма сомнительная вещь), но всё же
дампы BIOS'a с русского сайта - ссылка
утилиты с того же ресурса - ссылка

если есть желание могу скинуть сюда линки англоязычные и статьи о этой видеокарточки ( поведение при разгоне)