javac -encoding=KOI8_R ...
Кроме использования этой настройки есть ещё один метод - указывать буквы в формате "\uXXXX", где указывается код символа.
Этот метод работает со всеми версиями, а для получения этих кодов можно использовать стандартную утилиту native2ascii.