Давайте, уважаемый, подумаем логически имеет ли ваша задача решение?
Под текстовым файлом вы, видимо, подразумеваете обычный txt-файл, не имеющий заголовка, содержащего сведений о его кодировке. Это значит, что определить кодировку можно только по содержимому, а содержимое это что? Если сделать допущение, что это текст на русском языке тогда, возможно, мы можем что-то придумать. Если же это произвольный набор произвольных символов, тогда, увы и ах, разведем руками, ибо если символы произвольные то ни какого конкретного ответа мы дать не сможем.
Что касается текста на русскогом языке (или даже смешанного с английским).
При смене кодировки изменяются только русские буквы, так что я предлагаю вам проанализировать какое-то количество (или все) символов из файла (приблизительное знание о его структуре даст ответ -сколько), и если символ - не латинская буква, не знак препинания, не табуляция и не разрыв строки, и при этом не русская буква - значит кодировка DOS.
Вот такая идея в первом приближении. Ищите и обрящете...

Если это какие-то конкретные документы, то вы точно знаете, что в документе должно присутствовать какое-то слово(а), вот и ищите определенную последовательность символов в разных кодировках.