Chardet - автоматического распознавания кодировок
Chardet - модуль предназначеный для автоматического распознавания кодировок символов в тексте.
Самый простой способ использовать модуль - применить функцию detect. Функция detect принимает один параметр, строку (не юникод). Она возвращает словарь, содержащий автоматически обнаруженную кодировку (строка) и уровень достоверности в диапазоне от 0 до 1 (число, float).
Можно определить кодировку URL:
Переключить отображение номеров строк
1 # -*- coding: utf-8 -*-
2 import urllib, chardet
3 data = urllib.urlopen('http://script-coding.info/').read()
4 print chardet.detect(data)