Алгоритмическая теория информации и теория самообучающихся алгоритмов

Первой публикацией по алгоритмической теории информации является всемирно известная статья А.Н. Колмогорова «Три подхода к определению понятия “количество информации”», вышедшая в первом выпуске первого тома журнала «Проблемы передачи информации», который издается ИППИ РАН с 1965 г. В этой статье А.Н. Колмогоров указал способ измерения сложности конечного объекта (слова), для чего он ввел понятие, называемое сейчас колмогоровской сложностью. Своё новое понятие он применил для построения алгоритмического варианта теории информации, позволяющего измерять информацию в конечной строке знаков. Алгоритмическая теория информации, является естественным обобщением шенноновской вероятностной теории информации на конечные (дискретные) объекты. В рамках этой теории было получено точное определение индивидуального объекта, для которого выполняются все законы теории вероятностей, а именно, было дано точное определение индивидуальной случайной последовательности на основе понятия алгоритма.