User:Slobodanobradovic1995/sandbox

Алгоритамска информациона теорија је подпоље Теорија информације и информатике која се бави везом између израчунљивости и Информација. Према Gregory Chaitin, она је "резултат сипања Shannon's информационе теорије и Turing теорије израчунљивости у  коктел и  њиховог мешања."

Преглед
Алгоритамска информациона теорија у својој основи изучава комплексна мерења над стринговима (или другим Структурама података). Пошто се много математичких објеката могу представити у облику стрингова, или каограница  секвенце стрингова, она се може користити за изучавање великог броја математичких објеката, укључујући и Целе бројеве.

Неформално, из перспективе Алгоритамске информационе теорије, информациони садржај стринга је еквивалентан дужини најкомпресованије могуће самосадржавајуће репрезентације тог стринга. Таква репрезентација је у основи program – у неким фиксираним, али ипак ирелевантним универзалним програмским језицима – који, када су покренути, исписују оригиналан стринг.

Из ове тачке гледишта, енциклопедија од 3000 страна заправо садржи мање информација него 3000 страна насумичних слова, упркос чињеници да је енциклопедија много кориснија. То је зато што да би реконструисали целе секвенце насумичних слова, морамо знати које је свако слово. У другу руку, ако сваки самогласник избришемо из енциклопедије, неко са умереним знањем Српског језика би је могао реконструисати, као што би неко могао реконструисати реченицу "Ов рчнц сдрж мл пдтк" из контекста и постојећих сугласника.

За разлику од класичне информационе теорије, алгоритамска информациона теорија нам даје formal, rigorous дефиниције random string и random infinite sequence које не зависе од физичке и филозофске интуиције о nondeterminism или likelihood. (Низ насумичних стригова зависи од избора universal Turing machine која се користи да дефинише Kolmogorov complexity, али сваки избор нам даје идентичне асимптотске резултате зато што Kolmogorov complexity стринга инваријантна до додајуће константе, зависећи само од избора универзалне Тјурингове машине. Због тога,низ насумичних бесконачних секвенца је независан од избора универзалне машине.)

Неки од резултата алгоритамске информационе теорије, као на пример Chaitin's incompleteness theorem, наизглед се противи математичким и филозофским интуицијама. Најистакнутија је конструкција Chaitin's constant Ω, реалан број који исказује вероватноћу да самоограничавајућа универзална Тјурингова машина ће се зауставити када је њен унос одређен фер бацањем новчића. Иако је број Ω лако дефинисан, in any consistent axiomatizable theory могуће је само израчунати коначно много цифара броја Ω, тако да је у неком смислу непознат, пружајући апсолутну границу знања која подсећа наGödel's Incompleteness Theorem. Иако се цифре броја Ω не могу одредити, многе особине су му познате; на пример, он је algorithmically random sequence стога његове бинарне цифре су једнако распоређене (заправо је normal).

Историја
Алгоритамску информациону теорију је основао Ray Solomonoff, који је издао основне идеје на којима је ова област заснована као део његовог проналаска algorithmic probability - начина да се превазиђу озбиљни проблеми повезани са применом Bayes' rules у статистици. Он је први пут описао своје резултате на конференцији у Caltech 1960. године, and in a report, February 1960, "A Preliminary Report on a General Theory of Inductive Inference." Алгоритамска информациона теорија се касније развијала независно од стране Andrey Kolmogorov, у 1965 и  Gregory Chaitin, око 1966.

Постоји пар варијација Колмогорове комплексности или алгоритамске информације; Најкоришћенија је базирана на self-delimiting programs због Leonid Levin (1974). Per Martin-Löf је такође озбиљно допринео информационој теорији бесконачних секвенци. Аксиомски приступ алгоритамској информационој теорији базиран  на Blum axioms (Blum 1967) је представљен од стране Mark Burgin in a paper presented for publication by Andrey Kolmogorov (Burgin 1982). Аксимоски приступ обухвата остале приступе у алгоритамској информационој теорији. Могуће је третирати различита мерења алгоритамске информације као специфичне случајеве аксиоматски дефинисаних мерења ње саме. Уместо доказивања сличних теорема, као што је основна теорема инваријантности, за свако одређено мерење, могуће је са лакоћом дедуковати све резулате из једне сличне теореме доказане аксиомским путем. Ово је предност аксиомског приступа у математици. Аксиомски приступ алгоритамској информационој теорији је детаљније развијен у књизи (Burgin 2005) примењен на софтверској метрици(Burgin and Debnath, 2003; Debnath and Burgin, 2003).

Прецизне дефиниције
Бинарни стринг је насумичан ако, Kolmogorov complexity стринга, је барем дужине тог стринга. Једноставно пребројавање показује да неки стрингови, било које дужине, су насумични, и скоро сви стрингови су веома близу да буду насумични. Пошто Kolmogorov complexity зависи од фиксираног избора универзалне Тјурингове машине (неформално, дефинисан "описни језик" за који су "описи" задати), колекција насумичних стрингова зависи од избора фиксиране универзалне машине. Колекција насумичних стрингова, у целини, има сличне особине независно од фиксиране машине, тако да можемо (а често то и радимо) причати о особинама насумичних стрингова као о групи, без потребе да специфицирамо фиксирану машину.

Бесконачна бинарна секвенца је насумична ако, за неку константу c, за свако n, Kolmogorov complexity иницијалног сегмента дужине n те секвенце је барем n &minus; c. Може се показати да скоро свака секвенца (из гледишта стандардног measure — "фер бацања новчића" или Lebesgue measure — у оквиру бинарних бесконачних секвенца) је насумична. Такође, пошто се може показати да Колмогорова комплексност, релативна двема универзалним машинама, разликује се највише за константу, колекција насумичних бесконачних секвенци не зависи од избора универзалне машине (насупрот коначним стринговима). Ова дефиниција насумичности се обично назива Martin-Löf насумичност, по Per Martin-Löf, тако да је разликујемо од осталих, сличних, нотација насумичности.Понекад је називамо и 1-насумичност да би је разликовали од осталих, јачих, нотација насумичности(2-насумичност, 3-насумичност, итд.). Поред Мартин-Лоф концепта насумичности постоје и рекурзивне насумичности, Schnorr насумичност и Kurtz насумичност итд. Yongge Wang је показао да сви ови концепти насумичности су различити.

(Related definitions can be made for alphabets other than the set $$\{0,1\}$$.)

Специфичне секвенце
Алгоритамска информациона теорија (АИТ) је информациона теорија индувидуалних објеката, принципе информатику, и бави се везама између computation, информација,и насумичности.

Информациони content или комплексност објекта може се мерити дужином његовог накраћег описа. Например, стринг:

има кратак опис "32 понављања '01'", док

вероватно нема једноставнијег опиас од писања самог стринга.

Формалније, Алгоритамска Комплексност (АК) стринга x је дефинисана као дужина најмањег програма који израчунава или исписује x, где се програм покреће на неком фиксираном референцном универзалном компјутеру.

Блиско повезан појам је вероватноћа да универзални компјутер исписује неки стринг x уколико је преоптерећен насумично изабраним програмом. Ова Алгоритамска "Solomonoff" Вероватноћа (АВ) је кључ при addressing старог филозофског проблема индукције на формалан начин.

Лоше стране AК и AВ су њихове неизрачунљивости. Временски захтевна "Левин" комплексност кажњава спор програм додајући време трајања алгоритма његовој дужини. Ово доводи до израчунљивих варијанти AК и AВ, и Универзална "Левин" Претрага (УП) решава све инверзне проблеме у оптималном времену (изузев неких нереално великих мултипликативних константи).

АК и AВ омогућавају формалну и ригорозну дефиницију насумичности индувидуалних стрингова да не зависе од физичких и филозофских интуиција о недетерминизму или вероватноће. Угрубо, стринг је Алгоритамски "Мартин-Лоф" Насумичан (АН) ако не може да се компресује, у смислу да његова алгоритамска комплексност је једнака његовој дужини.

AК, AВ, и АН су кључне под-дисциплине Алгоритамске информационе теорије, али она се простире у много других области. Служи као темељ принципу Минималне Описне Дужине (МОД), може да поједностави доказе у комплексној теорији израчунљивости, користи се да дефинише универзалнз метрику сличности између објеката, решава Максвел-Дејмон проблем, и много другог.