Задачи за самостоятелна работа на ентропия

Проблеми на тема: "Размерът на информация"

Вижте. 1_SPD лекция и 1_SPD_dopolnenie

Пример 0. Помислете оценка училище, за да се определи каква е вероятността от всяка оценка, трябва да се брои общият брой на различни оценки от ученик за достатъчно дълъг период от време, както и да се определи колко двойки, тройки, четворки и петици.

Да предположим, че ние решихме, че в продължение на две години са приемали 100 оценка на учениците. Сред тях, 60 - "5" Пет вероятност Р5 = 60/100 = 0.6% 60 25 - «4» P4 = 25/100 = 0.25 25% 10 - «3» P3 = 10/100 = 0, 10 януари% Топ 5 - «2» Р2 = 5/100 = 0.05% Описание 5: N - е общият брой на възможни изхода на protsessan - на който ни интересува sobytiep = N / N Сега, знаейки, вероятността на събитието може да бъде определена количеството на информацията в доклада за всеки от тях. Според теорията, той трябва да се реши на експоненциално уравнение

I «5» = log2 (1 / 0,6) = log2 (5/3) = 0,737 бита аз «4» = log2 (1 / 0,25) = log2 (4) = 2 бита аз «3» = log2 (1 / 0,1) = log2 (10) = 3,322 бита аз «2» = log2 (1 / 0,05) = log2 (20) = 4,322 бита малки вероятността за събитие, толкова повече информация носи съобщение. Обемът на информацията в доклада за някакво събитие зависи от вероятността за това събитие. Колкото по-малка вероятността, колкото повече информация.

Пример 0. три азбука буква А, В и С) Създаване на максимален брой съобщения, чрез комбиниране на най-малко три букви на съобщението. б) Колко информация е необходима на един от тези доклади? в) Каква е сумата на информация за характера на основната азбука?

Решение. а) m2 = 3; п = 3; N == 03 мар = 27

б) I = log2 N = log2 27 = 4.75489 бита;

в) Н = log2 m1 = log2N = log2

Пример 1. Student доставя компенсира. Той не може да премине тест и да мине с еднаква вероятност. Определяне на размера на информация, съдържаща се в доклада, че той премина в класирането. Тъй като събитията от "офсет издържал" и "не подмина компенсира" еднакво, ние използваме формулата за еднакво Hartley съобщения, както и да получите съобщение, че съдържа log2 2 = 1 бит информация.

Пример 2: Един човек си мисли за число между 0 и 15. Какъв е минималният брой въпроси, които трябва да отговорите с "да" или "не", ще трябва да отгатне номера? Отново Hartley формула: I = log2N, битов

log2 16 = 4 въпроса

Пример 3. Къщата по 16 апартамента живеят средно по 2-ма души. Какъв е минималният брой въпроси, които трябва да отговорите с "да" или "не", е необходимо ясно да намерите на глава от населението?

Общият брой на хората в къщата 16 * 2 = 32.

Да / Не въпрос - един бит информация, това е, с помощта на логаритъма при основа 2.

Чрез прилагане формула Hartley log2 m logirifm брой състояния, които се равнява на 32.

От това следва, че минималният брой въпроси, които да бъдат помолени да се намери един жител, се изчислява по формулата и все още Хартли log2 32 = 5

Пример 4 в същото време хвърля два зара. Определяне на количеството информация, която се съдържа в съобщение, че произведението от броя спадна точки е странно.

Nebhodimo да брои вероятността дори и странни парчета.

Общо аспекти на двата зара 36, странно събитие (1,3, 5) за два Cupica 3 * 3 = 9.

Вероятността от нечетен продукт = 1/4. дори 3/4

Като се използва формулата Shannon

Пример 5 хвърля два зара в същото време. Определяне на размера на информация, съдържаща се в съобщението, което сумата на отпаднали точките не е равно на 6.

Nebhodimo да брои вероятността от сумата, равна на 6.

Пример 5.1. Колко начини може да предаде позицията на фигури върху шахматната дъска? Какво е количеството на информацията във всеки случай?

Решение. Възможно е да се изброят всички клетки на шахматната дъска и предават на броя на клетките. Това ще изисква 64 качествена характеристика m = 64, но за предаване на клетките достатъчно Бюд едно съобщение.

В този случай, размерът на информация

Посочете желаната клетка съвет може, чрез преминаване на координатите хоризонтално и вертикално. Това е достатъчно качествен разполага с осем (осем стаи в хоризонтално и вертикално осем), но ще трябва да премине две съобщения. В този случай, размерът на информация

Ако броят на хоризонтален и вертикален трансфер двоичен код ще изисква два качествена черта, която комбинира три елемента в съобщението. В този случай, размерът на информация

Пример 6: Колко информация (Шанън) се получава, ако стана известно точно кои поле шахматна дъска, какъв цвят и каква цифра определя?

Черно цар на терена ч 7.

Ние използваме формула: I = -log стр. където

pchkph7 - вероятно да бъде черен цар на полето з 7. Тази вероятност се получава от едновременното настъпване на три събития: изберете черни парчета (PCH = 1/2), King (PKR = 1/16) и поле з 7 (рН 7 = 1/64) ,

Спор по подобен начин е възможно да се изчисли количеството на информация за всяка фигура, тъй като вероятността за избор на залог - 1 \ 2; слонове и коне топа -1 \ 8; кралица и крал -1 \ 16.

Изчислете сами количеството информация за различните фигури и средното количество информация за едно-единствено число.

Отговорът би трябвало да бъде - 9,125 [малко].

Пример 7 азбука се състои от буквите А, В, С, D. Вероятността за поява на писма съответно = рА рВ = 0.25; бр = 0.34; PD = 0.16. Определяне на размера на информация за характера на съобщението, съставена от тези букви.

Решение. Размерът на информация за азбуки има ентропията на азбуката. От буквите от азбуката еднакво вероятни, а след това ентропията е

Задачи за самостоятелна работа (за защита на колоквиум)

Предложа една клетка на шахматната дъска. Колко въпроси трябва да се отговори с "да" или "не", ще трябва да отгатне клетката?

Къщата разполага с 16 апартамента, всеки, живеещ в средно по 2-ма души. Какъв е минималният брой въпроси, които трябва да отговорите с "да" или "не", е необходимо ясно да намерите на глава от населението?

Къщата разполага с 16 апартамента, всеки дом на точно един човек. Какъв е минималният брой въпроси, които трябва да отговорите с "да" или "не", е необходимо ясно да намерите на глава от населението?

Хвърля два зара в същото време. Определяне на количеството информация, която се съдържа в съобщение, че продуктът на броя на точките, спадна дори.

Хвърля два зара в същото време. Определяне на размера на информация, съдържаща се в съобщението, което сумата на отпаднали точки е равен на 6.

Хвърля два зара в същото време. Определяне на размера на информация, съдържаща се в съобщението, което сумата на отпаднали точките не е равно на 6.

Хвърля два зара в същото време. Определяне на размера на информация, съдържаща се в съобщението, което сумата на отпаднали точките не е равно на 6.

Хвърля два зара в същото време. Определяне на количеството информация, която се съдържа в съобщение, че произведението от броя спадна точки е странно.

Часовникът е спрял и показа 15:23. Определяне на количеството информация в съобщението.

Източникът генерира марка с вероятност p1 Z1 и Z2 с вероятност p2 а. Определя се средната стойност на информация в съобщението на п знаци от азбуката, като се предполага, че връзката между последователни символи отсъства.

Източникът генерира марка с вероятност p1 Z1 и Z2 с вероятност p2 а. Кой е източникът на ентропията?

Студентски еднакво вероятно да получите на всеки тест оценка. Определяне на количеството информация, която се съдържа в посланието, което той предал, но не и 5.

Студентски еднакво вероятно да получат оценка lubuyu на изпита. Определяне на размера на информация, съдържаща се в доклада, че той премина изпита.

Студентски еднакво вероятно да получите на всеки тест оценка. Определяне на размера на информация, съдържаща се в доклада, че той почина на 4.

Студентски взема кредит. Той не може да премине тест и да мине с еднаква вероятност. Определяне на размера на информация, съдържаща се в доклада, че той премина в класирането.

Студентски взема кредит. Вероятност пас p1, не предаде - p2. Определяне на количеството информация, която се съдържа в посланието, което той не даде кредит.

Студентски взема кредит. Вероятност пас p1, не предаде - p2. Определяне на размера на информация, съдържаща се в доклада, че той премина в класирането.

Две стрелка, за които вероятността от удари цел са съответно равни на Р1 и Р2, произведени от един изстрел. Резултатът е, че целта е поразен. Колко информация се съдържа в това съобщение?

Две стрелка, за които вероятността от удари цел са съответно равни на Р1 и Р2, произведени от един изстрел. Резултатът е, че целта не бяха доволни. Колко информация се съдържа в това съобщение?

Има п еднакви монети, една от които е по-лесно. Колко тегления на баланс лъч е необходимо и достатъчно, за да го намерите?

Един човек си мисли за число между 0 и 15. Какъв е минималният брой въпроси, които трябва да отговорите с "да" или "не", ще трябва да отгатне номера?

Човек си мисли, на число от 0 до 15. Известно е, че точно се познае във времето дава вярна, грешен отговор. Какъв е минималният брой въпроси, които трябва да отговорите с "да" или "не", ще трябва да отгатне номера?

Задача 1.12. Какво е ентропията на системата, състоянието на който е описан от дискретна стойност със следното разпределение на вероятностите:

Какво е количеството информация в съобщение, изпратено в двоичен комбинация от пет-цифрени и пет-цифрени комбинации от двете, ако героите са кодирани азбука еднакво?

Какъв е размерът на информация при подготовката на 8 съобщения, дори четири трикомпонентна код?