Математика - - Информационная энтропия + конспект от YandexGPT
Математика - - Информационная энтропия конспект от YandexGPT
00:02 Введение в энтропию
• Обсуждение энтропии и ее связи с машинным обучением.
• Объяснение формулы энтропии и ее применения в теории передачи сигналов.
07:35 Пример кодирования
• Пример кодирования букв алфавита с использованием двоичного дерева.
• Обсуждение оптимальной длины закодированного сообщения и средней длины сообщения из одного символа.
13:16 Энтропия и информация
• Определение энтропии как меры неопределенности случайной величины.
• Обсуждение связи энтропии с количеством бит, необходимых для передачи информации о случайной величине.
• Пример использования энтропии для определения количества бит, необходимых для передачи сообщения из 100 букв.
20:13 Обсуждение энтропии и информации
• В видео обсуждается, что энтропия - это мера неопределенности случайной величины, и чем случайнее величина, тем больше информации нужно для ее определения.
• Для передачи сообщения, чтобы понять, что случилось с иксом, нужно больше информации, чем для передачи сообщения о том, что случилось с иксом.
30:08 Аксиоматическое определение энтропии
• В видео дается определение энтропии как меры неопределенности случайной величины.
• Энтропия должна быть непрерывной, симметричной функцией своих аргументов и должна быть симметричной относительно перестановки аргументов.
• Энтропия также должна возрастать при добавлении нового значения.
37:31 Примеры и свойства энтропии
• В видео приводятся примеры и свойства энтропии, такие как максимальное значение энтропии при равномерном распределении значений случайной величины и возрастание энтропии при добавлении нового значения.
• Также объясняется, что энтропия может быть определена как сумма логарифмов вероятностей, обратных к ним.
41:20 Энтропия и информация
• В видео объясняется понятие энтропии и информации в контексте случайного распределения.
• Энтропия - это мера неопределенности, которая показывает, сколько информации необходимо для определения случайной величины.
• Для определения энтропии используется логарифм по основанию 2.
56:23 Совместная энтропия
• Вводится понятие совместной энтропии, которая определяется как сумма энтропий для каждой случайной величины в паре.
• Это позволяет учитывать неопределенность в предсказании пары случайных величин.
01:02:16 Энтропия и носитель случайной величины
• Обсуждается понятие носителя случайной величины, который определяет множество, на котором распределена случайная величина.
• Это важно для понимания плотности случайной величины и ее распределения.
01:04:07 Энтропия и ее свойства
• В видео объясняется, что энтропия случайной величины - это мера неопределенности, которая может быть как положительной, так и отрицательной.
• Энтропия совместной случайной величины всегда неотрицательна, но может быть больше, меньше или равна энтропии каждой из составляющих.
01:14:18 Энтропия и линейная зависимость
• Если одна из случайных величин линейно зависима от другой, то энтропия совместной случайной величины будет меньше, чем сумма энтропий каждой из составляющих.
• Если случайные величины независимы, то энтропия совместной случайной величины будет равна сумме энтропий каждой из составляющих.
Весь плейлист:
1 view
458
172
6 months ago 00:12:37 1
Провальное неравенство 2023 года | Математика с Кириллом Нэш | ЕГЭ 2024 | SMITUP
6 months ago 00:31:31 1
4 года МФТИ vs 9 лет в MIT. Прогеры. ПМИ МФТИ vs (Eng/PhD+MS+BS) in Computer Science в MIT.
6 months ago 00:13:25 1
Машинное обучение для чайников
6 months ago 00:04:19 1
Математика 5 Объем Объем прямоугольного параллелепипеда
6 months ago 01:05:51 1
Кто грызёт гранит науки? Интервью с морским биологом на исследовательском судне в Арктике | Alles
6 months ago 00:31:07 1
Доктор Боровских - Про мат
6 months ago 00:00:31 1
КАК МУЖЧИНА РЕШАЕТ … ?! Тг: ilchegg #ильич #профильнаяматематика #егэ #егэ2024 #математика
6 months ago 00:04:56 1
Математика 3 класс (Урок№58 - Приёмы письменных вычислений.)
6 months ago 00:08:37 1
Затопление Питер. Ученые сказали когда это произойдет
6 months ago 00:10:48 1
Учёные объявляют о революционной теории времени!
6 months ago 00:00:08 1
МАТЕМАТИКА ИЗМЕНЯЕТ?? Тг: ilchegg #ильич #егэ #егэ2024 #математика #профильнаяматематика
6 months ago 00:29:05 1
Фильм Грязные Слова. Правда и мифы: русский язык и мат; матерные слова и русский мат
6 months ago 00:29:15 1
ТО ЧТО Ученые Обнаружили Внутри ЭТОГО МЕТЕОРИТА Испугало Весь МИР! Топ 20
6 months ago 00:09:15 1
“ОНИ уже здесь, и это 100%”. Сенсационные заявления ученого из Америки #Aliens #SALT #iConnections
6 months ago 00:11:46 1
ПРОСТО ДЕЛАЙТЕ КАК Я СКАЖУ. Откровения Ученой Натальи Бехтеревой
6 months ago 00:00:33 1
Шерсть утконосов светится под УФ, но учёные до сих пор не понимают почему #naturalhabitatshorts
6 months ago 00:54:57 1
Как мыслит амбициозный человек? Доктор наук Александр Осадчиев о воле и терпении.
6 months ago 01:48:24 1
Балдежный Пересказ СОПРАНО — 1 Сезон (The Sopranos) [Сюжет Сериала]
6 months ago 00:14:38 1
АЗБУКА РЕШЕНИЙ СТЕРЕОМЕТРИЧЕСКИХ ЗАДАНИЙ ЕГЭ ОТ VictorSh
6 months ago 00:00:13 1
песенка про тую(осторожно ,мат)
6 months ago 00:24:25 1
Никон и Феодосий Печерские: первые идеи древнерусской литературы | Из курса «Мыслители Древней Руси»