Gradient descent, how neural networks learn | Deep learning, chapter 2


Подпишитесь для получения дополнительной информации (часть 3 будет посвящена обратному распространению): 3b1b.co/subscribe
Спасибо всем, кто поддерживает Patreon.
www.patreon.com/3blue1brown
3b1b.co/nn2-thanks

Для начинающих основателей старта ML, Amplify Partners хотели бы услышать от вас через 3blue1brown@amplifypartners.com

Чтобы узнать больше, я настоятельно рекомендую книгу Майкла Нильсена
neuralnetworksanddeeplearning.com/
Книга просматривает код за примером в этих видео, который вы можете найти здесь:
github.com/mnielsen/neural-networks-and-deep-learning

База данных MNIST:
yann.lecun.com/exdb/mnist/

Также ознакомьтесь с блогом Криса Олаха:
colah.github.io/
Его сообщение о нейронных сетях и топологии особенно красиво, но, честно говоря, весь материал там замечательный.

И если вам это нравится, вы будете * любить * публикации на дистилляции:
distill.pub/

Для получения дополнительных видеороликов, Welch Labs также имеет ряд отличных серий для машинного обучения:
youtu.be/i8D90DkCLhI
youtu.be/bxe2T-V8XRs

«Но я уже прожорливо поглотил работы Нильсена, Ола и Уэлша», я слышу, как вы говорите. Хорошо, тогда посмотри на себя. В этом случае я бы рекомендовал продолжить работу над книгой «Глубокое обучение» Гудфеллоу, Бенгио и Курвиллом.

Благодаря Лише Ли (@ lishali88) за ее вклад в конце и за то, что я позволил ей так сильно забрать свой мозг. Вот статьи, на которые она ссылалась в конце:
arxiv.org/abs/1611.03530
arxiv.org/abs/1706.05394
arxiv.org/abs/1412.0233

Музыка Винсента Рубинетти: soundcloud.com/vincerubinetti/

— 3blue1brown — это канал об анимации математики, во всех смыслах одушевленного слова. И вы знаете упражнение с YouTube, если хотите оставаться в курсе новых видеороликов, подписываться и щелкать по колоколу, чтобы получать уведомления (если вы в этом).

Если вы новичок в этом канале и хотите увидеть больше, это хороший плейлист: 3b1b.co/recommended

Различные материалы в социальных сетях:
Веб-сайт: www.3blue1brown.com
Twitter: twitter.com/3Blue1Brown
Patreon: patreon.com/3blue1brown
Facebook: www.facebook.com/3blue1brown
Reddit: www.reddit.com/r/3Blue1Brown

Фракталы обычно не самоподобны


Объяснение фрактальной размерности

Перевёл и озвучил: www.facebook.com/mihail.koroteev
Оригинал: www.youtube.com/watch?v=gB9n2gHsHN4
Сайт 3b1b: www.3blue1brown.com
Спонсировано этими людьми: 3b1b.co/fractals-thanks
Музыка Винсента Рубинетти: soundcloud.com/vincerubinetti/riemann-zeta-function



3blue1brown — это канал об анимации (во всех смыслах слова) математических идей. И, по традиции Youtube, если вы хотите быть в курсе всех новых видео, подписывайтесь и нажимайте на колокольчик, чтобы получать оповещения.
Если вы совсем недавно открыли для себя этот канал, вот отличный плейлист для начала:
3b1b.co/recommended

Где меня найти:
Мой сайт: www.3blue1brown.com
Twitter: twitter.com/3Blue1Brown
Patreon: patreon.com/3blue1brown
Facebook: www.facebook.com/3blue1brown
Reddit: www.reddit.com/r/3Blue1Brown

Линейные трансформации и матрицы | Сущность Линейной Алгебры, глава 3


О матрицах можно думать как о трансформациях пространства, и понимание того как это работает является ключевым для понимания многих других идей в Линейной Алгебре, которые мы будем рассматривать дальше.

Оригинал: 3b1b.co/eola

Подобные видео финансируются сообществом через Patreon.
Там вы сможете получить доступ к новым видео раньше всех.
3b1b.co/support

— 3blue1brown это канал с анимированной математикой, во всех смыслах слова «Анимированной». Это комбинация Математики и развлечения — в зависимости от Вашего настроения.

Если Вы первый на этом канале и хотите увидеть больше, начните с плейлиста:: goo.gl/WmnCQZ

Другие ссылки:
Website: www.3blue1brown.com
Twitter: twitter.com/3Blue1Brown
Patreon: patreon.com/3blue1brown
Facebook: www.facebook.com/3blue1brown
Reddit: www.reddit.com/r/3Blue1Brown

Some light quantum mechanics (with minutephysics)


Математика суперпозиции и квантовых состояний.
канал МинуткаФизики: www.youtube.com/user/minutephysics
Скажем спасибо: 3b1b.co/light-quantum-thanks
и проекту Brilliant: brilliant.org/3b1b

Огромное спасибо моему другу Эвану Миязоно, как за то, что он поддержал меня в этом проекте, так и за то, что он помог мне понять многие вещи на этом пути.

Это простой пример того, как математика квантовой механики, особенно в контексте поляризованного света, описывает математику классических волн, в частности классических электромагнитных волн.

Я скажу, что если вы *захотите* начать изучать математику квантовой механики, то знание слишком много линейной алгебры, для Вас никогда не будут лишними, так что посмотрите серию, которую я сделал на 3b1b.co/essence-of-linear-algebra

Ошибки: как указали несколько проницательных зрителей, направление стрелка силы показано неверно в 2:18. Спасибо за улов!

* Примечание, договоримся: в этом видео я буду использую стрелку вправо с одной головкой для обозначения горизонтального направления. Стандарт в квантовой механике на самом деле состоит в использовании двуглавых стрелок для описания состояний поляризации, в то время как одноголовые стрелки обычно зарезервированы для контекста вращения.

Какая разница? Что ж, использование двуглавой стрелки для представления горизонтального направления подчеркивает, что в контексте квантовой механики нет различия между левым и правым. Каждый из них имеет одинаковое измеряемое состояние: горизонтальное (например, они проходят через горизонтально ориентированные фильтры). Как только вы попадаете в QM, эти кеты, как правило, являются векторами в более абстрактном пространстве, где векторы не обязательно являются пространственными направлениями, а вместо этого представляют любой вид состояния.

Из-за того, что я решил мотивировать вещи классическими волнами, где имеет смысл, чтобы эта стрелка представляла единичный вектор в правильном направлении, а не более абстрактную идею вектора горизонтального состояния, я решил придерживаться одноголового обозначения повсюду, хотя это немного противоречит конвенции.

Музыка Винсента Рубинетти:
vincerubinetti.bandcamp.com/album/the-music-of-3blue1brown

— 3blue1brown — это канал об оживлении математики во всех смыслах этого слова. И вы знаете, что такое YouTube, если вы хотите оставаться в курсе новых видео, подпишитесь и нажмите на звонок, чтобы получать уведомления (если вам это интересно).

Если вы новичок в этом канале и хотите увидеть больше, для начала неплохо бы начать с этого плейлиста: 3b1b.co/recommended

Различные социальные сети:
Веб-сайт: www.3blue1brown.com
Twitter: twitter.com/3Blue1Brown
Патреон: patreon.com/3blue1brown
Facebook: www.facebook.com/3blue1brown
Reddit: www.reddit.com/r/3Blue1Brown

А.С. Трушечкин. Математика квантовой механики


23 мая 2013 г. 16:15, г. Москва
Общеинститутский семинар «Коллоквиум МИАН»
А.С. Трушечкин, Математика квантовой механики
Источник: видеотека Math-Net.Ru — www.mathnet.ru/present6823

Экспоненциальный рост и эпидемии


Хорошее время для урока по экспоненциальному и логистическому росту, не так ли?

Перевёл и озвучил: www.youtube.com/channel/UCzyDKZEPklrR4QELiy_mxzw
Оригинал: www.youtube.com/watch?v=Kas0tIxDvrg
Сайт 3b1b: www.3blue1brown.com
Спонсировано этими людьми: 3b1b.co/thanks

Источник статистики: www.worldometers.info/coronavirus/coronavirus-cases/#total-cases

Некоторые (вполне обоснованно) заметили, что вы не должны смотреть на R^2 линейных регрессий по совокупным данным, потому что даже для случайных изменений каждый итог не полностью независим от предыдущего. Так как производная экспоненты должна также быть экспонентой, мы бы могли взамен провести такой же тест на логарифмах разниц от одного дня к другому, что в данном случае даст R^2=0.91.

Пока это видео использует COVID-19 (он же Коронавирус) как пример, основная цель это просто математический урок по экспонентам и логистическим кривым. Если вы ищете ролик, сконцентрированный на COVID-19, я рекоминдую посмотреть вот этот ролик от Osmosis: youtu.be/cFB_C2ieW5I

Экстраполяция xkcd: xkcd.com/605/



Эти анимации по большей части сделаны на manim, библиотеке с открытым кодом на python:
github.com/3b1b/manim

Если вы хотите взглянуть на это, Я обязан предупредить, что это инструмент с не самой лучшей документацией, и в нём много подвохов, которые вы можете ожидать от библиотеки, написанной кем-то с мыслью только о личном использовании.

Музыка Винсента Рубинетти.
Загрузить музыку на Bandcamp: vincerubinetti.bandcamp.com/album/the-music-of-3blue1brown
Музыка на Spotify: open.spotify.com/album/1dVyjwS8FBqXhRunaG5W5u



3blue1brown — это канал об анимации (во всех смыслах слова) математических идей. И, по традиции Youtube, если вы хотите быть в курсе всех новых видео, подписывайтесь и нажимайте на колокольчик, чтобы получать оповещения.
Если вы совсем недавно открыли для себя этот канал, вот отличный плейлист для начала:
3b1b.co/recommended

Где меня найти:
Мой сайт: www.3blue1brown.com
Twitter: twitter.com/3Blue1Brown
Patreon: patreon.com/3blue1brown
Facebook: www.facebook.com/3blue1brown
Reddit: www.reddit.com/r/3Blue1Brown

Параллельные миры, квантовая механика и кот [Veritasium]


Помощь проекту: vertdider.tv/to-support-us/

Сколько раз вы пытались понять квантовую механику? А сколько раз получилось? Наконец за объяснение взялся Дерек Маллер. Из видео узнаем, что там с параллельными мирами, сколько их может быть и еще раз попробуем вникнуть в то, что такое суперпозиция и квантовая запутанность.

Перевод: Алексей Малов
Редактор: Елена Смотрова
Научный редактор: Кирилл Циберкин
Озвучка: Вадим Казанцев, Сергей Васильев
Монтаж звука: Андрей Фокин
Монтаж видео: Джон Исмаилов
Обложка: Глеб Брайко

Сайт студии: vertdider.com

Спасибо за поддержку на www.patreon.com/VertDider.
Озвучки Vert Dider выходят с вашей помощью:

Nikolay Verhovsky, Nick Denizhenko, Oleksii, Mikhail Stolpovskiy, Ігор Дорохов, Кирилл Басалык, Boris Bendikov, Dina vysotskaya, Sergei W, Михаил Панькин, Hackee, Felix, Pavel Parpura, Yevhen, Kosoy, Anton Bolotov, Максим Sheridan Горлов, Anton Makiievskyi, Vladimir Grachev, Denis Titusov, Spartak Kagramanyan, Dmitriy Omelyansky, Konstantin Pesyakov, Olga Shistareva, Alex Katkov, Dmitrii Tretiakov, Serj Kravchuk, Alexander Zimin, Евгений Миф, Alexey Kukushkin, Пугачёв Пётр, Viktoria, Kamerton_440, Pandaben, Oleg Streltsov, Alexandr Globov, space monkey, Vladimir Goshev, Vladyslav Sokolenko, Елизавета, Pavel D, Ivan Iakimov, Иван Дьяченко, Karl Soveren, Claudia Barzaeva, sepeca, Olga Podolskaya, Антон Шатаев, Dushes, Aleksei Masliukov, Valeria Volodina, Vladimir Gavriushov, Maria Burtseva, Aleksey Sazonov, Irina Shakhverdova, Evgeny Vrublevsky, Виталий Пастушенко, Katya Prokopchuk, Lirin Alex, Alterien

Мы в социальных сетях:

vk.com/studio_vd

www.facebook.com/StudioVertDider

twitter.com/Vert_Dider

geektimes.ru/company/vertdider/

ok.ru/group/53365179089010

instagram.com/vert_dider

coub.com/vertdider

vert-dider.livejournal.com/

t.me/vertdider

Разрешение на публикацию: goo.gl/6n4dT7
© www.youtube.com/user/1veritasium
Источник: youtu.be/kTXTPe3wahc

Секрет Сложнейших Фракталов... Наглядно и в Анимации!


Помочь денежкой: www.donationalerts.com/r/vectozavr

telegram: @vectozavr
Instagram: www.instagram.com/vectozavr
vk: vk.com/public179407034
Статья: ilinblog.ru/article.php?id_article=38
Навигатор по множеству Мандельброта: www.michurin.net/online-tools/mandelbrot.html
Здесь можно срендерить любое место фрактала в 2K: sunandstuff.com/mandelbrot/
Еще один генератор: nadin.miem.edu.ru/1111/
Погружение в множество Мандельброта на протяжении часа: www.youtube.com/watch?v=UJzB-6T9QCs
Код множества Жюлиа: github.com/vectozavr/PhysicsSimulations/blob/master/julia_set.cpp

Я расскажу о том, как получить невероятно сложные и красивые фракталы, как замоделировать молнию, рост плесени и броуновское движение, а также расскажу, по каким правилам растут папоротники. Уверяю: это перевернёт ваше представление о природе!

Для построения множества Жюлиа понадобится небольшая формула над комплексными числами! Вместо того, чтобы сразу разбирать полную формулу, я предлагаю сначала занулить константу C.
Понятно, что если точки находятся внутри единичного круга, то они должны притянуться к центру. Точки, которые находятся вне единичной окружности будут отдалятся от нуля.
Точки, находящиеся на границе окружности, будут оставаться на границе.
Нас интересуют только такие точки плоскости, которые не уходят на бесконечность. Понятно, что для данной формулы множество таких точек – это круг радиуса 1.
А что теперь будет, если в формулу добавить очень маленькую константу C и постепенно увеличивать её по модулю. Если немного подождать, то мы увидим уже знакомое нам множество Мандельброта. При некоторых параметрах фрактал разделяется на небольшие островки, которые то образуются, то опять комбинируются в единое целое.

Увеличивая границу этого множества, мы будем видеть все больше и больше мелких деталей. Каждая отдельная часть содержит бесконечное множество вариаций исходного фрактала.

Одна компактная формула способна породить целую вселенную с бесконечно сложными циклонами, причудливыми иглами, острыми вилами, полувилами, супервилами, тайфунами, небоскребами, океанами, долинами морских коньков и долинами слонов.

Вместо второй степени можно выбрать любую: третью, четвёртую, пятую, восьмую и даже дробную.
Фракталы можно строить в трехмерном, четырёхмерном или даже в пятисотмерном пространстве.
Для более высоких размерностей используют уже не комплексные числа, а, например, кватернионы. Это не пары чисел, а группы по 4 числа.
Каждый трехмерный фрактал, полученный той или иной формулой, – это сечение четырёхмерного множества. Для алгебры октав или Клиффорда эта область математики на данный момент изучена мало.

Во многих областях физики можно встретить фракталы. Один из самых известных примеров – движение Броуновской частицы. Если подождать достаточно долго, то можно увидеть, что траектория движения броуновской частицы самоподобна.
На этом фрактальность не заканчивается. Представьте теперь, что частицы движутся и могут прилипать к статичной затравочной частице в центре. Сначала мы с некоторого радиуса с произвольной стороны выпускаем частицу. Если она оказалась рядом с затравочной, то она к ней прилипнет. После этого мы опять выпускаем частицу и ждем её прилипания.
Постепенно налипает все больше и больше частиц. Образуется структура, называемая кластером.
Частицы, двигаясь по фрактальным траекториям, прилипают друг к другу и образуют фрактальный кластер.

Можно ввести вероятность прилипания и сделать её тем выше, чем больше соседей вокруг.
Забавная структура, да ещё и очень похожа на то, что мы наблюдаем в реальном эксперименте при химической агрегации DLA кластеров.

Коронный разряд — очень красивое явление, которое тоже является фракталом! С помощью уравнения Лапласа можно смоделировать распространение молнии.
При изменении свойств среды, в которой распространяется молния, изменяется ветвистость структуры.

Возьмем три любые точки на плоскости. Теперь нужно выбрать произвольную точку и много раз делать простую процедуру. Выберем одну из трех зафиксированных нами точек и сместимся в её сторону на половину расстояния до неё.
Так мы будем делать снова и снова. Получившаяся фигура называется треугольником Серпинского: это один из самых популярных фракталов.
То есть мы случайно смещались в сторону одной из вершин треугольника и получили такой фантастический результат.
Это работает не только с треугольником.

Можно задать другое правило: en.wikipedia.org/wiki/Barnsley_fern
Если запрограммировать это правило, то получится папоротник Барнсли. Каждое из этих четырех правил отвечает за рост его отдельных частей.
Достаточно четырёх преобразований для хранения всех возможных комбинаций папоротников.

Поэтому фракталы уже давно применяют в компьютерной графике для генерации миров в играх. Они получаются очень интересными и разнообразными.
Вот такая интересная бывает математика.

Огромная благодарность всем моим спонсорам на patreon!

Что такое вектора? | Сущность Линейной Алгебры, глава 1


Наверно многие уже знакомы с векторами в каком-то контексте, поэтому цель этого видео — быстрое напоминание терминологии связанной с векторами и шанс убедится что мы все находимся на одной волне касательно того как конкретно следует представлять вектора в контексте Линейной Алгебры.

Оригинал: 3b1b.co/eola

Подобные видео финансируются сообществом через Patreon.
Там вы сможете получить доступ к новым видео раньше всех.
3b1b.co/support

— 3blue1brown это канал с анимированной математикой, во всех смыслах слова «Анимированной». Это комбинация Математики и развлечения — в зависимости от Вашего настроения.

Если Вы первый на этом канале и хотите увидеть больше, начните с плейлиста:: goo.gl/WmnCQZ

Другие ссылки:
Website: www.3blue1brown.com
Twitter: twitter.com/3Blue1Brown
Patreon: patreon.com/3blue1brown
Facebook: www.facebook.com/3blue1brown
Reddit: www.reddit.com/r/3Blue1Brown

Обратные матрицы, пространство столбцов и нуль пространство | Сущность Линейной Алгебры, глава 6


О том как вы можете думать о системах линейных уравнений — геометрически. С фокусом на развитие интуиции для концепций: обратных матриц, пространства столбцов, ранга и нуль пространства, но процесс их вычисления не рассматривается.

Оригинал: 3b1b.co/eola

Подобные видео финансируются сообществом через Patreon.
Там вы сможете получить доступ к новым видео раньше всех.
3b1b.co/support

— 3blue1brown это канал с анимированной математикой, во всех смыслах слова «Анимированной». Это комбинация Математики и развлечения — в зависимости от Вашего настроения.

Если Вы первый на этом канале и хотите увидеть больше, начните с плейлиста:: goo.gl/WmnCQZ

Другие ссылки:
Website: www.3blue1brown.com
Twitter: twitter.com/3Blue1Brown
Patreon: patreon.com/3blue1brown
Facebook: www.facebook.com/3blue1brown
Reddit: www.reddit.com/r/3Blue1Brown