Код: https://github.com/Elco-/SimpleNN. Датасет с цифрами: https://github.com/pjreddie/mnist-csv-png. В этом видео я делаю простую нейросеть с нуля с обучением обратным распространением ошибки.
Markdown простой язык разметки, созданный для написания читаемого и удобного текста, а также для конвертации в другие языки.. GitHub markdown: https://guides.github.com/features/mastering-markdown/. Сервис из видео: https://stackedit.io/app#
Очень удобный способ предпросмотра вашего README.md файла, который к тому же корректно работает.. Вам не нужно создавать мусорные коммиты чтобы только посмотреть как будет выглядеть страница репозитория.. Достаточно установить grip Github Instant Readme Preview (Мгновенный Просмотрщик Ридми для Гитхаба).. Grip запускает локальный веб сервер, который автоматически обновляет вкладку в браузере при изменении файла.. Репозиторий grip: https://github.com/joeyespo/grip. Пакет в ArchLinux: https://aur.archlinux.org/packages/python-grip/
Markdown язык разметки «без херни».. 0:32 О MarkDown. CheatSheet. 3:42 Заголовки. 5:22 Абзацы, перевод строки. 6:55 Форматирование (жирный, курсив, подчёркивание, зачёркивание). 8:41 Ненумерованные списки (с маркерами). 9:14 Вложенные списки. 9:27 Нумерованные списки. 10:35 Абзац в списке. 12:12 Ссылки. 14:59 Картинки. 15:54 Вставка кода. Подсветка синтаксиса. 18:31 Горизонтальный разделитель. 19:16 Таблицы. Форматирование таблиц. 20:28 Цитата, выделение блока текста. Поддержать проект: ➡ Стать спонсором https://www.youtube.com/letscodedru/join. ➡ Patreon https://www.patreon.com/letscodedru. ➡ Яндекс.Деньги https://money.yandex.ru/to/41001451675086. ➡ PayPal https://paypal.me/letscodedru. ➡ Qiwi https://qiwi.me/letscode. Благодаря Markdown разработчики могу писать красиво оформленную и удобную в использовании документацию в любом удобном редакторе. Причём хранить эту документацию можно прямо в репозитории с исходным кодом. И самое главное GitHub, GitLab, BitBucket и прочие хостеры исходного кода имеют средства для отображения Markdown разметки в виде HTML документа в браузере без какого-либо участия со стороны разработчика. Шпаргалка по основным элементам разметки MarkDown: https://github.com/adam-p/markdown-here/wiki/Markdown-Cheatsheet. Видео про горячие клавиши в IntelliJ IDEA (RubyMine, GoLand, PyCharm, ReSharper, PhpStorm, WebStorm): https://youtu.be/lArM1o0SoMw. ➖➖➖➖➖➖➖➖➖➖➖➖➖➖➖➖➖➖➖➖➖➖➖➖➖➖➖➖➖. ➡ Второй канал: https://www.youtube.com/geekChatDru. ➡ Twitch: https://www.twitch.tv/drucoder. ➡ Твиттер: https://twitter.com/letsCodeDru. ➡ Группа Вконтакте: https://vk.com/letscodedru. ➡ Канал в Telegram: https://t.me/letsCode_dru. ➡ Чат в Telegram: https://t.me/joinchat/FeiP9xEhqHajfqhLr4z-Nw. ➡ Сервер в Discord: https://discord.gg/xs6XxSx. ➡ Яндекс.Дзен: https://zen.yandex.ru/media/id/5ac20956168a91ffeae449c5
6:30 твоя сеть попала локальный минимум и в некотором смысле «переобучилась» и не может уже выбраться по заданным тобой параметрам обратного распространения ошибки. То есть после того как ты добавил еще точки с другой стороны уже настолько радикально дообучить НС не получится она застряла в своём локальном минимуме. А если точки у тебя изначально выставлены НС, то в процессе обучения она спокойно найдёт минимум по градиентному спуску.
С самого начала это с транзистора. Ну ладно, с аналогового сумматора. С учётом необходимости «помнить» весовые коэффициенты с многоуровневой ячейки флеша в качестве управы для перемножителей на входах сумматора. Но в целом спасибо за видос я так понял управляемая написанной на питоне нейронной сетью виртуальная муха-дрозофила скоро полетит в виртуальном трёх мерном пространстве (16 Гб ОЗУ = 2500 ^ 3 байт ) по градиенту запаха пищи от градиента запаха йада с учётом что у неё всего 2 крыла, вихляемое каждое в 2 плоскостях.
распространение ошибок, это «целая наука» о том, как ошибки при измерении отдельных параметров распространяются на конечный результат решения. к примеру на сколько точным будет результат, если у вас нет рулетки, и вы измерите длину комнаты сантиметром. или на сколько точным будет результат, если вы измерите тем же сантиметром уже площадь комнаты. думаю из этого примера, уже, может стать понятно, что под «распространением» имеется в виду «распространение последствия» или «распространение эффекта». сама ошибка распространяться не может. это бессмысленное словосочитание. но почему-то, в английском, прижилось. наверное в виде сокращения. «обратное распространение ошибки» подразумевает, что эффект ошибки воздействует на её источник, то есть неверные значения стрелок. результат ошибки используется в следующей попытке решить задачу. да слово «weight» переводится на русский не только как «вес» если имеется в виду масса, но и «значение» если имеется в виду… «значение» или «значимость». и, по сути, число на стрелке означает именно «значимость» или «значение» данного входного нейрона при принятия решения. поэтому в этом слуачае правильней было бы называть значения стрелок значениями, а не весами. ну в крайнем случае хотябы «весомостью».
а в целом, вся эта история с «нейронной сетью» это один из подвидов задач, которые называют регрессией. при этом обычно идёт поиск решения/решений уровнений, методом «научного тыка», пытаясь с каждой ошибкой максимально приблизиться к одному из решений. и одна из проблем этих методов именно в том, что метод может «застрять» на одном из неполных решений, как к примеру эта сеть застряла на том, что какая-то часть экрана должна быть чёрной, и тогда это пятёрка. то есть сеть не смотрит какая там цифра, а просто смотрит, есть ли белый цвет в определённой части экрана, если нет, то это пятёрка и всё тут. или как у этой двойки, что если внизу чёрточку нарисовали, то всё, значит двойка. по сути всё это не очень сложная математика. что-то вроде метода ньютона для поиска пересечения функции с абциссой из какого-то 6го класса советской школы №12.
По моему ты не делаешь нейросеть, а просто клонировал также с гита) Не увидел самого процесса написания, а просто общее понятие и то как ты запустил чужой код.
Кстати, распознавание почерков врачей ваще крутая идея, только нужно кучу разных почерков для обучения модели��
А что если и вправду такая нейро сеть есть у читеров в контр страйке где прицеливаясь наводка эмулирует твою же стрельбу в тело но делает это на столько рандомно, что античин не срабатывает, привидится же такое.
Вот идея с интерфейсом классная. А иногда залипает нейросеть потому что сваливается в локальный минимум. Там надо отдельно проверять, если ошибка долгое время большая, но не падает значит либо коэффициенты нейросети надо рандомить, либо шаг обучения сильно увеличивать. Там же целая наука… Но если вдруг возникнут такие непонятности можешь обращаться за советом.
Очень удобный способ предпросмотра вашего README.md файла, который к тому же корректно работает. Вам не нужно создавать мусорные коммиты чтобы только посмотреть как будет выглядеть страница репозитория http://markdownpad.com/ для windows 7 максимальная
Огромное спасибо, ваше видео зацепило:) последние несколько дней ударился в изучение нейронок. Форкнул ваш проект, извлек из него нейронку, оформил это в виде модуля мавена, документировал все, так что теперь можно пользоваться нейронкой в разных проектах без копипасты. https://github.com/Fastto/NeuralNetwork4J вот ссылка на репозиторий, как пользоваться описано в readme, буду благодарен за обратную связь, надеюсь этот модуль мавен пригодится кому нибудь )))
Простое попиксельное сравнение исходного изображения с набором образцовых дает лучший результат распознавания, и при этом ничего обучать не нужно. Сделай настоящую нейросеть, которая будет понимать сдвиги, масштаб и развороты. А вообще автору однозначно зачет, удивительно качественный контент от молодого поколения.
да класс, но я зашел посмотреть на практику а тут из практики только код. Назови видео «результат моей нейросети». По сути не показано что да как делать а просто вот я сделал смотрите какой я молодец.
Подскажите пожалуйста, я делаю то же самое, что было в первом уроке из плейлиста spring boot MVC, у меня при запуске выходит ошибка java.lang.IllegalArgumentException: Could not find class [org.springframework.ws.config.annotation.WsConfigurationSupport] Что с этим делать?
Обучать распознаванию рукописных цифр нужно по-другому. Надо преобразовать каждую цифру в последовательность движений пера при письме (право/лево/верх/низ/поднять перо/опустить перо). И вот уже эту последовательность скармливать нейросети. В этом случае не будет привязки к координатам (в центре или не в центре нарисовано) и распознавание будет гораздо более точным, т.к. именно так распознаёт цифры наш мозг воссоздавая траекторию движения пера. Получается, сначала надо написать нейросеть, которая будет выполнять преобразование, а потом нейросеть, которая будет распознавать. Ну и естественно надо учесть, что есть несколько вариантов рисования одной цифры.
посути нейросеть это создание кода методом брутфорса и превращение программирования немного в магию (насколько удачно заклинание сделаешь, настолько эффективно заработает), потому как никто в эти таблицы с коэффициентами лезть не будет, а тем более самому их править осознанно, а уж тем более создавать их с нуля.
А что используется в качестве координат разделительной линии? Выходные нейроны? Если да, то как понять какой из них X, а какой Y? И не понял еще момент, если в скрытом слое 5 нейронов, то на выходе сколько, тоже 2? Запутался с отрисовкой этой линии, не пойму откуда она координаты берет.
-Если кто-то в 2к20 еще не знает, что такое нейросеть, ща объясню *забывает упомянуть о функции активации -Ну и в общем-то хрен знает, как градиентный спуск работает… Ну вы сами там почитайте… а то в 2к20 стыдно не знать, как работает нейросеть, как обучается не стыдно
Привет, спасибо за твоё видео, я попал на него в поисках решения задачи, которую давно уже решили я так думаю. Возможно ты подскажешь мне куда копать. У меня стоит задача определить сколько людей за день проходит мимо дома. Т.е. я планирую поставить камеру, а нейронная сеть должна в реальном времени распознать что проходит человек и просто добавить +1. Я готов мириться с погрешностями если будет идти сразу толпа и один человек, будет фактически закрывать другого, но мне с чего-то надо начать. Хотел бы уточнить что у меня нет цели детально разобраться как работает нейро сеть и если есть уже готовое или полуготовое решение, я бы хотел просто взять его, настроить и получить результат. Заранее спасибо.
Аааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааа
6:30 твоя сеть попала локальный минимум и в некотором смысле «переобучилась» и не может уже выбраться по заданным тобой параметрам обратного распространения ошибки. То есть после того как ты добавил еще точки с другой стороны уже настолько радикально дообучить НС не получится она застряла в своём локальном минимуме.
А если точки у тебя изначально выставлены НС, то в процессе обучения она спокойно найдёт минимум по градиентному спуску.
С самого начала это с транзистора. Ну ладно, с аналогового сумматора. С учётом необходимости «помнить» весовые коэффициенты с многоуровневой ячейки флеша в качестве управы для перемножителей на входах сумматора.
Но в целом спасибо за видос я так понял управляемая написанной на питоне нейронной сетью виртуальная муха-дрозофила скоро полетит в виртуальном трёх мерном пространстве (16 Гб ОЗУ = 2500 ^ 3 байт ) по градиенту запаха пищи от градиента запаха йада с учётом что у неё всего 2 крыла, вихляемое каждое в 2 плоскостях.
распространение ошибок, это «целая наука» о том, как ошибки при измерении отдельных параметров распространяются на конечный результат решения.
к примеру на сколько точным будет результат, если у вас нет рулетки, и вы измерите длину комнаты сантиметром.
или на сколько точным будет результат, если вы измерите тем же сантиметром уже площадь комнаты.
думаю из этого примера, уже, может стать понятно, что под «распространением» имеется в виду «распространение последствия» или «распространение эффекта». сама ошибка распространяться не может. это бессмысленное словосочитание. но почему-то, в английском, прижилось. наверное в виде сокращения.
«обратное распространение ошибки» подразумевает, что эффект ошибки воздействует на её источник, то есть неверные значения стрелок.
результат ошибки используется в следующей попытке решить задачу.
да слово «weight» переводится на русский не только как «вес» если имеется в виду масса, но и «значение» если имеется в виду… «значение» или «значимость». и, по сути, число на стрелке означает именно «значимость» или «значение» данного входного нейрона при принятия решения.
поэтому в этом слуачае правильней было бы называть значения стрелок значениями, а не весами. ну в крайнем случае хотябы «весомостью».
а в целом, вся эта история с «нейронной сетью» это один из подвидов задач, которые называют регрессией. при этом обычно идёт поиск решения/решений уровнений, методом «научного тыка», пытаясь с каждой ошибкой максимально приблизиться к одному из решений.
и одна из проблем этих методов именно в том, что метод может «застрять» на одном из неполных решений, как к примеру эта сеть застряла на том, что какая-то часть экрана должна быть чёрной, и тогда это пятёрка. то есть сеть не смотрит какая там цифра, а просто смотрит, есть ли белый цвет в определённой части экрана, если нет, то это пятёрка и всё тут.
или как у этой двойки, что если внизу чёрточку нарисовали, то всё, значит двойка.
по сути всё это не очень сложная математика. что-то вроде метода ньютона для поиска пересечения функции с абциссой из какого-то 6го класса советской школы №12.
По моему ты не делаешь нейросеть, а просто клонировал также с гита)
Не увидел самого процесса написания, а просто общее понятие и то как ты запустил чужой код.
Кстати, распознавание почерков врачей ваще крутая идея, только нужно кучу разных почерков для обучения модели��
А что если и вправду такая нейро сеть есть у читеров в контр страйке где прицеливаясь наводка эмулирует твою же стрельбу в тело но делает это на столько рандомно, что античин не срабатывает, привидится же такое.
Вот идея с интерфейсом классная. А иногда залипает нейросеть потому что сваливается в локальный минимум. Там надо отдельно проверять, если ошибка долгое время большая, но не падает значит либо коэффициенты нейросети надо рандомить, либо шаг обучения сильно увеличивать. Там же целая наука… Но если вдруг возникнут такие непонятности можешь обращаться за советом.
Классное видео) Если хочешь получше понять backpropagation то посмотри курс от Andrew Ng по deep learning, там очень хорошо объясняется суть алгоритма https://www.youtube.com/watch?v=CS4cs9xVecg&list=PLkDaE6sCZn6Ec-XTbcX1uRg2_u4xOEky0
Очень удобный способ предпросмотра вашего README.md файла, который к тому же корректно работает.
Вам не нужно создавать мусорные коммиты чтобы только посмотреть как будет выглядеть страница репозитория http://markdownpad.com/ для windows 7 максимальная
Огромное спасибо, ваше видео зацепило:) последние несколько дней ударился в изучение нейронок.
Форкнул ваш проект, извлек из него нейронку, оформил это в виде модуля мавена, документировал все, так что теперь можно пользоваться нейронкой в разных проектах без копипасты.
https://github.com/Fastto/NeuralNetwork4J
вот ссылка на репозиторий, как пользоваться описано в readme, буду благодарен за обратную связь, надеюсь этот модуль мавен пригодится кому нибудь )))
Очень хороший пример с нейроном смещения.
Линейная функция проходящая через начало координат:
y = kx
Не проходящая:
y = kx + b
Где B будет выступать нейроном смещения.
Который и сдвигает его центр относительно y.
Даже подходит B, BIAS:)
Простое попиксельное сравнение исходного изображения с набором образцовых дает лучший результат распознавания, и при этом ничего обучать не нужно. Сделай настоящую нейросеть, которая будет понимать сдвиги, масштаб и развороты. А вообще автору однозначно зачет, удивительно качественный контент от молодого поколения.
да класс, но я зашел посмотреть на практику а тут из практики только код. Назови видео «результат моей нейросети». По сути не показано что да как делать а просто вот я сделал смотрите какой я молодец.
Подскажите пожалуйста, я делаю то же самое, что было в первом уроке из плейлиста spring boot MVC, у меня при запуске выходит ошибка
java.lang.IllegalArgumentException: Could not find class [org.springframework.ws.config.annotation.WsConfigurationSupport]
Что с этим делать?
Обучать распознаванию рукописных цифр нужно по-другому. Надо преобразовать каждую цифру в последовательность движений пера при письме (право/лево/верх/низ/поднять перо/опустить перо). И вот уже эту последовательность скармливать нейросети. В этом случае не будет привязки к координатам (в центре или не в центре нарисовано) и распознавание будет гораздо более точным, т.к. именно так распознаёт цифры наш мозг воссоздавая траекторию движения пера. Получается, сначала надо написать нейросеть, которая будет выполнять преобразование, а потом нейросеть, которая будет распознавать. Ну и естественно надо учесть, что есть несколько вариантов рисования одной цифры.
посути нейросеть это создание кода методом брутфорса и превращение программирования немного в магию (насколько удачно заклинание сделаешь, настолько эффективно заработает), потому как никто в эти таблицы с коэффициентами лезть не будет, а тем более самому их править осознанно, а уж тем более создавать их с нуля.
А что используется в качестве координат разделительной линии? Выходные нейроны? Если да, то как понять какой из них X, а какой Y? И не понял еще момент, если в скрытом слое 5 нейронов, то на выходе сколько, тоже 2? Запутался с отрисовкой этой линии, не пойму откуда она координаты берет.
-Если кто-то в 2к20 еще не знает, что такое нейросеть, ща объясню
*забывает упомянуть о функции активации
-Ну и в общем-то хрен знает, как градиентный спуск работает… Ну вы сами там почитайте… а то в 2к20 стыдно не знать, как работает нейросеть, как обучается не стыдно
Привет, спасибо за твоё видео, я попал на него в поисках решения задачи, которую давно уже решили я так думаю. Возможно ты подскажешь мне куда копать. У меня стоит задача определить сколько людей за день проходит мимо дома. Т.е. я планирую поставить камеру, а нейронная сеть должна в реальном времени распознать что проходит человек и просто добавить +1. Я готов мириться с погрешностями если будет идти сразу толпа и один человек, будет фактически закрывать другого, но мне с чего-то надо начать. Хотел бы уточнить что у меня нет цели детально разобраться как работает нейро сеть и если есть уже готовое или полуготовое решение, я бы хотел просто взять его, настроить и получить результат. Заранее спасибо.