Нейронные сети

Погрузился с головой в тематику нейронных сетей. Интересно, на самом деле. Хотя и изучал эту тему еще в университете лет 20 назад, даже книжку для преподавателей переводил, но тогда не «зацепило».

Я думаю, основная причина — в недостаточной производительности тогдашних компьютеров. Сейчас, с появлением реально мощных видеокарт, ситуация кардинально поменялась.

Допустим: у меня есть свежая стоечка из 6 серверов на Xeon E5-2678 v3 12-ядерных (24 потока каждый). Суммарно получаем 72 ядра (144 потока), с достаточно хорошей производительностью. Но вот купленные недавно GeForce RTX 3070 Ti имеют уже 6144 потока КАЖДАЯ. Да, там приходится поизвращаться, чтобы заставить их работать синхронно, но на выходе каждая такая карта УЖЕ дает прозводительность примерно в 3-4 раза выше, чем вся эта стоечка. И это я еще не использовал тензор-ядра на полную.

Нейронная сеть — это магия, на самом деле. Фактически, она заменяет собой команду разработчиков и математиков в тех задачах, где есть четко определенные входы и выходы. С помощью нейроэволюции можно быстренько получить оптимальную архитектуру сети, которая потом достаточно быстро тренируется. И, при изменении внешней среды, она так же быстро может меняться на лету.

С другой стороны, хотя эта магия может быть интересна разработчикам, с финансовой стороны пока есть некоторые вопросы. Допустим, всем известный Boston Dynamics с их собакоподобными боевыми роботами был в итоге продан Гуглом, поскольку денег жрал немеряно, а профита не давал на выходе.

Или, допустим Deep Mind, который кроет топовых игроков в Го, Старкрафт, Доту. Гугл их купил, но вот недавно уволил одного из кофаундеров, отвечающих за коммерциализацию технологий.

На выходе получается, что около трети практических применений нейросетей идут в теме финансов, а оставшееся распределено между распознаванием изображений и речи, переводами и медициной. Немного чисто технологических проблем решается еще, да. Вроде моделирования сложных процессов.

Но, несмотря на эти проблемы, я вижу нейросети как хороший способ заменить дорогую команду разработчиков в мелких конкретных задачах. И, чем круче будут видеокарты, тем больший процент задач можно будет отдать на откуп нейроэволюции.

Причем, что важно, с развитием инструментария работы с нейросетями, даже их разработчики уже не должны быть экспертами в айти. Главное, чтобы кто-то подготовил тренировочные и тестовые данные, а дальше уже можно методом научного тыка быстро получить нечто, что будет реально работать.

Вот, допустим, пример нейроэволюции «на коленке»:

Если вдруг кто-то тоже занимается нейросетями, было бы интересно пообщаться.

VN:F [1.9.20_1166]
4 голосов
Нейронные сети, 4.5 out of 5 based on 4 ratings
11 комментариев
старее
новее большинство голосов
Межтекстовые Отзывы
Посмотреть все комментарии
Евгений

Вот Microsoft запустила сервис Copilot для программистов на базе искусственного интеллекта.

Погугли интересная штука.

WEBizba

Интересную тему Вы затронули. Глянул ценник на GeForce RTX 3070 Ti капец конечно, но думаю это того и стоит!

Макс Пастухов

Они, на самом деле, будут дешеветь скоро: рекомендованная цена от Nvidia — примерно в 3 раза ниже текущей цены в магазинах. Ну и чтобы бороться с майнерами, компания запускает серию карт со сниженным хешрейтом по Эфиру, и это никак не влияет на обсчет нейронных сетей. По мере наполнения рынка чисто игровыми/исследовательскими картами средняя цена будет неизбежно падать.

андрей

В эту тему я погружался полгода назад.

В Рунете сложно с обучением по направлению нейросети. Если youtube и выдает экшн ролики, то только на английском языке, либо с переводом. Если же брать русский сегмент, то там дела обстоят намного хуже — это продажа курсов, в которых практика без экшена. Точнее, если приобрести курс, то практика будет состоять в решении задач по линейной алгебре, теории вероятности, статистики, математическому анализу. 

Все русское видео про ML — это сугубо успешный успех, на примере парня «валеры бабушкина» — зазнайки, который говорит обо всем и ни о чем (думаю, люди, что по старше сразу раскусят его). Еще в ML хорошо заходят темы про зарплаты в «миллион долларов в минуту», многие только и говорят о денежных преимуществах в занятии ML. 

Есть и экшн курсы, на примере «университета искусственного интеллекта» (уии), которые только заявляют, что на курсе будет движуха, на самом деле — нет. Сами авторы рекомендуют не запариваться в когде и копировать его блоками, а кураторы путают понятия «библиотеки» и «базы данных». Пришлось уйти с этого курса с манибэком.

Искал информацию в телеграммах. Оказалось, что телега — тупо для заработка денег и отвлечения внимания.

Нашел сообщество (международное) по направлению Data Science — ods.ai . У них есть местечко на площадке slack. Вот там уже можно получить консультации и проситься на pet проджекты либо найти работу. (рекомендую зарегистрироваться там. это бесплатно)

Есть тема — конкурсы за деньги. Когда компании описывают проблему и распределяют денежные призовые места, а саинтисты решают эту проблему, выставленную компанией. пример такого сервиса kaggle.com и LeetCode и проч..

Работа машинлернера выполняется на видеокартах от google colab (гугл предоставляет этот сервис в учебных целях). В нем будет и юпитер с python и все библиотеки и sql. это бесплатно. велкам.

Кроме того, саму сетку делать не сложно. Сложно подготовить данные для обучения этой сетки.

Макс Пастухов

Да, я информацию по нейросетям и ИИ только на английском языке ищу, в основном на сайтах научных статей. Их — тонны, реально, причем очень малая часть из них потом уходит «в паблик» в виде новостей/курсов. Ну и планирую, наконец, подписаться на «мамонтов» индустрии, коих тоже предостаточно, и они еще живы и очень даже активно и интересно что-то выдумывают.

Очень рекомендую посмотреть в сторону именно научных статей по теме: там народ и конкретные примеры реализаций приводит вместе со всеми входными и выходными данными, и ссылки на источники дает подробные.

Там я, допустим, нашел элегантное решение проблемы избегания локальных минимумов, гораздо лучше чем предложено авторами статьи, на которую ссылается видео. Если интересно — копай в сторону simulated annealing.

Ну и если брать финансовую тематику — там тоже все открыто и без секретов: народ просто берет, пробует и публикует реальные результаты :) Ибо как для них это — не основной источник дохода, а просто научная работа.

Спасибо за ods.ai — зайду на днях, когда выделю время на подписку на новости по теме.

В отношении же «сетку делать не сложно»: если мы берем стандартную задачу вроде распознавания изображений или машинного перевода — то да, там уже ничего выдумывать не надо. Но вот если мы берем стохастический процесс, там архитектура сети решает, и пока еще нет каких-то идеальных решений в этой области. И не будет, из-за стремления рынка к эффективности.

Topinvest

Особенно интересно использовать нейросети для торговли на финансовых рынках.

Zevs

Есть ли примеры использования нейросетей для анализа судебной практики? Как по Вашему, когда нейросети смогут «подвинуть» профессию юриста?

Владимир

Мне кажется что возможности нейросетей на сегодняшний день слишком преувеличиваются.