Архив статей журнала
В статье обсуждаются три базовые момента работы генеративных нейросетевых моделей (генеративного искусственного интеллекта): понятие «токен», вероятностный характер генерируемого ответа и понятие «большая модель», размер которой обеспечивает псевдоразумное поведение нейросетевых чат-ботов. Принципиально не обсуждаются вопросы реализации генеративных моделей, области и способы их применения.
Приводятся материалы конкурса «ТРИЗформашка-2024», который был посвящен нейросетевым моделям. Демонстрируется факт псевдоразумности генеративных моделей. Оказывается, модель, обученная на одной-единственной фразе «мама мыла раму» и использующая для генерации контекст из одной-единственной буквы, может иногда вести себя так, как будто она знает правила склонения в русском языке и способна изменять слово по падежам!
Понятие «токен» рассматривается применительно к генерации текстов, картинок и паролей. На базе «токенов» выстраивается практически полезная методика генерации паролей, сложных для разгадывания, но простых для воспроизведения (сложных для забывания).
Понятие «большая модель» представляется наглядно и доходчиво за счет «визуализации» его путем сопоставления с физическими величинами. (Если бы один параметр нейросети весил один грамм, то для ее перевозки потребовалось бы 200 грузовых поездов. Если бы он имел длину в один миллиметр, то нейросеть оборачивалась ба вокруг Земли по экватору 25 раз. Если бы на обучение по одному параметру требовалась одна секунда, то начинать обучать современную нейросеть надо было бы во времена кроманьонцев.)
Материалы будут полезны для изучения генеративного искусственного интеллекта в любом возрасте.