В статье рассмотрена актуальная проблема уязвимости технологий искусственного интеллекта на основе нейронных сетей в задаче распознавания образов. Показано, что применение нейронных сетей порождает множество уязвимостей. Приведены конкретные примеры таких уязвимостей: некорректная классификация изображений, содержащих вредоносный шум или заплатки, отказ распознающих систем при наличии на изображении особых узоров, в том числе нанесенных на объекты реального мира, отравление обучающей выборки и др. На основе проведенного анализа показана необходимость улучшения безопасности технологий искусственного интеллекта и даны предложения, способствующие этому улучшению
Идентификаторы и классификаторы
За последнее десятилетие использование систем искусственного интеллекта (ИИ) на основе глубоких нейронных сетей (ГНС) в различных сферах деятельности стало обычным явлением как во многих странах мира, так и в России. Это обусловлено тем, что ГНС являются достаточно эффективным инструментарием для моделирования сложных объектов и процессов, которые невозможно описать с использованием классических математических моделей и методов. Так, ГНС стали незаменимым инструментом для решения многих задач компьютерного зрения (например, классификации и сопоставления изображений, семантической сегментации, детекции объектов и многих других), широко используются в сложных программных комплексах, включая, помимо прочего, системы идентификации людей [1], распознавания документов [2] и автономного вождения [3].
Список литературы
1. Ye M. et al. Deep learning for person re-identification: A survey and outlook //IEEE transactions on pattern analysis and machine intelligence. - 2021. - Т. 44. - №. 6. - С. 2872-2893.
2. Arlazarov V. V., Andreeva E. I., Bulatov K. B., Nikolaev D. P., Petrova O. O., Savelev B. I., Slavin O. A. Document image analysis and recognition: A survey // Компьютерная оптика. - 2022. - Т. 46. - № 4. - С. 567-589. EDN: YRTDVK
3. Yang B. et al. Edge intelligence for autonomous driving in 6G wireless system: Design challenges and solutions //IEEE Wireless Communications. - 2021. - Т. 28. - №. 2. - С. 40-47. EDN: YONNXA
4. Gu T., Dolan-Gavitt B., Garg S. Badnets: Identifying vulnerabilities in the machine learning model supply chain //arXiv preprint arXiv:1708.06733. - 2017.
5. Fredrikson M., Jha S., Ristenpart T. Model inversion attacks that exploit confidence information and basic countermeasures //Proceedings of the 22nd ACM SIGSAC conference on computer and communications security. - 2015. - С. 1322-1333.
6. Szegedy C. et al.Intriguing properties of neural networks //arXiv preprint arXiv:1312.6199. - 2013.
7. Brown T. B. et al. Adversarial patch //arXiv preprint arXiv:1712.09665. - 2017.
8. Lin C. S. et al. Real-world adversarial examples via makeup //ICASSP 2022-2022 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). - IEEE, 2022. - С. 2854-2858. EDN: FQKUAL
9. Hu S. et al. Protecting facial privacy: Generating adversarial identity masks via style-robust makeup transfer //Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. - 2022. - С. 15014-15023.
10. Zolfi A. et al. Adversarial Mask: Real-World Universal Adversarial Attack on Face Recognition Models //Joint European Conference on Machine Learning and Knowledge Discovery in Databases. - Cham: Springer Nature Switzerland, 2022. - С. 304-320.
11. Zhou Z. et al. Invisible mask: Practical attacks on face recognition with infrared //arXiv preprint arXiv:1803.04683. - 2018.
12. Wu Z., Lim S.N., Davis L.S., Goldstein T. Making an invisibility cloak: Real world adversarial attacks on object detectors. InComputer Vision-ECCV 2020: 16th European Conference, Glasgow, UK, August 23-28, 2020, Proceedings, Part IV 16 2020 (pp. 1-17). Springer International Publishing.
13. Thys S., Van Ranst W., Goedemé T. Fooling automated surveillance cameras: adversarial patches to attack person detection //Proceedings of the IEEE/CVF conference on computer vision and pattern recognition workshops. - 2019. - С. 0-0.
14. Chen J. et al. Diffusion Models for Imperceptible and Transferable Adversarial Attack //arXiv preprint arXiv:2305.08192. - 2023.
15. Hong S. et al. Security analysis of deep neural networks operating in the presence of cache side-channel attacks //arXiv preprint arXiv:1810.03487. - 2018.
16. Oh S. J., Schiele B., Fritz M. Towards reverse-engineering black-box neural networks //Explainable AI: Interpreting, Explaining and Visualizing Deep Learning. - 2019. - С. 121-144.
17. Chmielewski Ł., Weissbart L. On reverse engineering neural network implementation on gpu //Applied Cryptography and Network Security Workshops: ACNS 2021 Satellite Workshops, AIBlock, AIHWS, AIoTS, CIMSS, Cloud S&P, SCI, SecMT, and SiMLA, Kamakura, Japan, June 21-24, 2021, Proceedings. - Springer International Publishing, 2021. - С. 96-113.
18. Goldblum M. et al. Dataset security for machine learning: Data poisoning, backdoor attacks, and defenses //IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2022. - Т. 45. - №. 2. - С. 1563-1580.
19. Shafahi A. et al. Poison frogs! targeted clean-label poisoning attacks on neural networks //Advances in neural information processing systems. - 2018. - Т. 31.
20. Wang Y. et al. Sapag: A self-adaptive privacy attack from gradients //arXiv preprint arXiv:2009.06228. - 2020.
21. Warr K. Strengthening deep neural networks: Making AI less susceptible to adversarial trickery. - O’Reilly Media, 2019.
22. Long T. et al. A survey on adversarial attacks in computer vision: Taxonomy, visualization and future directions //Computers & Security. - 2022. - С. 102847. EDN: GSNAZN
23. Akhtar N., Mian A. Threat of adversarial attacks on deep learning in computer vision: A survey //Ieee Access. - 2018. - Т. 6. - С. 14410-14430.
24. Machado G. R., Silva E., Goldschmidt R. R. Adversarial machine learning in image classification: A survey toward the defender’s perspective //ACM Computing Surveys (CSUR). - 2021. - Т. 55. - №. 1. - С. 1-38.
25. Ren K. et al. Adversarial attacks and defenses in deep learning //Engineering. - 2020. - Т. 6. - №. 3. - С. 346-360.
26. Zhang X. et al. Imperceptible black-box waveform-level adversarial attack towards automatic speaker recognition //Complex & Intelligent Systems. - 2023. - Т. 9. - №. 1. - С. 65-79. EDN: TNLBYZ
27. Kwon H., Lee S. Ensemble transfer attack targeting text classification systems //Computers & Security. - 2022. - Т. 117. - С. 102695. EDN: EQTULP
28. Mo K. et al. Attacking deep reinforcement learning with decoupled adversarial policy //IEEE Transactions on Dependable and Secure Computing. - 2022. - Т. 20. - №. 1. - С. 758-768.
29. Zhou X. et al. Hierarchical adversarial attacks against graph-neural-network-based IoT network intrusion detection system //IEEE Internet of Things Journal. - 2021. - Т. 9. - №. 12. - С. 9310-9319.
30. Kumar R. S. S. et al. Adversarial machine learning-industry perspectives //2020 IEEE Security and Privacy Workshops (SPW). - IEEE, 2020. - С. 69-75.
31. Paleyes A., Urma R. G., Lawrence N. D. Challenges in deploying machine learning: a survey of case studies //ACM Computing Surveys. - 2022. - Т. 55. - №. 6. - С. 1-29.
32. Ala-Pietilä P. et al. The assessment list for trustworthy artificial intelligence (ALTAI). - European Commission, 2020.
33. Musser M. et al. Adversarial Machine Learning and Cybersecurity: Risks, Challenges, and Legal Implications //arXiv preprint arXiv:2305.14553. - 2023.
34. Facial recognition’s latest foe: Italian knitwear [Электронный ресурс] // The Record. URL: https://therecord.media/facial-recognitions-latest-foe-italian-knitwear (дата обращения: 20.07.2023).
35. Как мы боремся с копированием контента, или первая adversarial attack в проде. [Электронный ресурс] // Хабр. URL: https://habr.com/ru/companies/avito/articles/452142 (дата обращения: 20.07.2023).
36. Povolny S., Trivedi S. Model hacking ADAS to pave safer roads for autonomous vehicles. [Электронный ресурс] // McAfee Blogs. URL: https://www.mcafee.com/blogs/otherblogs/mcafee-labs/model-hacking-adas-to-pave-safer-roadsfor-autonomous-vehicles/ (дата обращения: 20.07.2023).
Выпуск
Другие статьи выпуска
The article presents the results of research on fractal (self-similar) graphs in relation to elastic computing. A characteristic feature of such graphs is their ability to unfold (increase dimensionality) and fold (decrease dimensionality). Two approaches to forming fractal graphs are considered: based on Kronecker product and fractal algebra. The interrelationship of algebraic operations of forming fractal graphs (linear graphs, grids, hypercubes, and trees) with tensor operations and tensor representation based on the integration of adjacency matrices and event vectors of elastic systems is presented. Definitions of corre-sponding types of dynamically changing tensors are introduced. An analysis of the properties of elastic fractal graphs and related tensor models is conducted
В статье рассматривается деятельность лесопромышленного предприятия без собственных источников сырья в лице делян, которое ставит себе целью найти оптимальное решение в конце горизонта планирования, основываясь на данных об уже реализованных сделках. В качестве источника сырья рассматривается товарно-сырьевая биржа, где лоты появляются каждый день в разных регионах добытчиках в случайном порядке. В работе представлена математическая модель, позволяющая оценить оптимальную траекторию значений прибыли на всем горизонте планирования и отличающуюся тем, что позволяет учитывать долю полезного объема сырья, которое по зачислению на склад можно использовать в производстве ОСБ плит и время лота в пути в условиях неопределенностей. Модель протестирована на данных товарно-сырьевой биржи России и одного из предприятий Приморского края. Проведен анализ полеченных решений.
В статье рассматриваются результаты работы наиболее распространенных алгоритмов стеганографии. Численным моделированием показана возможность противостоять атакам стегоанализа на различных этапах, связанных с объемом встраивания информации. Показано, что наиболее приемлемым можно считать адаптивные алгоритмы стеганографии.
Предлагается формальное определение компьютерной модели сложной системы, как рода структуры в смысле Н. Бурбаки - род структуры «модель». Класс математических объектов, определяемый этим родом структуры, обладает следующими двумя свойствами: комплекс, созданный объединением математических объектов рода структуры «модель» по определенным правилам, сам является математическим объектом этого рода структуры. Организация вычислительного процесса для всех математических объектов рода структуры «модель» однотипна и поэтому может быть реализована единой универсальной программой, притом ориентированной на параллельные вычисления. Наличие этих двух свойств позволяет построить сквозную технологию разработки, описания, синтеза и программной реализации моделей сложных систем - Модельно-ориентированное (МО) программирование.
Machine learning (ML) environments offer a variety of methods and tools that help to solve problems in different areas, including software engineering (SE). Currently, a large number of researchers are interested in the possibilities of using various machine learning techniques in software engineering. This paper provides an overview of machine learning techniques used in each stage of the software development life cycle (SDLC). The contribution of this review is significant. Firstly, by analyzing sources from bibliographic and abstract databases, it was found that the topic of integrating machine learning techniques into software engineering is relevant. Secondly, the article poses questions and reviews the methodology of this research. In addition, machine learning methods are systematized according to their application at each stage of software development. Despite the vast amount of research work on the use of machine learning techniques in software engineering, further research is required to achieve comprehensive comparisons and synergies of the approaches used, meaningful evaluations based on detailed practical implementations that could be adopted by the industry. Thus, future efforts should be directed towards reproducible research rather than isolated new ideas. Otherwise, most of these applications will remain poorly realized in practice.
В статье описывается разработанный программный сервис, предназначенный для автоматизации процесса предварительной обработки и фильтрации данных сигнала ЭЭГ с синхронизированной видеозаписью для анализа континуальных процессов мозга. Представление сигнала осуществляется в форме матрицы топографических карт распределения мощности сигнала по эпохам заданной длительности в заданных частотных диапазонах, позволяющей пользователю производить сравнительный анализ нескольких записей ЭЭГ во времени. Сервис предоставляет возможность детального анализа выбранного фрагмента записи, включающую оценку динамики изменения параметров фрагмента записи во времени. Сервис позволяет выполнять такой анализ с использованием синхронизированной видеозаписи участника с видеотрекингом его физиологических параметров, таких как частота дыхания, кровяное давление, пульс, насыщение крови кислородом, движения головы, открытость/закрытость рта и глаз. Данная аналитика обеспечивает гибкую систему фильтрации и предварительной обработки данных ЭЭГ. Апробация сервиса по обработке и анализу данных ЭЭГ выполнена на примере автоматизации метода распознавания медитативного состояния человека, характеризующегося направлением внимания в ощущения тела и абстрагированием от внешних стимулов.
Рассматриваются алгоритмические принципы внедрения нелинейных функций эффективности в когнитивную модель слабоформализованной системы. С точки зрения прозрачности теоретического взгляда в качестве такой нелинейной функции использовалась функция типа ReLU. Сложная система представляется в виде ориентированного графа, вершин и ребрамов, которым соответствуют настройки настроек. В определении нелинейная процедура расчета значений элементов системы (внутренних вершин) на графе в зависимости от внешних факторов (входных вершин) и, соответственно, расчета коэффициентов работы во всем мире. Показано, что в отличие от линейного случая, наблюдавшегося ранее, в нелинейном случае коэффициенты имеют лучшее развитие от результатов вершин - элементов системы. В связи с двумя простыми моделями, описывающими основные тенденции мировой энергетики и воздействия некоторых вирусных инфекций на производственный процесс, показаны проявления более богатого набора наблюдаемых ситуаций по сравнению с линейным развитием событий.
Предложены определения гибких и жестких документов, используемые в технологиях ввода в компьютер деловых документов. Рассмотрены особенности создания, оцифровки и анализа жестких форм и жестких документов. Описаны границы применимости модели привязки изображений жестких документов, искаженных при оцифровке. Рассмотрена модель для привязки гибких документов, основанная на распознанных словах и графических примитивах, связанных набором отношений порядка. Классификация основана на различных способах подготовки деловых документов для печати. Описаны особенности привязки полей и распознавания для нескольких типов документов, таких как условно-жесткие документы, гибкие документы, продуцированные одной формой, гибкие документы, продуцированные малым и большим числом форм. Рассмотрен случай распознавания условно-жестких документов с применением технологий ввода гибких документов. Проведенные эксперименты показывают, что для некоторых полей пометок в условиях сильного зашумления и значительных искажений доля ошибок уменьшается в два раза.
The paper presents a method for detecting false responses of localization and identification algorithms. The method considers matching image characteristics that cannot be described by local features stably and completely. It is proposed to use image zones containing such features, describe them and use them to assess the validity of the algorithm response. In the work we demonstrate how the algorithm works on ID documents. Possible features are images of the coats of arms and flags of countries, background filling and text unique to the considered document type. To illustrate the proposed algorithm, the MIDV-500 and MIDV-LAIT datasets were taken. The first is used to show that the rejector does not reject correct system responses, the second - that it rejects the incorrect ones. We test several methods of zone description. The experimental results show that false type selection decreases with the use of any description type and the local CNN-descriptor shows the best performance. The increase of classes with marked zones is shown to improve the filtration of false responses. The experiments show the improvement from by 13% with one type with zones to by 4 times with 10 types.
В статье предлагается методика оценки качества текстов машинных переводов на основе энтропийно-информационного подхода. Дается анализ дисперсионного и энтропийного коэффициентов конкордации, используемых для оценки согласованности мнений экспертов при близких ранжировках различных объектов. Обосновывается перспективность применения энтропийного коэффициента конкордации, позволяющего зафиксировать факт разделения мнений на две противоположные группы. Это положение важно для проводимого исследования, поскольку в данной методике экспертной оценки переводов текстов важен учет разных мнений нескольких экспертов, привлеченных к экспертизе. Приводятся примеры расчета энтропийного коэффициента конкордации с изменяющейся ранговой системой, числом экспертов и ранжируемых объектов оценивания.
В статье представлена распределенная система для организации потоковых вычислений. Система включает в себя сервер для управления данными, управляющий сервис (супервизор), набор узлов-рабочих, на которых производится выполнение задач, и базу данных. Для абстрагирования от конкретных языков программирования и инструментов, используемых при вычислениях, реализации алгоритмов (задачи) упаковываются и выполняются в контейнерах Docker. Для эффективной работы при высокой нагрузке система поддерживает несколько стратегий приоритизации задач. Для работы с системой пользователю достаточно построить образ docker-контейнера, описать набор входных данных в JSON-файле и загрузить их через веб-интерфейс. Система может быть развернута в любом общедоступном облаке. В статье подробно описана архитектура системы и приведены численные результаты, полученные при вычислениях на различных облачных и локальных платформах. В работе изучено влияние различных стратегий приоритизации на длительность вычислений при умеренной нагрузке.
Издательство
- Издательство
- ИУ РАН
- Регион
- Россия, Москва
- Почтовый адрес
- 119333, Москва, Вавилова, д.44, кор.2
- Юр. адрес
- 119333, Москва, Вавилова, д.44, кор.2
- ФИО
- Соколов Игорь Анатольевич (Директор)
- E-mail адрес
- frccsc@frccsc.ru
- Контактный телефон
- +7 (499) 1356274