Новизна предлагаемого метода
ML-пайплайн может включать модели для разных задач. Например,
генерировать на основе регрессии новый полезный признак, а потом
использовать его в классификации. На данный момент AutoML
фреймворки не позволяют решать такую задачу удобным способом.
Нередко
ML-инженеры
сталкиваются
с
мультимодальными
и
разнородными данными, которые приходится интегрировать для
дальнейшего моделирования вручную. До недавнего времени готовых к
использованию инструментов такого рода не было, но мы решили
попробовать разработать свой и обойти описанные проблемы. Мы назвали
его FEDOT. Это — open-source фреймворк автоматического машинного
обучения, автоматизирующий создание и оптимизацию цепочек задач
(пайплайнов) МО и их элементов. FEDOT позволяет компактно и
эффективно решать различные задачи моделирования. Вот пример его
использования для решения задачи классификации:
Искусственный интеллект, методы и технологии информационной безопасности
Международная научно-техническая конференция «Практическое применение технических и
цифровых технологий и их инновационных решений», ТАТУФФ, Фергана, 4 мая 2023 г.
508
# new instance to be used as AutoML tool with time limit equal to 10
minutes
auto_model = Fedot(problem=
'classification'
, learning_time=
10
)
#run of the AutoML-based model generation
pipeline = auto_model.fit(features=train_data_path, target=
'target'
)
prediction = auto_model.predict(features=test_data_path)
auto_metrics = auto_model.get_metrics()
Основной
акцент
в
работе
фреймворка
—
управление
взаимодействием между вычислительными блоками пайплайнов. В первую
очередь, это касается этапа формирования модели машинного обучения.
FEDOT не просто помогает подобрать лучший вариант модели и обучить
ее, но и создать композитную модель — совместно использовать
несколько моделей различной сложности и за счет этого добиваться
лучших результатов. В рамках фреймворка мы описываем композитные
модели в виде графа, определяющего связи между блоками предобработки
данных и блоками моделей. Однако фреймворк не ограничивается
отдельными AutoML-задачами, а позволяет заниматься структурным
обучением, когда для заданного набора данных строится решение в виде
ациклического графа (DAG), узлы которого представлены моделями МО,
процедурами предобработки и трансформации данных. Структуру этого
графа, а также параметры каждого узла и подвергают обучению.
Sun’iy intelekt, axborot xavfsizligi texnikasi va texnologiyalari
Международная научно-техническая конференция «Практическое применение технических и
цифровых технологий и их инновационных решений», ТАТУФФ, Фергана, 4 мая 2023 г.
509
Формируют подходящую для конкретной задачи структуру
автоматически. Для этого мы задействовали эволюционный алгоритм
оптимизации GPComp, который создает популяцию из множества ML-
пайплайнов и последовательно ищет лучшее решение, применяя методы
эволюции — мутацию и кроссовер. Плюс — избегает нежелательного
усложнения структуры модели за счет применения процедур
регуляризации и многокритериальных подходов.
ЛИТЕРАТУРА
1.
Абдукадыров, А. Г. (1990). ФТП 24, 1, 136 (1990); АГ Абдукадыров,
СД Барановский, ЕЛ Ивченко, СЮ Вербин, АЮ Наумов, АН
Резницкий.
ЖЭТФ
,
98
(12), 2056.
2.
Akbarov, D., Abdukadirov, A., & Umarov, S. (2022, June). Research of
general mathematical characteristics of logical operations and table
replacements
in
cryptographic
transformations.
In
AIP
Conference
Proceedings
(Vol. 2432, No. 1, p. 060020). AIP Publishing LLC.
3.
Sobirovich, K. V., Mirzapulotovich, E. O., & Mirzaolimovich, S. M.
(2022). Advantages of using LMS as a System for Monitoring, Evaluating and
Monitoring Learning Outcomes.
International Journal of Development and
Public Policy
,
2
(2), 1-5.
4.
Shipulin, Y. G., Khusanov, A. M., Khalilova, P. Y., & Ergashev, O. M.
(2020). INTELLIGENT OPTOELECTRONIC DEVICE FOR MEASURING
AND CONTROL WATER FLOW IN OPEN CHANNELS.
Chemical
Technology, Control and Management
,
2020
(5), 58-63.
5.
Шипулин, Ю. Г., Махмудов, М. И., Эргашев, О. М., & Худойбердиев,
Э. Ф. (2020). ИНТЕЛЛЕКТУАЛЬНОЕ МИКРОПРОЦЕССОРНОЕ
УСТРОЙСТВО
КОНТРОЛЯ
ПАРАМЕТРОВ
СТОЧНЫХ
ВОД.
In
Эффективность применения инновационных технологий и техники в
сельском и водном хозяйстве
(pp. 421-423).
6.
Кадиров, О. Х., Шипулин, Ю. Г., Махмудов, М. И., & Эргашев, О. М.
(2019).
СИНТЕЗ
МНОГОКАНАЛЬНЫХ
ИНФОРМАЦИОННО-
УПРАВЛЯЮЩИХ
СИСТЕМ
КОНТРОЛЯ
ТЕХНОЛОГИЧЕСКИХ
ПРОЦЕССОВ ОЧИСТКИ СТОЧНЫХ ВОД.
Наука. Образование. Техника
,
(3), 5-11.
7.
Эргашев, О. М. (2018). Обеспечение информационной безопасности
радиотехнических систем.
Теория и практика современной науки
, (6), 689-
691.
8.
Эргашев, О. М. (2018). Разработка методов защиты информации в
волс на основе использования концепции кодового зашумления.
Теория и
практика современной науки
, (6), 686-688.
9.
Шипулин, Ю. Г., Махмудов, М. И., & Эргашев, О. М. доцент ТИТЛП
РУз.
ОБРАЗОВАНИЕ Т Е Х Н И К А
, 5.
Искусственный интеллект, методы и технологии информационной безопасности
Международная научно-техническая конференция «Практическое применение технических и
цифровых технологий и их инновационных решений», ТАТУФФ, Фергана, 4 мая 2023 г.
510
10.
Ergasheva, S. (2021). RELATIONAL BASICS AND MANIPULATION
OF DATA IN THE DATABASE.
Интернаука
, (5-2), 54-55.
11.
Эргашев, О. М., & Эргашева, Ш. М. (2020). Алгоритмы
динамической
фильтрации
с
учетом
инерции
измерительного
устройства.
Universum: технические науки
, (2-1 (71)), 24-27.
12.
Эргашев, О. М., & Эргашева, Ш. М. (2020). Регулярные алгоритмы
коррекции динамической погрешности средств измерений.
Universum:
технические науки
, (2-1 (71)), 20-23.
13.
Хамидов, Э. Х. (2020). Глубокое обучение: понятие и
применение.
Молодой ученый
, (37), 8-11.
14.
1. Ходжиматов, Ж. М. (2021). Параллельное программирование в
Java.
Молодой ученый
, (22), 30-34.
15.
Мамадалиев, Н. (2023). Формирование критериев и ограничений,
предъявляемых
к
процессу
и
обработки
телевизионных
изображений.
Engineering problems and innovations
.
16.
Raqamli iqtisodiyotni qo ‘llash orqali sanoat samaradorligini oshirishni
sun’iy intellektga bog ‘liqligI
A Khoitkulov, O Ergashev - Engineering
problems and innovations, 2023.
|
