AI Huggingface Dataset
Синтетические данные (сгенерированные ИИ) часто приводят к деградации новых моделей, а данные из открытого интернета практически исчерпаны.
Если вы пробовали дообучать модель Искусственного Интеллекта (fine tuning), то вы, скорее всего, окажетесь не довольны результатами. Они буду гораздо хуже тех, на которые вы рассчитывали. И вы попробуете использовать этот опыт еще несколько раз, надеясь на улучшение результатов.
Потом вы станете анализировать и искать причины и придёте к выводу, что всё делали так, как подсказывали разные AI и ничего, кроме Datasets поменять нечего.
Вот! Datasets!
Для fine-tuning нужно несколько тысяч примеров (моделей), например, в JSON.
https://oflameron.com/RESUME.pdf
У вас не было столько примеров. Например, вы пытались дообучить модель анализу сетевого трафика в Ethernet. Вы собрали 30-40 примеров из инцидентов отдела сетевого обеспечения компании, взяли 30-40 примеров из курсов CISCO и ещё столько же из Интернет. И далее проанализировали их в AI.
AI написал что-то вроде: хорошо, но мало и предложил масштабировать Dataset.
Что это значит? AI сгенерирует синтетический набор данных. Фактически, это те же самые данные, что вы подготовили, но будут добавлены варианты с другими IP-адресами, сетями и масками.
Если в вашем Dataset не было примеров на какие-то темы (например, петля в маршрутизации), то они и не появятся.
И Dataset останется "однобоким".
Что же делать?
Есть несколько синтетических вариантов. Начать писать промпты для больших профессионально обученных моделей с заданием сгенерировать пример маршрутизации (примерЫ маршрутизации) с ошибками. Затем эти примеры проверять в других AI и только потом добавлять в свой Dataset. Это один из вариантов дистилляции данных. Ручной, медленный, но достаточно качественный. Но 5000 примеров придется готовить много месяцев.
Другой вариант интереснее, но не всегда применим.
С помощью AI генерируются Python-скрипты, которые выполняют фактически текстовый NAT - заменяют реальные IP-адреса вашей компании в таблице маршрутизации на фейковые и обратно. После чего фейковая таблица отправляется в публичный AI для анализа с промптом, в котором AI поручено не только найти ошибки маршрутизации, но и "вырезать" фрагмент данных и сформировать JSON пример для fine-tuning.
Причем, если ваши Python-скрипты будут работать одновременно с 2-3 публичными AI, то вы получите не только в 2-3 раза больше примеров, но и более качественный анализ ошибок.
Накапливать ошибки придётся долго, если сеть не очень большая. Но данные будут очень качественные. И у вас будет предельно качественный анализ маршрутизации!
Обратная сторона медали.
Даже подменив реальные IP-адреса, раскрывается часть информации. По IP-адресу, с которого вы обращаетесь к AI определяется конкретная фирма, сеть которой анализируется. Так что имеет смысл строить VPN на домашний роутер :-)
Даже заменив IP-адреса в таблице маршрутизации, там останется информация о подсетях (размере и количестве), их взаимодействиях и протоколах. Если из этой же сети есть подключения хостов к Интернет, можно восстановить значительную часть реальной адресации.
Автоматический! Можно добавить Python-скрипт для отправки e-mail или Telegram сообщения себе и вы будете в курсе не только ошибок маршрутизации, но и необходимых решений раньше всех в компании.
И здесь есть интересная тема.
Попробуйте найти готовый датасет для качественного fine-tuning модели AI по теме маршрутизация, сетевые ошибки. Или найти компактную качественно дообученную AI модель. Разочаруетесь.
Это дорого и сложно. Поэтому качественного и бесплатного нет. Если только хакеры не плготовят.
Бизнес-модель.
В https://huggingface.co/datasets/Oflameron/sci-fi-Synopsis проскакивала мысль, что появятся гаджеты, которые можно будет носить с собой и создать качественную цифровую модель самого себя. Если еще немного продвинуться дальше, то какая-нибудь корпорация (как Гугл когда-то с рекламным сервисом AdSence) будет раздавать такие гаджеты бесплатно и платить деньги тем, кто станет таким образом создавать настоящие качественные AI датасеты.
Parameter-Efficient Fine-Tuning
(c) by Valery Shmelev If you want to have an advantage
The word Oflameron is an artificially created word by Valery Shmelev in 1994
https://www.tumblr.com/blog/sci-fi-screenplay
https://github.com/vallshmeleff/ai-prompts-for-screenplay-plan/tree/main
https://www.tumgik.com/sci-fi-screenplay
