3. Создание промтов

Были заданы два запроса к ИИ.

Обычный запрос: Как используется искусственный интеллект в кибербезопасности? (Рисунок 1)

Рисунок 1 – Результат обычного запроса

Промт: Выступи в роли эксперта по кибербезопасности. Объясни применение ИИ в защите данных, выявлении угроз и предотвращении атак. Представь ответ структурированным списком, объём до 200 слов.

Рисунок 2 – Результат промта

В ходе выполнения задания было установлено, что использование промтов существенно повышает качество ответов, получаемых от систем искусственного интеллекта. Сравнение ответов проводилось по критериям полноты, полезности и структуры. С точки зрения полноты, обычный запрос охватывает более широкий круг аспектов и даёт общее представление о теме, однако информация в нём носит более поверхностный характер. Промт, напротив, раскрывает меньшее количество направлений, но делает это более глубоко и целенаправленно. По критерию полезности ответ на промт оказывается более эффективным, поскольку содержит конкретные технологии, практические примеры и может быть использован непосредственно без дополнительной доработки, тогда как обычный ответ требует дополнительного анализа. С точки зрения структуры промт также показывает лучший результат: информация представлена логично, последовательно и удобно для восприятия, в отличие от более разрозненного изложения в обычном ответе. Таким образом, можно сделать вывод, что использование промтов позволяет получать более точные, структурированные и практически полезные ответы, что подтверждает их эффективность при работе с системами искусственного интеллекта.

Промт через Neural Writer

Рисунок 3 – Промт через Neural Writer

Промт, созданный с использованием инструмента Neural Writer, можно считать корректным и качественным, поскольку он содержит чётко сформулированную тему, задаёт структуру ответа и охватывает ключевые аспекты применения искусственного интеллекта в кибербезопасности, такие как обнаружение угроз, автоматизация и анализ поведения. Также в промте присутствуют требования к приведению примеров и рассмотрению ограничений, что повышает информативность ответа. Однако в нём отсутствует ролевое моделирование и ограничения по объёму, что делает его менее точным по сравнению с более детализированными промтами. В целом промт обеспечивает получение развернутого и структурированного ответа и может быть признан эффективным.

4. Оценка эффективности поисковых систем с использованием метрик качества

Чтобы оценить эффективность поисковых систем можно использовать метрики качества, такие как точность (precision), полнота (recall) и F1-мера. Эти метрики позволяют количественно оценить, насколько хорошо поисковая система справляется с задачей поиска релевантной информации.

Формулы для расчета метрик:

Анализ проводился по первым 10 результатам поиска. Каждый результат оценивался как:

• 1 — релевантный

• 0 — нерелевантный

Таблица 2 – Релевантность информации

Место	Google	Яндекс	Bing
1	1	1	0
2	0	1	1
3	1	0	0
4	0	0	1
5	0	1	0
6	1	1	1
7	0	0	0
8	1	0	1
9	1	1	0
10	0	1	1

Расчёт метрик

Precision

• Google = 5/10 = 0,5

• Яндекс = 6/10 = 0,6

• Bing = 5/10 = 0,5

Recall

• Google = 5/6 ≈ 0,83

• Яндекс = 6/6 = 1,0

• Bing = 5/6 ≈ 0,83

F1

• Google ≈ 0,62

• Яндекс ≈ 0,75

• Bing ≈ 0,62

Таблица 3 - Расчёт метрик

Система	Precision	Recall	F1
Google	0,5	0,83	0,62
Яндекс	0,6	1,0	0,75
Bing	0,5	0,83	0,62

По результатам расчётов можно сделать вывод, что наиболее эффективной поисковой системой в рамках данного исследования оказался Яндекс, так как он продемонстрировал наибольшие значения точности, полноты и F1-меры.

Google и Bing показали схожие результаты, уступая Яндексу по количеству найденных релевантных документов. Это говорит о том, что при заданном запросе Яндекс обеспечивает более полный и точный поиск информации.

Таким образом, использование метрик качества позволяет объективно оценить эффективность поисковых систем и определить наиболее подходящую систему для решения конкретной задачи.

Выводы по работе

В ходе выполнения лабораторной работы были изучены возможности современных интеллектуальных поисковых систем и исследовано влияние способов формирования запросов на качество получаемой информации. Было установлено, что использование логических операторов и дополнительных фильтров позволяет существенно повысить релевантность поисковой выдачи и сократить количество нерелевантных или устаревших источников.

Анализ дескрипторов показал, что различные типы связей между ключевыми словами по-разному влияют на результаты поиска: синонимичные дескрипторы расширяют выдачу без значительной потери качества, родо-видовые позволяют регулировать уровень обобщённости информации, а ассоциативные увеличивают охват, но могут снижать точность.

В процессе сравнения ответов искусственного интеллекта было выявлено, что использование промтов повышает качество получаемой информации по критериям полноты, полезности и структуры. Промты позволяют получать более точные, логично организованные и практически применимые ответы по сравнению с обычными запросами.

Также была проведена количественная оценка эффективности поисковых систем с использованием метрик качества — точности, полноты и F1-меры. Это позволило объективно сравнить системы и определить, какая из них лучше справляется с задачей поиска релевантной информации.

Таким образом, поставленные цели лабораторной работы были достигнуты: изучены принципы формирования поисковых запросов, исследована роль дескрипторов и промтов, а также выполнена оценка эффективности поисковых систем. Полученные результаты подтверждают, что грамотное формирование запросов и использование современных инструментов значительно повышают эффективность поиска информации.