Исследование Amazon Science показало: чем строже и грамматически правильнее формулируется запрос, тем точнее ответы чат-бота. А вот неформальный стиль, наоборот, снижает качество понимания.

Учёные выяснили, что искусственный интеллект значительно лучше справляется с задачами, если пользователь говорит с ним формальным, структурированным языком. Простая, разговорная речь с ошибками и сокращениями увеличивает риск недопонимания или ошибки со стороны ИИ.

В рамках исследования сравнивались реальные диалоги пользователей с живыми операторами и с чат-ботом, построенным на большой языковой модели (LLM). Анализ, выполненный с помощью Claude 3.5 Sonnet, показал: в разговоре с ИИ люди чаще используют короткие фразы, упрощённую лексику и делают больше грамматических ошибок. В сравнении с диалогами между людьми, переписка с ботом оказалась на 14,5% менее формальной и на 5,3% менее связной.

Авторы исследования объясняют это тем, что пользователи воспринимают ботов как «Ð½ÐµÑ‡ÐµÐ»Ð¾Ð²ÐµÑ‡ÐµÑÐºÐ¸Ñ…» собеседников и интуитивно упрощают речь, полагая, что ИИ не улавливает социальные оттенки. Однако именно такая манера общения снижает точность — алгоритм, натренированный на «Ñ‡ÐµÐ»Ð¾Ð²ÐµÑ‡ÐµÑÐºÐ¸Ñ…» диалогах, хуже справляется с короткими и небрежно сформулированными запросами.

Учёные протестировали разные подходы, чтобы улучшить понимание: переформулировали пользовательские реплики в литературном стиле, превращали их в поисковые запросы, добавляли дополнительные слова. Однако существенного эффекта это не дало. Лучшая точность (+2,9%) была достигнута, когда комбинировались оригинальные короткие запросы с их расширенными версиями.

Несмотря на это, не все исследователи считают, что стоит добиваться одинакового стиля общения с ботами и людьми. По мнению математика Ноя Джансиракузы из Университета Бентли, разница — это нормально. Он отмечает: осознание, что мы взаимодействуем с машиной, а не с человеком, может быть полезным и способствует более чёткому и осознанному общению.