- Неоткрывшаяся ссылка ещё не доказывает, что нейросеть придумала адрес: материал могли удалить, перенести или закрыть для проверки.
- Даже если страница открылась, её содержание нужно сверить с ответом ИИ.
- Перенаправление помогает, когда ведёт к подходящему материалу. Главная страница выручает не всегда.
- Правки на сайте не устраняют сам механизм генерации выдуманных ссылок.
Почему нейросети выдумывают ссылки: экспонат, которого не было
В разборе на Habr от 7 ноября автор проверил около шестисот адресов из ответов пяти нейросетей с поиском. Проверка прошла примерно через месяц после сбора ссылок. Среди проблем нашлись недоступные страницы и ограничения для роботов. Повод спросить, почему нейросети выдумывают ссылки, есть. А вот с обвинением я бы подождала: мы видим закрытую дверь, но историю помещения ещё не знаем.
Настоящие выдумки, конечно, бывают. Языковая модель генерирует текст, и убедительно оформленный источник вполне может оказаться пустышкой. Название журнала, фамилии авторов, аккуратная ссылка – с виду библиография. Но есть ли за ней хоть какая-то работа?
Такой провал зафиксирован в исследовании Walters и Wilder, опубликованном в 2023 году: авторы проверяли 636 библиографических ссылок из 84 обзоров, созданных GPT-3.5 и GPT-4 по 42 темам. Среди ссылок обнаружили вымышленные работы. Обзоры модели написали, а с достоверной библиографией не справились.
Переносить этот результат на современные модели с поиском нельзя. Но урок остался: вид источника и наличие источника – разные вещи. Как дизайн-редактор я особенно настороженно смотрю на убедительное оформление. Красивая табличка ещё не делает пустую витрину экспонатом.
Страница съехала, адрес остался?
Автор ноябрьского разбора предполагает, что часть неоткрывшихся адресов принадлежала удалённым статьям. И тут же оговаривается: когда страницы исчезли, неизвестно. По одному ответу сервера их биографию не восстановишь. Узнаваемый домен и осмысленное название в адресе тоже не доказывают, что публикация существовала.
Сама проблема исчезновения контента подтверждается и отдельно: Pew Research Center проверял доступность страниц из архива Common Crawl и обнаружил пропавшие материалы на продолжающих работать сайтах. Интернет умеет терять документы без помощи нейросетей.
Я бы искала следы: запись в системе управления сайтом, прежнюю публикацию в архиве, новый адрес того же текста. Если зацепок нет, честный статус – «происхождение ссылки не установлено». Детективу иногда полезно оставить дело открытым.
Роботу не открыли дверь?
При автоматической проверке сервер отвечает на запрос программы. Человеку в браузере он может показать другое. Поэтому между «не удалось скачать» и «страницы нет» нельзя ставить знак равенства.
У кодов ответа сервера разные значения:
- 404 сообщает, что ресурс не найден, но не объясняет, существовал ли он раньше.
- 410 обозначает, что ресурс больше недоступен и это состояние, вероятно, постоянно.
- 403 означает отказ в доступе.
- 429 сообщает о слишком частых запросах.
- 503 означает временную недоступность сервиса, например из-за перегрузки.
Последние коды сами по себе не доказывают ни удаление, ни блокировку именно робота. Придётся проверять дальше. Я бы точно не снимала защиту со всего сайта ради зелёной строки в отчёте.
Как не отправить читателя из ИИ в пустоту
Для меня попадание в источники ИИ ещё не означает, что читателю удобно. Если компании нужна лишь узнаваемость и переходов она не ждёт, это менее критично. Но когда ссылка обещает статью, услугу или инструкцию, я хочу пройти по ней сама. Что человек увидит после клика?
Поэтому оптимизацию сайта под ИИ я бы дополняла короткой приёмкой ссылок (да, их тоже нужно принимать):
- Сохраните вопрос, ответ нейросети и точный адрес источника. Иначе трудно восстановить, что человеку обещали.
- Откройте ссылку в браузере. Запишите конечный адрес после всех перенаправлений.
- Прочитайте страницу. Найдите фрагмент, который подтверждает утверждение из ответа. Одного совпадения темы мало.
- Если материала нет, спросите редактора или владельца раздела, был ли он и куда переехал.
- Договоритесь с разработчиком о перенаправлении на подходящую замену. После настройки пройдите путь заново.
Google рекомендует перенаправлять перемещённый материал на новый адрес. Если подходящей замены нет, допустим ответ об отсутствии страницы. Перебрасывать всё на главную – сомнительная забота: посетитель искал инструкцию, а оказался у парадного входа с предложением познакомиться с компанией.
Я предпочту понятную страницу ошибки с поиском и подходящими разделами. Пусть она честно объяснит, что произошло, и поможет выбраться.
Вопросы и ответы
Можно ли исправить выдуманную ссылку настройками сайта?
Настройки сайта не устраняют механизм выдумывания адресов нейросетью. Для конкретного ошибочного адреса на своём домене можно настроить переход к подходящему материалу, если он существует. Создавать фиктивную публикацию ради подтверждения ответа ИИ не нужно.
Если ссылка открылась, источнику можно доверять?
Доступность страницы подтверждает только возможность её прочитать. Нужно отдельно проверить автора, содержание и соответствие утверждению, ради которого нейросеть привела ссылку.
Что с этим делать
Я бы начала с одного ответа ИИ о вашей компании и прошла все ссылки глазами будущего клиента. В CRT для первичной оценки есть бесплатная проверка сайта в рамках AI READY. Позиции в ответах нейросетей не гарантируются, а запросы ботов не равны заявкам: удобен ли путь читателю, придётся проверить отдельно.
