@official_gigachat
Нейросети YandexGPT иGigaChat,созданные соответственно «Яндексом» и«Сбером»,показали худшие результаты по«зацензуренности» среди всех языковых моделей (LLM) мира,включая китайские. Таковы результаты исследования,опубликованного вначале апреля группой ученых университета Гента вБельгии,накоторые обратила внимание журналистка Мария Коломыченко.
Исследователи проанализировали ответы 14 крупнейших текстовых нейросетей изСША,Китая,Франции,Израиля иРФнавопросы,касающиеся политической сферы. Вчастности,LLM попросили рассказать нашести официальных языках ООН— английском,китайском,русском,арабском,французском ииспанском— окаждом изболее чем 2350 политиков (Путине,Сталине,Байдене,Трампе,Лукашенко,Навальном идр.). Данные оних загружались избазы проекта обисторических деятелях Pantheon. УYandexGPT иGigaChat выявили самые высокие результаты «жесткой» цензуры— когда ИИотказывался отответа,заявлял,что «неможет говорить наэту тему»,или советовал пользователю искать информацию винтернете самостоятельно.
GigaChat выдавал отказы при 33% запросов нарусском языке (7,5%— наанглийском). УYandexGPT— 27% отказов нарусском,26,1% наиспанском,14,6% нафранцузском,11,6% наанглийском. «Тот факт,что русскоязычные LLM-программы чаще всего выдают отказы насвоем основном языке,говорит отом,что ихполитика тонкой настройки или правила модерации могут быть адаптированы котечественной аудитории. Такая цензура поотношению косновному внутреннему языку явно ненаблюдается для других LLM»,— делают вывод исследователи.
Уконкурентов российских нейросетей доля отказов варьировалась от0 до5%. Только упринадлежащей Alibaba Qwen зафиксировали 11,1% отказов наарабском языке.
Модели проверили источки зрения «мягкой цензуры». Как пояснили ученые,она характеризуется «выборочным пропуском или преуменьшением ключевых элементов» изжизни политика. Например,когда нейросеть «забывает» упомянуть оборганизованных Сталиным массовых репрессиях. Нейросеть Wenxiaoyan отBaidu при запросах наанглийском скрывала информацию в30–60% случаев,особенно если речь шла окитайском политике. Умалчивания также характерны для Claude (отамериканской Anthropic): впределах 50% случаев сокрытия данных,вособенности при запросах озападных политических деятелях инаанглийском языке.
Ивслучае с«жесткой» цензурой,ипри анализе напроявления «мягкой» цензуры исследователи для проверки ответов использовали сторонние сервисы— модель-асессор Gemini 2.0 Flash,которая приводила параллельные данные изВикипедии,атакже положения официальных документов,таких как всеобщая Декларация прав человека,цели устойчивого развития ООН исписок международных преступлений (геноцид,военные преступления ипроч.).