Большие языковые модели (LLM) не всегда точны при работе с корпоративными данными и теряют прозрачность по мере увеличения масштабов. В исследовании Стэнфорда показано, что происхождение данных, потребляемых LLM, становится трудноотслеживаемым, что создаёт проблемы для компаний и законодателей. Стэнфорд разработал систему индекса прозрачности LLM (FMTI), оценив 10 моделей. Средний рейтинг составил 37%.
Исследование Kaspersky показало, что 95% руководителей полагают, что сотрудники используют инструменты генеративного ИИ, но масштабы и цели их применения неясны. 59% выразили обеспокоенность рисками для защиты данных и утраты контроля над бизнес-процессами.
В другом исследовании LLM, подключенные к базам данных SQL, правильно отвечали лишь на 22% базовых запросов и 0% средних и экспертных. Это объясняется отсутствием у LLM бизнес-контекста. Способ повышения точности - использование меньших отраслевых моделей (ILM), обученных на специфических данных. Компаниям также следует обеспечить надзор за моделями и привести базы данных к виду, пригодному для ИИ.
В целом, многое ещё предстоит сделать для того, чтобы потенциал LLM был раскрыт на корпоративных данных без риска неточностей и утечек информации. Прозрачность формирования и функционирования моделей является в этом ключевым фактором.
