CCT - Crypto Currency Tracker logo CCT - Crypto Currency Tracker logo
Forklog 2024-04-01 13:02:26

DeepMind создала ИИ-модель для фактчекинга

DeepMind представила ИИ-модель SAFE, проверяющую факты в ответах LLM лучше людей.  У всех больших языковых моделей есть одна общая проблема — достоверность сгенерированной информации. Чат-боты подвержены галлюцинациям, которые мешают им верно отвечать на вопросы. Из-за этого каждый результат необходимо проверять вручную, что значительно увеличивает время решения задачи. Исследователи из DeepMind создали ИИ-модель, автоматически указывающую на неточности. Система получила название Search-Augmented Factuality Evaluator (SAFE) — «Оценщик фактов с расширенным поиском». Разработчики создали LLM, которая сперва разделяет утверждения или факты в ответе чат-ботов. Затем она используют Google Search для поиска сайтов, верифицирующих утверждения, и производит сравнение. По словам исследователей, использование ИИ-модели обойдется в 20 раз дешевле, чем проверка фактов людьми. Поскольку объем генерируемой чат-ботами информации стремительно растет, наличие дешевого способа верификации будет востребовано. Для обучения команда использовала нейросеть для проверки 16 000 фактов, содержащихся в ответах 13 основных языковых моделей из четырех семейств (Gemini, GPT, Claude и PaLM-2). Они сравнили результаты с заключениями живых фактчекеров и обнаружили, что SAFE совпадает с ними в 72% случаев.  При проверке разногласий между ИИ-моделью и людьми SAFE оказался прав в 76% случаев. On a quick read I can’t figure out much about the human subjects, but it looks like superhuman means better than an underpaid crowd worker, rather a true human fact checker? That makes the characterization misleading. (Like saying that 1985 chess software was superhuman).…— Gary Marcus (@GaryMarcus) March 28, 2024 По словам профессора Гэри Маркуса, не совсем корректно утверждать, что ИИ-модель справляется с задачей на «сверхчеловеческом уровне», поскольку неизвестен уровень квалификации людей, которые принимали участие в эксперименте. Команда DeepMind разместила код SAFE на GitHub. Напомним, в сентябре 2023 года соучредитель компании Мустафа Сулейман назвал интерактивных ботов, которые могут выполнять задачи за человека, следующим этапом развития ИИ. 

Lesen Sie den Haftungsausschluss : Alle hierin bereitgestellten Inhalte unserer Website, Hyperlinks, zugehörige Anwendungen, Foren, Blogs, Social-Media-Konten und andere Plattformen („Website“) dienen ausschließlich Ihrer allgemeinen Information und werden aus Quellen Dritter bezogen. Wir geben keinerlei Garantien in Bezug auf unseren Inhalt, einschließlich, aber nicht beschränkt auf Genauigkeit und Aktualität. Kein Teil der Inhalte, die wir zur Verfügung stellen, stellt Finanzberatung, Rechtsberatung oder eine andere Form der Beratung dar, die für Ihr spezifisches Vertrauen zu irgendeinem Zweck bestimmt ist. Die Verwendung oder das Vertrauen in unsere Inhalte erfolgt ausschließlich auf eigenes Risiko und Ermessen. Sie sollten Ihre eigenen Untersuchungen durchführen, unsere Inhalte prüfen, analysieren und überprüfen, bevor Sie sich darauf verlassen. Der Handel ist eine sehr riskante Aktivität, die zu erheblichen Verlusten führen kann. Konsultieren Sie daher Ihren Finanzberater, bevor Sie eine Entscheidung treffen. Kein Inhalt unserer Website ist als Aufforderung oder Angebot zu verstehen