Было около 7 утра, и Старый квартал все еще был немного туманный. Я шел с Оан, не слишком много разговаривая. Затем я вдруг задал что-то немного случайное: "Если ИИ отвечает на вопрос и затем также говорит, что это правильно, чему мы на самом деле доверяем?"

Оан не ответила сразу. Она просто сказала: "Значит, ты просто доверяешь ему, не так ли?" Это звучало просто, но в тот момент это казалось немного неправильно.

Этот вопрос сразу заставил меня подумать о @OpenGradient . Не потому, что они создают лучшую модель ИИ. А потому, что они прямо указывают на то, что большинство систем тихо делает неправильно: в многих современных архитектурах ИИ система, которая генерирует вывод, и система, которая его проверяет, по сути, одно и то же.

Так что модель отвечает на вопрос, а затем неявно подтверждает свой собственный ответ. Нет внешнего слоя. Никакой независимой проверки, стоящей снаружи, чтобы оспорить это.

OpenGradient отделяет это очень четко.

Одна сторона делает только одну вещь: выполняет вывод и производит результат. Быстро, оптимизировано, масштабируемо. Вот и все. Она не решает, правильный ли вывод в каком-либо окончательном смысле.

Другая сторона полностью стоит вне этого процесса. Она не участвует в генерации результата. Она не делит ту же логику или предположения. Она просто принимает результат как уже произведенный и проверяет, выдерживает ли он проверку с другой точки зрения.

Ключевой момент в том, что две стороны не доверяют друг другу. Им это не нужно. Потому что если сторона генерации каким-то образом терпит неудачу, сторона проверки не потерпит неудачу тем же образом.

Я прошел немного дальше и подумал о том, что Оан сказала раньше. "Значит, ты просто доверяешь ему." Это звучит просто, но это именно та проблема. Потому что без внешнего слоя в конечном итоге ты все равно доверяешь самой системе, которая изначально произвела ответ.

OpenGradient, вкратце, не пытается сделать ИИ умнее. Он делает что-то более сложное: гарантирует, что ИИ больше не может проверять себя.
@OpenGradient $OPG #OPG $RE $O