Sony подала патент на технологию предсказания кадров по вводу игрока

Что предлагает патент

Sony подала патентную заявку на технологию предсказания кадров. Её обнаружило издание Patentlyze; Sony подала заявку 15 октября. В описании предлагается формировать для первого изображения его представление, а затем предсказывать на его основе синтетический кадр, который появится на экране следом за первым.

Генерация кадров помогает добиться впечатления высокой частоты кадров, однако воспринимаемая плавность не равна реальной: последняя зависит от исходной частоты кадров игры. Это по-прежнему главная проблема генерации кадров; наряду с ней отмечаются проблемы качества изображения из-за интерполяции сгенерированных и отрисованных кадров. Отдельно PlayStation, судя по патенту, пытается решить проблему задержки ввода, которую лишь смягчают технологии вроде NVIDIA Reflex.

В последние годы на игры повлияли и технологии масштабирования: DLSS Super Resolution от NVIDIA проложила путь для других решений, в том числе PSSR и QSSR от PlayStation.

Предсказание с учётом действий игрока

В отличие от описанного принципа NVIDIA DLSS Frame Generation, при котором модель машинного обучения вставляет синтетическое изображение между последним кадром, отрисованным видеокартой, и предыдущим, подход PlayStation предсказывает будущее изображение с учётом ожидаемого ввода пользователя. Он напоминает принцип откатного сетевого кода, применяемый в современных файтингах, например Street Fighter 6, но предполагает гораздо более сложные вычисления.

Согласно патенту, действие игрока может совпасть по времени с формированием последнего входного изображения — например, произойти в пределах 15 мс — или произойти заранее: например, более чем за 15 мс до показа, но менее чем за две секунды до создания последнего кадра. Например, после нажатия кнопки прыжка несколько следующих кадров могут содержать анимацию прыжка, которую сможет усвоить кодировщик.

Как будет работать система

По сути, речь идёт об алгоритмической генерации кадров: синтетическое изображение создаётся алгоритмом, а не машинным обучением и нейросетями. При правильной реализации такой подход мог бы существенно сократить задержку ввода. Для этого могут применяться векторы движения либо предыдущий реальный кадр вместе с последним реальным кадром.

Система включает кодировщик, который получает отрисованное изображение, необязательные векторы движения и данные о действиях с контроллера, и декодировщик, создающий новый кадр. Его планируется показывать до появления следующего настоящего кадра; для учёта разных вариантов система может генерировать несколько будущих изображений. Если предсказание окажется неверным, предусмотрен резервный режим без ИИ.

Требования к оборудованию

В патенте не указаны дополнительные требования к оборудованию сверх уже имеющегося в нынешних игровых системах. Поэтому технологию потенциально можно внедрить на системах текущего поколения. При этом она вряд ли появится в ближайшее время: система сложна, а повторяющиеся ошибки предсказания могут привести к крайне плохому игровому опыту в динамичных экшенах и соревновательных шутерах. Среди других разработок PlayStation упоминается технология, которая могла бы переписывать поведение врагов на лету.