Sony запатентовала ИИ-систему для сокращения данных при потоковой передаче

Как устроен метод

В патенте Sony описана обработка изображения перед отправкой: часть его областей не передаётся по сети, а затем воссоздаётся на принимающем устройстве с помощью машинного обучения.

Сначала изображение делят на сетку и оценивают её участки. Области с показателем ниже 0,4 могут исключить из передачи. На устройстве пользователя другая нейросеть заполняет пропуски, стараясь сохранить исходный вид кадра.

Для этого предусмотрены две модели: одна оценивает области изображения перед отправкой, а вторая восстанавливает удалённые участки на устройстве пользователя.

Настройки и статус разработки

Система предусматривает выбор желаемого качества изображения или степени сжатия. От этой настройки зависит, сколько участков пропустят при отправке и восстановят после получения: так можно менять соотношение между объёмом данных и качеством картинки.

Сокращение объёма передаваемых данных может сделать облачный гейминг стабильнее при ограниченной пропускной способности интернета. В перспективе технология также может пригодиться для Remote Play и PlayStation Portal.

При восстановлении нейросеть может добавить детали, которых не было в исходной игровой сцене, и вызвать визуальные ошибки. Это особенно важно для соревновательных шутеров и файтингов, где критичны точность изображения и быстрая реакция; в одиночных играх такие компромиссы могут быть менее заметны.

На фоне прогнозов о высокой стоимости PlayStation 6 и следующей Xbox облачный гейминг может стать альтернативным способом доступа к играм нового поколения. Sony пока не подтверждала, что запатентованная технология появится в будущих консолях или сервисах.