Пиксельные манипуляции в OpenGL

Допустим, у меня есть это изображение, и в нем есть объект (куб). Этот объект отслеживается (с метками), и мне удается отобразить на нем виртуальный куб (дополненная реальность). Теперь, когда я могу визуализировать на нем виртуальный куб, я хочу, чтобы объект «исчезал» с помощью некоторой действительно базовой техники уменьшенной реальности, называемой «рисование». Рассматриваемая окраска довольно проста (она должна быть, иначе пострадает FPS), и она требует от меня выполнения некоторых операций с пикселями и их соседями (например, с размытием по Гауссу или другой базовой обработкой изображения).

Для этого мне сначала нужно:

1. Маска: черный фон с белым кубом.
2. Получите доступ к каждому пикселю исходного изображения (в координатах x и y), а также к его окрестностям и сделайте вещи, основываясь на пиксельном значении маски с такими же координатами x и y. Таким образом, в основном маска служит способом сказать, игнорировать этот пиксель или использовать этот пиксель.

Как мне сделать это с помощью OpenGL? Я хочу иметь возможность доступа к значениям пикселей 1 на 1 предпочтительно в 2D из-за соседей.

Я использую FBO или PBO? Я прочитал много вещей о буферах и методах, таких как glDrawPixels() но у меня не получается собрать их все вместе. Бумага, в которой я видел этот метод, использовала GL_BACK Буфер но мой уже используется. Некоторый пример кода (C ++) был бы действительно признателен за все формальности (вызовы OpenG`), так как я все еще новичок в OpenGL.

Я даже думаю об использовании OpenCV, если в OpenGL слишком сложно манипулировать пикселями, поскольку моя библиотека AR (Aruco) работает поверх OpenCV. В этом случае мне все еще нужно получить маску (белый куб на черном фоне), преобразовать ее в cv::Mat а затем сделайте мою обработку.

Я знаю, что этот подход неэффективен (возвращаясь назад и вперед от GPU / CPU), но моя цель (пока) состоит в том, чтобы, по крайней мере, заставить работать основы.