1. Буду пробовать адаптировать. Как можно получить исходники?

Исходники библиотеки для контроллера под Arduino IDE можно взять тут https://remotexy.com/en/library/ и тут https://github.com/RemoteXY/RemoteXY-Arduino-library

Да, учитываются все элементы на экране.

Программа перехватывает порт полностью, но как я понял ищет пакеты в которых crc  корректный. если будет возможность отключения перехвата порта и функция обрабатывающая данные (например массив байт) то можно совместить потоки данных в одном канале. Например получены данные, обработали, отправили дальше в программу библиотеки remote. В самой библиотеки по любому есть функция работы с портом и отдельно обработки данных, в крайнем случае их нетрудно разделить если все делает одна функция

Да, наверное и такое сделать возможно.
Однако, если подразумевается использование WiFi или Ethernet, то там под каждый сервер или клиент открывается свой порт и описанная вами ситуация становится неактуальная. Если я правильно понял, автор поста именно эту ситуацию имеет ввиду.

Нет ничего нереального. Но все выглядит достаточно трудоемко.
1. Библиотека не адаптирована под STM32. Вам придется это делать. Хотя возможно это не сложно.
2. Библиотека не предусматривает совместное использование ESP для разных задач. Библиотека захватывает управление ESP полностью на себя, анализируя и отправляя все AT команды. Т.е. этот кусок вам так же предстоит переделать.

Возможно, вы можете реализовать что то типа виртуального последовательного порта[..].

Спасибо за ответ.
1. Буду пробовать адаптировать. Как можно получить исходники?
2. Однозначно будет проще реализовать работу в режиме виртуального com порта. Организую точку доступа необходимую для приложения, и все данные, которые пойдут не неё перенаправлю.

Еще вопрос. Планирую сделать 2 вида интерфейса - под бесплатную и платную версии. Под пятью графическими элементами подразумевается абсолютно все граф. элементы (включая элементы оформления) или только активные(поле ввода и т.д.)?

В принципе, мне проще использовать ваше готовое решение для местного управления, причем под две платформы, чем отвлекаться на свое решение.

Возможно, вы можете реализовать что то типа виртуального последовательного порта, который будет взаимодействовать с вашим ESP через вашу программу. Этот виртуальный порт подсоединяется к библиотеке RemoteYX которая работает в режиме обмена данными по USB через физический UART. Только данные отправляются и принимаются не в/из USB а в/из ваш виртуальный последовательный порт. Как то так наверное можно.

Суть вопроса такая - можете ли Вы дать информацию о работе RemoteXY напрямую моими средствами?
Со стороны моей программы - организация точки доступа  AP + Station mode, соединение с приложением и выделение из потока данных ESP тех, что относятся к приложению.   
Это реально?