안녕하세요
기존 WebRtc 안드로이드 네이티브로 개발진행을 하고 있습니다
Turn서버나 영상 품질등등 자체로 하기에는 부담스러운 부분들이 좀 있어
클라우드 서비스로 갈아타려고 하기도 하고
CustomCapturerObserver를 만들어 영상을 약간 조작 하고 VideoFrame으로 변환 하려고 하는중입니다
안면인식은 com.google.android.gms.vision.face.FaceDetector 를 이용해서 하고 있습니다
인식까지는 다 잘되고 있으나 그 이후 프레임이 떨어져 상대에게 영상 전송시 품질이 않좋네요
opengl 등 gpu 관련한 부분들이 접근하기에는 좀 부족한 실력이라 이런 부분들 지원이 되는지 궁금합니다
클라우드 서비스의 라이브러리를 사용할때 이런 부분들이 쉽게 접근이 가능한가요?
안녕하세요.
안드로이드 SDK 의 경우 말씀하신 CustomCapturerObserver와 같은 RemonExternalCapturer를
제공하고 있습니다.
하지만, 이 캡처러도 완성된 VideoFrame 혹은 Surface 을 받아 전송하는 용도이므로,
실제 opengl 작업은 직접 구현하셔야 합니다.(일반 bitmap의 경우 프레임이 많이 떨어집니다.)
외부 캡처러 외에 직접적으로 EGL, OpenGL 처리를 지원하고 있지는 않습니다.
FaceDetector가 어느정도 프레임이 나오는지 모르겠으나 삼성 AR 카메라 sdk 등을 사용하는 경우
프레임이 떨어지기는 하나 통화가 불가능할 정도의 품질을 보이지는 않습니다.
전송되는 해상도를 일정 이하로 조절해 보시는 것도 방법일 것 같습니다.
픽셀포맷의 경우 삼성 ar 카메라는 16bit(565) 픽셀을 사용하는 것 같은데… 속도와 대역폭을 위한 선택인 듯 보입니다.
이외에 EGL 관련해서는 제공해드릴 정보가 많지 않네요.
감사합니다.