亚洲色偷拍另类无码专区,性猛交xxⅹooo免费看动漫,chinese中年熟妇free

在 RTC 2020 編程挑戰賽春季賽中。我們還有一個獲獎團隊，思路新穎，開發了一款基于雙人視頻聊天場景的Android小游戲——“拿頭玩”。在視頻聊天過程中即可開啟游戲。通過人臉識別算法識別轉頭方向，實現以“接鍋”和“甩鍋”為主題的玩法。目前實現了Android版本。

我們請“拿頭玩”團隊分享他們的開發思路與應用的功能實現：

項目介紹

《拿頭玩》是一款基于雙人視頻聊天場景的小游戲，在視頻聊天過程中即可開啟游戲。通過人臉識別算法識別轉頭方向，實現以“接鍋”和“甩鍋”為主題的玩法。目前實現了Android版本。

image

項目初心

頸椎問題是困擾所有辦公族的難題，大多數人工作中很難有機會能起身動一動，回到家里也會因為疲倦而放棄做一些頸椎康復的運動。所以我們想設計一款游戲，讓大家在休息的時候可以通過游戲的形式活動頸椎，舒緩疼痛。我們選擇了職場中的“甩鍋”和“接鍋”的場景，來作為游戲中的元素，希望能增加玩家的代入感。此外，我們還添加了截圖分享模塊，方便游戲進行傳播。

主要功能

經過了5天的設計和開發，我們最終完成了《拿頭玩》這個作品，下面來分享一下它的主要功能和其中的代碼細節。

視頻聊天模塊的搭建
視頻聊天模塊主要是使用聲網的音視頻sdk，它可以快速的開發出一個基本的視頻對話模塊，核心代碼如下：

//onCreate
val rtcEngine = RtcEngine.create(this, AppConfig.appKey,
            object : IRtcEngineEventHandler() {
                override fun onFirstRemoteVideoDecoded(uid: Int,width: Int,height: Int,elapsed: Int) {
                    setupRemoteVideo(uid)
                }
            }
//setup
private fun setupRemoteVideo(uid: Int) {
    val remoteView = RtcEngine.CreateRendererView(baseContext)
    remoteView.setZOrderMediaOverlay(true)
    container.addView(remoteView)
    rtcEngine.setupRemoteVideo(VideoCanvas(remoteView, VideoCanvas.RENDER_MODE_HIDDEN, uid))
}

視頻幀數據的獲取和處理
為了進行下一步的人臉識別，我們需要獲取到視頻幀數據，對幀數據進行預處理。在閱讀聲網提供的文檔和demo后，我們搭建了一個簡單的apm-plugin插件，通過這個插件，就可以得到視頻聊天過程中的裸數據了。
首先我們創建apm-plugin-packet-processing.cpp文件，然后通過CMakeLists.txt配置編譯參數:


cmake_minimum_required(VERSION 3.4.1)

add_library(
        apm-plugin-packet-processing
        SHARED
        apm-plugin-packet-processing.cpp)

include_directories(../cpp/include) //這里需要導入sdk中的.h文件
...
target_link_libraries(
        apm-plugin-packet-processing
        ${log-lib})

然后我們定義兩個jni方法來注冊和反注冊裸數據的回調:

JNIEXPORT void JNICALL Java_com_zero_game_utils_frame_VideoFrameHandler_doRegisterProcessing
        (JNIEnv *env, jobject obj) {
    if (!rtcEngine) {
        return;
    } else {
        agora::util::AutoPtr<agora::media::IMediaEngine> mediaEngine;
        mediaEngine.queryInterface(rtcEngine, agora::AGORA_IID_MEDIA_ENGINE);
        s_packetObserver = *new AgoraVideoFrameObserver(jvm, env, env->NewGlobalRef(obj));
        mediaEngine->registerVideoFrameObserver(&s_packetObserver);
    }
}

JNIEXPORT void JNICALL Java_com_zero_game_utils_frame_VideoFrameHandler_doUnregisterProcessing
        (JNIEnv *env, jobject obj) {
    if (!rtcEngine) {
        return;
    } else {
        agora::util::AutoPtr<agora::media::IMediaEngine> mediaEngine;
        mediaEngine.queryInterface(rtcEngine, agora::AGORA_IID_MEDIA_ENGINE);
        s_packetObserver.release();
        mediaEngine->registerVideoFrameObserver(nullptr);
    }
}

agora::media::IVideoFrameObserver這個接口就是聲網sdk提供的視頻幀回調，只要實現它即可：

class AgoraVideoFrameObserver : public agora::media::IVideoFrameObserver {
public:
    AgoraVideoFrameObserver() {
    }
    
    AgoraVideoFrameObserver(JavaVM *vm, JNIEnv *env, jobject jobj) {
       //...
    }
    
    // 獲取本地攝像頭采集到的視頻幀
    virtual bool onCaptureVideoFrame(VideoFrame &videoFrame) override {
        //processVideoFrame(videoFrame)
        return true;
    }
    // 獲取遠端用戶發送的視頻幀
    virtual bool onRenderVideoFrame(unsigned int uid, VideoFrame &videoFrame) override {
        return true;
    }
    // 獲取本地視頻編碼前的視頻幀
    virtual bool onPreEncodeVideoFrame(VideoFrame &videoFrame) override {
        return true;
    }
    void release() {
        //...
    }
};

由于Android平臺中攝像頭返回的裸數據是YUV420編碼，所以我們還要轉換為提供給人臉識別模塊的rgba格式才行,最后通過jni方法將數據傳遞到java層，進行后續的處理：

int width = videoFrame.width;
int height = videoFrame.height;
int index = 0;
char *rgba = new char[width * height * 4];
unsigned char *ybase = static_cast<unsigned char *>(videoFrame.yBuffer);
unsigned char *ubase = static_cast<unsigned char *>(videoFrame.uBuffer);;
unsigned char *vbase = static_cast<unsigned char *>(videoFrame.vBuffer);;
for (int y = 0; y < height; y++) {
    for (int x = 0; x < width; x++) {
    //YYYYYYYYUUVV
        u_char Y = ybase[x + y * width];
        u_char U = ubase[y / 2 * width / 2 + (x / 2)];
        u_char V = vbase[y / 2 * width / 2 + (x / 2)];
        int r = static_cast<int>(Y + 1.402 * (V - 128));
        if (r > 255) { r = 255; } if (r < 0) { r = 0; }
        int g = static_cast<int>(Y - 0.34413 * (U - 128) - 0.71414 * (V - 128));
        if (g > 255) { g = 255;} if (g < 0) { g = 0; }
        int b = static_cast<int>(Y + 1.772 * (U - 128));
        if (b > 255) { b = 255; } if (b < 0) { b = 0; }
        rgba[index++] = static_cast<char>(r); //R
        rgba[index++] = static_cast<char>(g); //G
        rgba[index++] = static_cast<char>(b); //B
        rgba[index++] = static_cast<char>(255);
    }
}

jbyte buf[width * height * 4];
int i = 0;
for (i = 0; i < width * height * 4; i++) {
    buf[i] = rgba[i];
}

jbyteArray jarrRV = env->NewByteArray(width * height * 4);
env->SetByteArrayRegion(jarrRV, 0, width * height * 4, buf);
env->CallVoidMethod(jobj, jSendMethodId, jarrRV, width, height, videoFrame.rotation);
env->DeleteLocalRef(jarrRV);

人臉識別和方向檢測
人臉識別主要使用的是MLKit，通過Firebase即可簡單配置使用，在上一個環節中，我們把源數據通過jni傳到了java層，現在我們需要將它轉化成bitmap對象然后傳給MLKit中提供的VisionFaceDetector。

val bitmap = Bitmap.createBitmap(color,width,height,Bitmap.Config.ARGB_8888)
//裸數據還需要進行旋轉和水平翻轉
val matrix = Matrix()
matrix.postRotate(rotation.toFloat())
matrix.postScale(-1.0f, 1.0f)
val rotationBitmap = Bitmap.createBitmap(bitmap, 0, 0, width, height, matrix, true)
val image = FirebaseVisionImage.fromBitmap(rotationBitmap)
val detect = FirebaseVision.getInstance().getVisionFaceDetector(highAccuracyOpts)
detect.detectInImage(image)
    .addOnSuccessListener {
        val leftEye = face.getLandmark(FirebaseVisionFaceLandmark.LEFT_EYE)
        val rightEye = face.getLandmark(FirebaseVisionFaceLandmark.RIGHT_EYE)
        val nose = face.getLandmark(FirebaseVisionFaceLandmark.NOSE_BASE)
        //獲取到左眼、右眼和鼻子的位置
        val leftEyeNose = euclidean(leftEye,nose)//計算鼻子到左眼的距離
        val rightEyeNode = euclidean(rightEye,nose)//計算鼻子到右眼的距離
        val ratio = min(leftEyeNose,rightEyeNose) / max(leftEyeNose,rightEyeNose)
        if (ratio > 0.7 && ratio < 1) {
            //左右眼離鼻子的比例在0.7-1.0之間我們認為沒有轉頭
            FaceState.FRONT
        } else {
            if (rightHalfFace > leftHalfFace) {
                //右邊眼睛到鼻子距離大于左邊的，我們認為轉向了左邊
                FaceState.LEFT
            } else {
                //反之右邊
                FaceState.RIGHT
            }
        }
    }

實現了轉頭識別后，配合上UI和動畫，我們就可以使游戲中的人偶跟隨我們的轉頭方向運動了。

游戲流程控制
由于游戲是在兩端同時進行的，所以我們需要進行端對端的數據傳遞，我們采用的是聲網提供的消息傳輸方案。通過實時傳遞游戲過程中的指令，對雙方游戲畫面進行控制，傳遞的指令包括:游戲開始，游戲結束，向左轉頭，向右轉頭，沒有轉頭以及實時分數等。

//發送方
streamId = rtcEngine.createDataStream(true, true)
rtcEngine.sendStreamMessage(streamId, "left".toByteArray())

//接收方 object : IRtcEngineEventHandler
override fun onStreamMessage(uid: Int, s: Int, data: ByteArray?) {
    data?.let {
        val string = String(it)
        when (string) {
            "left" -> {
                //處理游戲
            }
            "right"->{
                //處理游戲
            }
            .....
        }
}

尾聲：未來展望

《拿頭玩》這個項目是一個起點，基于它的框架，其實可以快速地添加到各種app中，形成一個額外的小游戲模塊。將“接鍋”“甩鍋”的替換成“接優惠券”、“采集素材”等不同元素，可以擴展它的使用場景。通過提供更多有趣的包裝，可以有效實現社交裂變引流。

開源鏈接

開源地址： https://github.com/AgoraIO-Community/RTC-Hackathon/tree/master/SDKChallengeProject/Zero_PlayHead

三个男躁一个女,国精产品一区一手机的秘密,麦子交换系列最经典十句话,欧美国产综合欧美视频

Android 實踐：基于雙人實時視頻的互動小游戲——拿頭玩

Android 實踐：基于雙人實時視頻的互動小游戲——拿頭玩

項目介紹

項目初心

主要功能

視頻聊天模塊的搭建

視頻幀數據的獲取和處理

人臉識別和方向檢測

游戲流程控制

尾聲：未來展望

開源鏈接

三个男躁一个女,国精产品一区一手机的秘密,麦子交换系列最经典十句话,欧美 国产 综合 欧美 视频

Android 實踐：基于雙人實時視頻的互動小游戲——拿頭玩

項目介紹

項目初心

主要功能

視頻聊天模塊的搭建

視頻幀數據的獲取和處理

人臉識別和方向檢測

游戲流程控制

尾聲：未來展望

開源鏈接

三个男躁一个女,国精产品一区一手机的秘密,麦子交换系列最经典十句话,欧美国产综合欧美视频