一、結構介紹
- 1.1，視覺跟蹤需要用到opencv的trackering類，但官方的OpenCV releases并不包含
opencv_contrib。所以在編譯的時候需要包含tracking。
二、編譯前的準備
- 2.1，安裝Cmake，編譯腳本可以用cmake
- 2.2，下載opencv指定版本的標準庫
- 2.3，下載opencv_contrib相同版本的貢獻庫
- 2.4，根據這個路徑
~/opencv/platforms/ios/build_framework.py找到build_framework，修改幾處基礎配置。（將 **--enable_nonfree**設置為**default=True**，默認是False。和由于項目只支持真機，減少編譯時間可以將**--iphoneos_archs**為**armv7**）。 - 2.5，
opencv_contrib庫中包含很多功能庫，我們只需用到tracking這個類，所以可以直接從~/opencv_contrib/modules中找到tracking，移動到~/opencv/modules中即可。
2.5步驟是編譯的一種方式，若還需用到其他庫可以如下直接編譯
./OpenCV/
├── opencv-4.5.5/
└── opencv_contrib-4.5.5/
注解： 標準庫和貢獻庫必須在同一個目錄下編譯
三、編譯OpenCV
- 3.1，切換到你的工作目錄，編譯后的文件將輸出到這個目錄（
cd <yourWorkSpace>） - 3.2，執行編譯腳本方式一（將需要的功能庫移動到opencv的modules種）
python opencv/platforms/ios/build_framework.py ios - 3.3，編譯腳本方式二（直接編譯標準庫和貢獻庫, --contrib 參數指定為我們下周的擴展包的目錄）
python path/to/build_framework.py --contrib path/to/opencv_contrib iOS
四、項目接入opencv2.framework
- 4.1，FiFish項目中視覺追蹤有兩個版本（即VL1.0和VL2.0），但兩個版本底層也是通過OpenCV實現的。
- 4.2，具體實現在
QYVisionLockTrackerManager類
#import <opencv2/opencv.hpp>
#import "opencv2/imgproc.hpp"
#import "qyTracker.h"
#import <opencv2/tracking/tracking_legacy.hpp>
{
cv::Ptr<cv::legacy::TrackerMedianFlow> medianTracker; // VL1.0 視覺跟蹤器
QytTracker *tracker; // VL2.0 視覺跟蹤器
}
----------- VL1.0(VL1.0是直接和opencv交互) -----------
cv::Rect2d rect2d = [self calculateRectInImageMat:dstMat sizeScale:sizeScale centerScale:centerScale];
medianTracker = cv::legacy::TrackerMedianFlow::create();
bool isTrackerInit = medianTracker->init(dstMat, rect2d);
self.isInitTracker = isTrackerInit;
complete([self calculateRectWithScreenScale:sizeScale centerScale:centerScale] ,isTrackerInit);
----------- VL2.0（VL2.0是與算法交互） -----------
if (tracker == NULL) {
tracker = new QytTracker();
}
cv::Rect bbox = [self calculateRectInImageSize:dstMat sizeScale:sizeScale centerScale:centerScale];
tracker->init(dstMat, bbox);
self.isInitTracker = YES;
complete([self calculateRectWithScreenScale:sizeScale centerScale:centerScale] ,YES);
- 4.3，算法需要的類型的cv：Mat類型，所以需要將yuv轉成cv：Mat類型
// yuv轉cv::Mat
- (cv::Mat)dstMatWithYuv:(uint8_t *)yuv_frame width:(int)width height:(int)height {
cv::Mat dstMat;
cv::Mat rgbMat;
if (yuv_frame == nil) {
return rgbMat;
}
cv::Mat yuvMat(height+height/2, width, CV_8UC1, yuv_frame);
if (yuvMat.empty()) {
return rgbMat;
}
rgbMat = cv::Mat(height,width,CV_8UC3);
// // COLOR_YUV2BGR_I420 COLOR_YUV2BGR_NV12
if (rgbMat.empty()) {
return rgbMat;
}
cv::cvtColor(yuvMat, rgbMat, COLOR_YUV2BGR_I420, 3);
// if (rgbMat.rows > mMatScaleTargetHeight) {
// double h = (double)height;
// double w = (double)width;
// int dstWidth = mMatScaleTargetHeight / h * w;
// rgbMat.copyTo(dstMat);
//// cv::resize(rgbMat, dstMat, cv::Size(dstWidth, mMatScaleTargetHeight), 0, 0, INTER_AREA); // resize CPU占用有點大
// } else {
// rgbMat.copyTo(dstMat);
// }
rgbMat.copyTo(dstMat);
yuvMat.release();
rgbMat.release();
return dstMat;
}
注解： cv::resize（）函數會造成CPU增加， 所以在詢問算法組的同事后表示可以注釋這個函數。
總結
優化點：
- 1.0，VisionLock 底層算法是CPU處理，所以在使用久了后，手機會發燙，已反饋給算法組的同事， 同時需要查出上層代碼能增加CPU的地方，eg：上次檢測出cv::resize（）函數會增加CPU。
- 1.1，由于播放器不同，獲取到的視頻幀格式不同（可能是NV12、P420、imageBuffer），這里可以優化下代碼，看看能不能有更好的兼容性。
