使用openCV做影像辨識 @ iplayground

『使用openCV做影像辨識』
小咩在 iPlayground 2020分享投影片
詳細內容有
- openCV介紹
- 怎麼在xcode配置openCV
- 要如何辨識物體，流程怎麼實現
- openCV常用功能介紹
- 範例程式碼
有什麼問題或想法可以找我一起探討

Transcript

1. ⽺⼩咩＠iPlayground 2020 使用openCV做影像辨識
2. Blog : lamb-mei.com 羊小咩 E-mail : lamb@lamb-mei.com FB : https://www.facebook.com/lamb.mei twitter：https://twitter.com/lamb_mei -BNC
   .FJ
3. "HFOEB • OpenCV 簡介 • OpenCV on Xcode • 辨識處理流程 • 影像處理 • 顏⾊處理 • ⼆值化 • 形態學 • 輪廓 • 幾何變換 • 邊緣偵測 • 霍夫變換
4. OpenCV OpenCV的全稱是Open Source Computer Vision Library，是⼀個跨平台的電腦視覺庫。OpenCV是由英特 爾公司發起並參與開發，以BSD授權條款授權發⾏，可以 在商業和研究領域中免費使⽤。OpenCV可⽤於開發即時 的圖像處理、電腦視覺以及圖型識別程式。該程式庫也可 以使⽤英特爾公司的IPP進⾏加速處理。
5. OpenCV •擴增實境 •臉部辨識 •⼿勢辨識 •⼈機互動 •動作辨識 •運動跟蹤 •物體辨識 •圖像分割 •機器⼈ OpenCV可⽤於解決如下領域的問題
6. OpenCV 應⽤ ： ⾃動駕駛
7. OpenCV 應⽤ ： AR 來源 https://www.youtube.com/watch?v=B4pc_e8mdcs
8. OpenCV 應⽤ ： AR 來源 https://www.youtube.com/watch?v=-mhdMoPInf8
9. OpenCV on Xcode x
10. cocoaPods 安裝(⽅法⼀) ⽅便但無法安裝到最新版本 難度：★☆☆☆☆
11. ⼿動設定 OpenCV(⽅法⼆) 1/2 https://opencv.org/releases/ Download OpenCV Framework
12. ⼿動設定 OpenCV(⽅法⼆) 1/2 https://opencv.org/releases/ P.S 新版不⼀定最好 演算法可能被賣掉 (ﾟ⊿ﾟ) SURF / SIFT 特徵檢測在4.x+版本都無法使⽤ Download OpenCV Framework
13. 難度：★★★☆☆ ⼿動設定 OpenCV(⽅法⼆) 2/2 將framework 拖曳⾄專案
14. ⾃⾏編譯 (⽅法三) 優點可以控制需要的功能，節省size 難度：★★★★★ 難度超過範疇
 請付費解鎖
15. OpenCV on Xcode x How to use
16. 1. 新增語⾔Obj-C檔案 How To Use
17. 2. 將.m檔更名為.mm
 告知編譯器採⽤Objective C++ How To Use
18. 3. 加入C++ 測試⽅法 & 取得OpenCV版本號 How To Use #import <Foundation/Foundation.h> NS_ASSUME_NONNULL_BEGIN @interface OpenCVWrapper : NSObject + (NSString *) test_c; + (NSString *) cv_version; @end NS_ASSUME_NONNULL_END #include "OpenCVHeader.h" #import "OpenCVWrapper.h" //啟⽤命名空間 using namespace cv; using namespace std; @implementation OpenCVWrapper + (NSString *) test_c{ char str[]="Hello C++"; std::cout << str << std::endl; return [NSString stringWithUTF8String:str]; } + (NSString *) cv_version{ cout << "OpenCV version : " << CV_VERSION << endl; char str[]= CV_VERSION; return [NSString stringWithUTF8String:str]; } .h .mm
19. 4. import OpenCV How To Use #ifndef OpenCVHeader_h #define OpenCVHeader_h #pragma clang diagnostic push #pragma clang diagnostic ignored "-Wdocumentation" #import <opencv2/opencv.hpp> #import <opencv2/imgproc/types_c.h> #import <opencv2/imgcodecs/ios.h> #pragma clang pop #endif /* OpenCVHeader_h */ OpenCVHeader.h
20. 5. Header import <swift / obj-c混合專案> How To Use #import "OpenCVWrapper.h" #import <TesseractOCR/TesseractOCR.h> <Product Name>-Bridging-Header.h #import <Foundation/Foundation.h> //! Project version number for RecognitionInvoice. FOUNDATION_EXPORT double RecognitionInvoiceVersionNumber; //! Project version string for RecognitionInvoice. FOUNDATION_EXPORT const unsigned char RecognitionInvoiceVersionString[]; #import "OpenCVWrapper.h" #import <TesseractOCR/TesseractOCR.h> <Product Name>.h framework Umbrella Header
21. 辨識流程 x
22. 辨識流程 影像輸入 前置處理 切割 辨識
23. 辨識流程 影像輸入 前置處理 切割 辨識
24. 辨識流程 影像輸入 觀察影像特性 選擇適合的處理⽅法 有雜訊的 前置處理 固定圖案 樣板比對 / 特徵點 思考發票特徵
25. 辨識流程 影像輸入 前置處理 切割 辨識
26. 辨識流程 前置處理 灰階化 去雜訊 移除⼲擾線 ⼆值化 只對⽂字感興趣 ⾊彩不應影響結果 移除不需雜訊
 濾波 / 侵蝕 將最後輪廓標⽰出來
27. 辨識流程 影像輸入 前置處理 切割 辨識
28. 辨識流程 切割 垂直投影法 如果黏再⼀起就再均分切割
29. 辨識流程 切割 part II 找輪廓 包裹 擷取 正規化 可以找輪廓時 直接找四點構成的輪廓 傾斜轉正 即找旋轉後 最窄的長⽅形 (最左和最右點 距離最短者) ⼤⼩統⼀ 
 辨識時點對點 設立⼤⼩⾨檻值， 以擷取適當長⽅形
30. 辨識流程 影像輸入 前置處理 切割 辨識
31. ‘TesseractOCRiOS‘ ‘SwiftyTesseract‘ 辨識流程 辨識 ⽅法⼀ Tesseract 開源⽂字辨識庫 (推薦)
32. 辨識流程 辨識 ⽅法⼆ K-Nearest Neighbors(KNN) KNN訓練出來的神經網路可⽤來分類
33. 辨識流程 辨識 ⽅法⼆ K-Nearest Neighbors(KNN)
34. x OpenCV Features
35. 圖片格式 矩陣的型式表現，每個值都代表⼀⼀個 pixel 另外矩陣不⼀⼀定是 2D 的，有可能包含多個 channel。 JPG 250 x 250 px 250 x 250 x 3
36. 影像處理 cv::Mat • Resize cv::Mat imageMat_Orig; UIImageToMat(image, imageMat_Orig); cv::resize(imageMat_Orig, imageMat_Orig , cv::Size(imageMat_Orig.cols * rate , imageMat_Orig.rows * rate), 0, 0, CV_INTER_AREA); • 曝光 增強... etc
37. 影像處理 • Exif 轉向處理
38. 顏⾊處理 cv::cvtColor HSL ⾊⾊彩空間⽰⽰意圖 HSV ⾊⾊彩空間⽰⽰意圖 有時候需要進⾏⾊彩空間的切換 ，因為RGB選⾊不易
39. 顏⾊處理 inRange 選擇⽪膚顏⾊ 範圍 Scalar(0, 10, 60), Scalar(20, 150, 255)
40. ⼆值化 cv::threshold 設定閾值；⼩於閾值將其設置為0(⽩)，否則將其設置為最⼤值(⿊) cv::threshold (InputArray src, OutputArray dst, double thresh, double maxval, int type)
41. 形態學 cv::erode / cv::dilate 原圖 腐蝕 erode 膨脹 dilate
42. 形態學 cv::morphologyEx 原圖 開運算 open 開運算 ＝ 腐蝕 + 膨脹 先腐蝕(瘦)后膨脹(胖) 叫開運算，其作⽤是：分離物體，消除⼩區域
43. 形態學 cv::morphologyEx 原圖 閉運算 close 閉運算 ＝ 膨脹 + 腐蝕 其作⽤是：填充閉合區域
44. 輪廓 cv:: findContours 輪廓可以簡單認為成連續的點（必須封閉）連在⼀起的曲線，具有相同的顏 ⾊或者灰度。輪廓在形狀分析和物體的檢測和識別中很有⽤ 輪廓 外接矩形 最⼩外接矩形
45. 輪廓特性 輪廓 • 輪廓⾯積 • 輪廓周長 • 矩 （幾何特徵）
 質⼼ ⾯積 • 外接矩形 • 最⼩外接圓 • 擬合橢圓 • 形狀匹配
46. 幾何變換 WarpAffine / WarpPerspective WarpAffine 仿射變換 WarpPerspective 透視變換
 （有消失點）
47. 邊緣偵測 cv::Canny 原圖 灰階 ⾼斯模糊（去雜訊） Canny尋找邊緣
48. 霍夫變換 cv::HoughLinesP(找線) Canny 處理 將線段找出來
49. 霍夫變換 cv::HoughCircles(找圓)
50. OpenCV Features 今天介紹的部分
51. ⼯商時間 https://cutt.ly/IgGKH0K 智能發票 最智能的發票對獎
52. 腐蝕
 erode ⼆值化
 threshold 原始 智能發票 辨識流程
53. 開運算 open 膨脹dilate 尋找輪廓
 findContours ⽂字辨識 仿射變換 智能發票 辨識流程
54. 舉個栗⼦
55. https://github.com/lamb-mei/RecognitionImage 範例程式碼 舉個栗⼦ - 找圓
56. https://github.com/lamb-mei/RecognitionImage 範例程式碼 舉個栗⼦ - 找特徵點
57. 想要 程式碼? 都放在這裡了！ https://github.com/lamb-mei/RecognitionImage
58. ⽺⼩咩＠iPlayground Thank You Watching! For FB：https://www.facebook.com/lamb.mei twitter：https://twitter.com/lamb_mei