数独ではじめるアルゴリズム 第三章 OCR

Transcript

1. 数独ではじめるアルゴリズム 第三章 OCR Ryosuke Uchiyama step63r
2. グラフ構造と深さ優先探索（DFS） 0 1 2 3 4 11 5 8 6 7 9 10 12 13 14 前 回 の あ ら す じ
3. 入れられる数字の選択肢が少ないマスから埋めていく 3 6 5 4 8 7 9 4 5 1 9 7 3 5 6 8 9 6 5 4 4 6 5 5 6 5 3 5 3 4 5 6 5 3 4 4 4 6 5 5 5 4 4 5 5 5 4 4 5 5 5 4 7 3 3 4 3 4 4 5 6 4 4 5 6 5 4 4 6 4 5 7 7 4 6 7 7 5 6 6 8 問題 入れられる数字の残数 ここから処理するよりも… この辺から処理した方が速い！ 前 回 の あ ら す じ
4. 一意に決まるマスはあらかじめ埋めておく 3 6 5 4 8 7 9 4 5 1 9 7 3 5 6 8 9 問題 5 8 3 6 5 4 8 7 5 9 4 6 5 9 1 5 9 7 3 5 6 8 5 9 5 前処理後の問題 前 回 の あ ら す じ
5. MVVMパターン View ViewModel Model データ バインディング コマンド メソッド呼出し プロパティ設定 変更通知 変更通知 前 回 の あ ら す じ
6. Xamarin.Forms Shared C# Backend Shared UI Code iOS Android Windows 前 回 の あ ら す じ
7. 今後やること • UI実装（WPFかXamarinあたり） • モバイル対応（iOSアプリをビルドする環境がない……つらたん……） • OCR（問題をカメラで撮ってAzure Cognitive Servicesとかで盤面認識＆自動解答） • マルチスレッド（たぶんやらないやつ） 前 回 の あ ら す じ
8. 数字の検出
9. Computer Visionを用いたテキスト抽出 問題発生！
10. Text = "3", BoundingBox = [ (115, 16), (133, 17), (132, 39), (114, 38)] どのマスにどの数字が 入るんだ……？ 数独のマスも検出する必要があった！
11. マスの検出
12. どんなフレームワークが使えるか 案１ Azure Cognitive Servicesの既存モデルを活用 案２ Custom Visionに独自モデルをデプロイ 案３ 画像解析ライブラリで交点検出 「数独のマスを検出するAPI」があるわけないので却下。 学習（データ採取）が面倒くさすぎるので却下。 PythonとOpenCVで似たようなことをやったことがあるな？ １）Harrisのコーナー検出 → 精度イマイチ ２）Shi-Tomasiのコーナー検出 → 精度イマイチ ３）Canny → いけそう！ 採 用 採 用
13. XamarinでどうやってOpenCVを使うか Windows ランタイム コンポーネント - UWP applications | Microsoft Docs
14. Microsoftは神か？ OpenCV でのビットマップの処理 - UWP applications | Microsoft Docs 問題発生！
15. cv::Mat Platform::Collections::Vector マネージ/ネイティブ間のマーシャリング 結局、フレーム検出機能はPythonで実装することに
16. つくったもの
17. ソースコード SudokuApp uchi-sudokuapp-functions
18. 全体構成 SudokuApp ローカルストレージ OpenFileAsync RandamAccessStream Function App Cognitive Services DetectSudokuFrame JSON Response Stream IList<ReadResult>
19. Demo