[03]An Intelligent File Transfer System for Mobile Devices Based on Augmented Reality and Cloud Computing

Transcript

1. Lien-Wu Chen (陳烈武), Yu-Fan Ho (何宇凡), and Wei-Ting Kuo (郭威廷) Department of Information Engineering and Computer Science, Feng Chia University, Taichung, Taiwan 國科會計畫編號 NSC102-2221-E-035-031-MY3 在本篇論文中，我們設計並實作了一個創新的智慧檔案傳輸系統FileYou，以擴增實境為基礎讓使用者只需一指按住檔案，將 檔案拖曳到影像或照片中傳輸對象的臉孔上即可將檔案傳輸到該傳輸對象。FileYou不需事先得知目標使用者的帳號，也不需 自行輸入目標使用者的帳號，並且可指定檔案傳輸的目標使用者，而不會將檔案傳輸至影像或照片中其他無關的使用者。藉 由我們所開發的FileYou智慧檔案傳輸系統，使用者傳輸檔案的操作複雜度可以獲得大幅度的降低進而減少總操作時間，能夠 有效地解決現有檔案傳輸方式必須事先詢問並自行輸入傳輸對象帳號之不方便性與耗時性。 1. 臉部偵測：當使用者拖曳檔案至特定人臉時，在畫面具 有多張臉孔情形下，能夠定位出所有臉孔並正確判斷目 標臉孔 2. 人臉辨識：可快速將目標臉孔傳送至雲端伺服器進行比 對辨識，然後回傳目標臉孔的身份帳號給使用者 3. 身份確認：當人臉辨識結果回傳至使用者時，能夠確認 所回傳身份帳號和傳輸對象的關聯是否正確無誤 4. 檔案發送：傳輸對象在連線狀態中可立即獲得該檔案， 在非連線狀態則可在稍後連線時獲得該檔案
2. An Intelligent File Transfer System for Mobile Devices Based on Augmented Reality and Cloud Computing Lien-Wu Chen, Yu-Fan Ho, and Wei-Ting Kuo Department of Information Engineering and Computer Science Feng Chia University, Taichung, 407, Taiwan Email: {lwuchen, d0163158, d0165621}@fcu.edu.tw Abstract 在本篇論文中 ， 我們設計並實作了一個創新的智慧 檔案傳輸系統FileYou，以擴增實境為基礎讓使用者只 需一指按住檔案，將檔案拖曳到影像或照片中傳輸對 象的臉孔上即可將檔案傳輸到該傳輸對象。FileYou不 需事先得知目標使用者的帳號，也不需自行輸入目標 使用者的帳號，並且可指定檔案傳輸的目標使用者， 而不會將檔案傳輸至影像或照片中其他無關的使用 者。藉由我們所開發的FileYou智慧檔案傳輸系統，使 用者傳輸檔案的操作複雜度可以獲得大幅度的降低 進而減少總操作時間，能夠有效地解決現有檔案傳輸 方式必須事先詢問並自行輸入傳輸對象帳號之不方 便性與耗時性。 1. Introduction 由於目前智慧手持裝置及行動網路的普及化 ， 隨處 檔案分享已經與我們的日常生活緊密地結合，透過行 動裝置就能無須經由電腦直接將檔案傳送給他人。然 而，目前行動裝置間的檔案傳輸方式，普遍是透過自 行輸入使用者帳號或裝置名稱的方式來讓使用者選 擇傳輸對象，再進一步傳輸檔案至目標裝置，這種做 法往往在現實環境中會造成使用上的不便利，使用者 需要先經由對方告知使用者帳號或裝置名稱，才得以 開始傳輸檔案，如此一來使得分享檔案的步驟較為繁 複與耗時。有鑑於這樣的方式並沒有辦法帶給使用者 最佳的傳輸體驗與效能，我們設計了一個創新的 FileYou智慧檔案傳輸解決方案，可讓使用者免除事先 詢問與自行輸入使用者帳號或裝置名稱的繁雜程 序，以拖曳檔案至傳輸對象臉孔方式取代傳統的輸入 使用者帳號或裝置名稱，透過直觀且有效率的方式達 到智慧檔案傳輸之目的。 現有的行動裝置檔案傳輸主要透過藍芽[1]、Wi-Fi 或3G/3.5G網路[2][3]，其中使用藍芽傳輸檔案至其他 裝置時，因受限於傳輸範圍，雙方須先處於近距離環 境並且同時開啟藍芽，接著從搜尋到的列表中選擇事 先詢問而得的目標裝置名稱，才得以進行傳輸。文獻 [1]透過近場通訊(Near Field Communication, NFC)進 行確認連線裝置的步驟，接著利用藍芽(Bluetooth)來 完成檔案傳輸，如此便可減少傳統僅使用藍芽傳輸檔 案時需手動尋找連線裝置的操作時間，但傳輸雙方的 行動裝置皆需支援NFC功能，並且仍需事先要求目標 使用者將裝置準備妥當以便進行NFC與Bluetooth通 訊；另外，由於Bluetooth的速度約只有1~3 Mbps [4]， 在傳輸大型檔案時，所耗費時間則會過久。 另一方面，行動裝置亦可透過Wi-Fi或3G/3.5G來傳 輸檔案，目前的方式則是使用專屬雲端檔案傳輸APP 圖一、FileYou系統架構 或Webpage來達成[2][3]，雙方皆須連結Webpage或下 載APP，並且事先獲得目標使用者帳號並自行輸入至 Webpage或APP中才能夠完成檔案分享的動作。類似 情況也發生在現有的檔案傳輸系統研究中[5][6][7]， 皆必須事先詢問並自行輸入目標使用者帳號，或是先 行取得傳送者設定之檔案下載相關資訊，具有高度的 不方便性與耗時性，並可能有發生使用者帳號書寫或 輸入錯誤的情況。 我們所設計與實作的FileYou智慧檔案傳輸系統主 要以擴增實境為基礎，讓使用者只需一指按住檔案， 將檔案拖曳到影像或照片中目標使用者的臉孔上，並 整合雲端人臉辨識達到確認使用者身份的功能，再透 過Wi-Fi或3G/3.5G進行檔案傳輸，如此便能達到減少 操作步驟以及加快檔案傳輸的目的。相較於現有常用 檔案傳輸方式，FileYou具備了以下三個主要特色：(1) 不需事先得知目標使用者的帳號；(2)不需自行輸入目 標使用者的帳號；(3)可指定任意一個目標使用者，而 不會將檔案傳輸至影像或照片中其他無關的使用者。 2. System Design 圖一顯示我們所提出的FileYou智慧檔案傳輸系統 架構，使用者操作具備Wi-Fi或3G/3.5G連上網際網路 能力的行動裝置，先使用Client端APP連線至伺服器， 接著將行動裝置上的Camera鏡頭對準想要傳輸的對 象，然後在螢幕上將檔案圖示拖曳到傳輸對象的臉孔 上，Server端便會從使用者臉孔資料庫中去進行人臉 比對，並回傳相似度前三名的對象給使用者進行確 認，之後便會進行檔案發送。而該傳輸對象在連線狀 態中則可立即獲得該檔案，若在非連線狀態則可在稍 後連線時獲得該檔案。 圖二為FileYou使用者的操作流程與實作畫面，在 登入成功之後，可以使用手指按住螢幕上檔案列表中 的檔案，透過滑動的方式將檔案拖曳到使用者臉上， 再放開按住的螢幕，此時手機會照下目前鏡頭的畫面
3. 圖二、FileYou運作流程與實作畫面 ，然後進行人臉偵測，判斷畫面上是不是有人臉存 在，若沒有則顯示判斷錯誤的訊息，使用者則必須重 新操作；反之，若有偵測到一個或多個臉孔，則將與 剛才手指放開時位在螢幕上的座標最接近的臉孔傳 送到FileYou伺服器，然後轉送至雲端伺服器。 雲端伺服器在收到臉孔相片之後 ， 則會將此相片與 資料庫的使用者列表做人臉辨識，倘若列表中可以比 對到正確的傳輸對象臉孔，則回傳該傳輸對象的資料 經FileYou伺服器轉送給使用者，確認後使用者便會開 始傳輸檔案給FileYou伺服器，FileYou伺服器再協助 將檔案傳送給辨識出的傳輸對象之行動裝置，傳輸完 畢後將會發送一個傳送成功訊息給發送者的行動裝 置，整個資料傳輸流程便全部完成。 3. System Implementation FileYou客戶端程式是以Android智慧型手機APP來 實 作， Android 是 為 行動裝 置所 專屬打 造的 軟體 Stack，包含作業系統、中介軟體及應用程式，作業系 統則是承襲Linux 2.6核心。我們使用Java開發套件以 及Eclipse整合開發環境來進行系統實作，並使用 Android Development Tools (ADT) Plugin來為Eclipse 整合開發環境提供延伸功能，可加快FileYou程式撰寫 與除錯的進度，以及使用Android SDK提供必要的工 具程式與API。 客戶端介面在開始啟動時可以於螢幕上看到相機 預覽畫面，下方則會顯示目前資料夾內的所有檔案。 若需要切換不同的資料夾，可透過放置於最前方的資 料夾圖示來選擇。如圖二左上方所示，使用者可將下 方檔案圖示拖曳至相機預覽畫面上，系統便會進行臉 部偵測，並針對手指放開的座標點來尋找最接近之臉 孔。由於在客戶端進行臉部偵測可以有效降低螢幕影 像的傳輸量與傳輸時間，所以我們直接透過客戶端對 先前擷取的畫面進行臉孔偵測，之後便只需傳送單一 臉孔畫面至伺服端，而非傳送整張螢幕影像。圖二左 下方與右上方分別顯示偵測到臉孔後開始傳送至伺 服器的畫面，以及雲端人臉辨識的回傳結果畫面。圖 二左下方顯示傳送者所註冊的臉孔圖片與ID、接收者 所註冊的臉孔圖片與ID，以及所傳送檔案的名稱。 在臉部辨識方面， FileYou使用了Mashape [8]及 Lambda Labs [9]第三方雲端API來達成臉部辨識的功 能。Mashape為集結各種領域API的雲端開發網站，其 雲端API提供者可能為個人或是工作室等，Lambda 圖三、FileYou 系統展示 Labs即為Mashape的提供者。每種雲端API都有其免費 以及付費資格的限制(可使用固定次數，超過次數則要 額外收費)。當雲端臉部辨識伺服器接收到由FileYou 伺服端傳送來的臉孔後，於比對之前會先進行更精細 的臉孔偵測。若臉孔的準確度過低，將造成臉部辨識 結果不如預期，因此將會提示使用者須重新操作。當 臉孔準確度符合預期時，會針對現存資料庫中的所有 人臉樣本進行比對。待比對完成即顯示相似度前三名 的人臉標籤(prediction)以及相似度值(confidence)。 FileYou伺服器回傳辨識結果並經使用者確認結果 之後，在傳輸檔案之前會先發送給FileYou伺服器檔案 資訊，包含檔案大小與檔案名稱，可讓FileYou伺服器 動態的建置File Buffer ， 增加伺服器的系統資源利用效 率。之後透過TCP協定開始做檔案資料流的傳輸。傳 輸完畢伺服器會確認傳輸對象是否在線上，若在線上 則將暫存的檔案資料直接轉送給傳輸對象，否則或是 直接以電子郵件形式來發送檔案。圖三為實際使用 FileYou進行檔案傳輸的畫面 ， 其中圖三(a)為使用者拖 曳檔案至傳輸對象臉孔的畫面 ， 圖三(b)為FileYou進行 臉孔偵測的畫面，圖三(c)為人臉辨識的結果畫面，圖 三(d)則為傳輸對象接收到FileYou所傳送檔案的畫面 。 4. Acknowledgements This research is supported in part by NSC under Grant No. 101-2221-E-035-090 and 102-2221-E-035-031-MY3. References [1] L.-B. Yu, “A study on NFC-activated Bluetooth data transmission over Android smart phones,” Master Thesis, Dept. of CSIE, National Taiwan Normal University, June 2012. [2] Dropbox. https://www.dropbox.com. [3] iCloud. http://www.apple.com/pr/library/2011/06/06icloud.html. [4] Bluetooth Special Interest Group. https://www.bluetooth.org. [5] H. Pucha, M. Kaminsky, D. G. Andersen, and M. A. Kozuch, “Adaptive File Transfers for Diverse Environments,” in Proc. of USENIX Annual Technical Conference (USENIX), June 2008. [6] N. Tolia, M. Kaminsky, D. G. Andersen, and S. Patil, “An architecture for Internet data transfer,” in Proc. of 3rd USENIX NSDI, May 2006. [7] A. Muthitacharoen, B. Chen, and D. Mazieres, “A low-bandwidth network file system,” in Proc. of 18th ACM Symposium on Operating Systems Principles (SOSP), Oct. 2001. [8] Mashape – The Cloud API Hub. https://www.mashape.com/. [9] Lambda Labs Face Recognition API. http://api.lambdal.com/.