美國南佛羅里達大學
碩士進修報告
服務機關：國防部軍備局生產製造中心第四○ 一廠
姓名職稱：葉風上尉
派赴國家：美國
出國期間：110 年 8 月 17 日至 112 年 8 月 16 日
報告日期：112 年 9 月 21 日
摘要
本案係奉國防部 110 年 8 月 13 日國人培育字第 1100182879 號令核定，准葉風上尉赴美國佛羅里達州就讀南佛羅里達大學(University of South Florida)之地理研究所(Master of Geography)，奉核進修期程自 110 年 8 月 17 日至 112 年 8 月16 日止。職於核定期程內完成修業進度並取得碩士學位證明，並於 112 年 8 月18 日抵臺， 8 月 18 日返廠報到。
目次
摘要
目次
壹、目的
貳、進修過程
一、學校介紹
二、系所介紹
三、研究論文介紹
參、心得建議
肆、參考資料
壹、目的
本案係奉國防部 110 年 8 月 13 日國人培育字第 1100182879 號令辦理，由職赴美國佛羅里達州南佛羅里達大學進修地理碩士學位，核定進修期程自 110年 8 月 17 日至 112 年 8 月 16 日，進修期間主要以影像融合(Image Fusion)為主要研究方向，求學期間完成畢業學分修習及論文製作，於 112 年 8 月 18 日返抵國門，並於當日返廠報到。本報告依「行政院及所屬各機關出國報告綜合處理要點」之相關規定撰寫，內容提供職進修經驗及心得分享，期可透過報告內容，激盪出各項研究創新想法。
貳、進修過程
一、學校介紹
南佛羅里達大學（University of South Florida，以下簡稱為 USF），創建於 1956 年，位於美國佛羅里達州坦帕(Tampa)，隸屬於佛羅里達州州立大學系統，為該州前三大旗艦型公立研究型大學之一，被歸類為頂級研究機構，美國公立大學排名第 35 位，2023 年美國新聞與世界報導評價其為發展最快的大學。
二、系所介紹
本次進修之地理科學研究所隸屬於 USF 藝術與科學學院(College of Arts and Sciences)，為南佛羅里達大學最大的學院，下轄多個學系，領域包括人 文、自然科學到社會科學等。本次進修內容主要影像融合為主，畢業門檻 須修得 2 門 3 學分核心課程、1 門 3 學分額外必修課程、3 門 3 學分專業選修課程、2 門 3 學分選修課程及 6 學分論文，合計 30 學分。每一門課程於每 周皆設有討論，並且有期中報告及期末專題，讓學生在討論及應用中將課 堂內容融會貫通，並運用至現實議題。
三、研究論文介紹
本廠為因應未來日夜作戰趨勢，具備夜視鏡及熱像儀等夜視裝備能量，本次出國進修主要針對影像融合技術方面進行學習，期能將本廠現有之夜視能量與熱像能量進行融合，後續將可能與本廠「手持式影像融合瞄準系統」研發案進行結合運用，其中「多波段影像處理技術」及「影像融合演算法」等軟體技術於本研究中皆有相關運用，以下將分別透過影像蒐集、影像處理及影像融合三部分進行報告。
（一） 影像蒐集
影像蒐集作為本研究的基礎，為更模擬現實複雜環境，研究所使用的影片分別在兩種不同的環境中拍攝：草地場景為開闊的草地，並無遮蔽物，可以清楚地觀察到人體目標，且背景簡單。相較之下，森林場景位於樹木較為密集的區域。雖然有大量的環境遮蔽物，但拍攝地點選擇在相對開闊、能確保高可視性的位置，樹木的遮擋影響可以忽略不計，為包含不同的環境光照條件，影片的拍攝時間選在白天(9:00-17:00)、黃昏(18:00-20:00)、傍晚(21:00-23:00)以及深夜(23:00-1:00)等四個不同的時間段。人體目標位於固定攝影位置的 10 米、20 米、50 米與 100 米處進行拍攝。使用可見光、夜視及熱影像等三種不同設備分別拍攝合計 32 種不同場景、時間、距離的影片，並剔除未達到品質標準的影片片段（例如影片視角差距過大）。
由於影片透過三台不同儀器進行拍攝，因此存在不同軸問題，為進行後續分析必須對影片進行預處理。為實現影片的空間對齊，研究以夜視鏡影片作基準，透過 Adobe Premiere Pro 手動對齊由熱影像儀和iPhone 所拍攝的可見光影片，使其視角和規模與夜視鏡的影片相符。
（二） 影像處理
為識別在影像中所關注的物件（在本研究中為人體目標）的突出程度，研究針對影片片段應用了邊緣檢測與顏色提取技術。邊緣檢測的成果代表畫面中被成功辨識的物體，畫面中呈現的事物越多複雜程度越高，而觀測標的物在畫面中的明顯程度代表觀測的難易度，標的物越明顯，在實際觀測中越容易被觀察到，而標的物越不明顯則表示有極大概率在觀測時被忽略。邊緣檢測演算法旨在識別影像中明顯變化的不連續區域，即亮度值沿線或曲線突然變化的位置，透過強調邊緣的影像有助於從整體場景中分離並識別目標。在本研究中使用 Sobel邊緣檢測法及 Canny 邊緣檢測法。
1. Sobel 邊緣檢測演算法
Sobel 邊緣檢測演算法是一種離散差分算子，用以計算影像強度函數的梯度近似，在影像的任一點使用此邊緣檢測方式，Sobel的運算將會產生對應的梯度向量或範數。Sobel 邊緣檢測法相對簡單，所需運算資源也較少，且擅長強調高空間頻率變化區域。
2. Canny 邊緣檢測演算法
Canny 邊緣檢測演算法是一個多步驟過程，包括使用高斯濾波器平滑影像，計算影像梯度以突顯高空間導數變化區域，應用非極大值抑制以隔離最強的邊緣，並使用雙閾值和歸檔追蹤法識別和分類潛在的邊緣。Canny 算法能檢測影像中的多種邊緣，並且能盡可能多的標示出影像中的實際邊緣。
3. 顏色提取
由於熱影像具有將顏色分成色塊的特性，在使用邊緣檢測演算法時往往難以清晰地檢測或勾勒出某些物件。為緩解此問題，研究選擇採用顏色提取技術。顏色提取是一種根據顏色變化將目標與背景區分開的影像處理技術。在顏色提取過程中，首先將熱影像從 BGR（藍綠紅）顏色空間轉換至 HSV（色調、飽和度、明度）顏色空間。選擇 HSV 顏色空間的原因是它將色度訊息（色調）與亮度訊息（明度）分離開來，此種表示顏色的方式更接近人類感知，因此有助於顏色區分工作。轉換後，根據最大程度提取目標的顏色範圍選擇欲保留的顏色區域。這種方法不僅進一步驗證了熱影像的檢測效果，也有助於後續生成更優秀的影像融合結果。在顏色提取過程完成後，影像被轉換回 BGR 顏色空間輸出。整個過程在 Python 中進行，以便於從影像中提取所需的顏色塊。
（三） 影像融合
單一影像或影片在傳達綜合空間資訊的能力上，常面臨著許多挑戰。因此，我們嘗試採用邊緣檢測與顏色提取的成果進行影像融合，這種作法可以讓我們將這些元素與其他原始影像合併，創造出更為完整的視覺呈現。將檢測到的邊緣或提取出的顏色覆蓋在其他類型的原始影像上，有助於我們強調目標。
在本研究中，我們使用 Python 中的 OpenCV 函數 addWeighted() 來實 現 影 像 融 合 的 過 程 。 得 益 於 影 像 預 處 理 階 段 的 對 齊 工 作 ，addWeighted() 函數可根據我們所設定的權重系數，直接進行兩個影像的線性混合。一般來說，兩個影像的權重我們都會設定為 0.5，但也可能會因應不同的環境條件與光照情形進行調整。
如影像所示，原始影像經過影像融合後顯著強調了影像中的人體存在。在研究中，由於需強調使用影像融合與否的差異，因此人體清晰地位於影像的中心，但在實際情境中，要定位這樣的目標可能具有挑戰性，尤其當目標的位置不明確時，在這種情況下，要尋找位置不確定的物體僅依靠單一的成像技術可能導致目標被複雜的環境雜訊掩蓋。然而，如範例所示，由於熱影像凸顯熱源的能力非常強大，透過協同顏色擷取和邊緣檢測技術，融合成果能夠成功地從複雜的背景中萃取出目標，將目標輪廓標示出來或是以熱影像的橘黃色塊覆蓋人體，使人體在觀測畫面中相當明顯，目標的清晰度顯著提升，大幅提升觀測效率，此即為影像融合之研究目的，並將可為後續各種應用提供高效工具，包括搜救行動、監控、軍事應用等。
參、心得建議
職所撰寫的論文針對影像融合，對影像的處理、校正及疊加等功能進行研究，並針對可見光影像、夜視影像及熱影像均有進行評估及應用，應可針對本廠後續規劃各項研發案，如手持式熱像儀及影像融合等後續規劃應用相關知識輔助進行開發。
能夠在國外生活一段時間，體驗大學的自由和美國不同的生活絕對是人生難得的機會，在國外的生活不僅能接觸到美國不一樣的文化，也和來自各地不同國家的人接觸，除了體驗西方文化外，也見識到各國不同的風土民情，俄羅斯和烏克蘭學生並不互相仇視，即便兩國打得不可開交，印度人以為大多數美食來自於印度，而中華美食只有炒麵，很多美國人終其一生都沒離開過自己生活的州，甚至美國各地口音都不一樣等等，這些都是出國前從未想過的事情。
我一直以為世界不大，我們在家都能知道世界各地的新聞，後來才知道並非如此，世界確實不大，台灣離美國也不過 12 小時的飛機，但卻是家人從未來過的地方，我的夜晚是家人們的白天，熱鬧的過年隔著螢幕感覺比看電視還虛幻，反而電視上的槍擊案就發生在我住的這條街，於是我發現世界很大，我以為熱鬧繁華的華爾街其實髒亂不堪而且處處遊民，波士頓沒有波士頓派，紐奧良也沒有紐奧良烤雞，源自美國的麥當勞，美國人覺得不僅難吃還不衛生，而同樣的麥當勞，台灣做的比美國 8 成食物還好吃。也許是距離產生美感，美得當地人不認得，但台灣食物好吃美國人也曉得！
我曾擔心如何回答「Where is Taiwan?」，但知道比起 Taipei 101 他們更喜歡墾丁的時候，才發現我終究太淺了，原來大家都知道台灣，連孫中山、蔣介石都有被寫進美國歷史書裡，雖然只有短短幾筆，但已經足以證明台灣漸漸走進世界的舞台，而來讀書的我也不再需要向大家說明台灣在哪裡。
南佛羅里達大學採取一年兩學期 16 週的學期制度，並設有夏季額外學期，課程內容豐富且多元，並且每堂課皆佈置有小組討論環節，需針對課堂內容、補充文獻、現實議題等進行討論，每個討論都需要針對所有人的意見進行回覆，並且會由學生輪流進行課堂討論的引導，因此對於每堂課的內涵都會有相當的了解，每學期皆有期中報告及期末專題，並且通常為相關議題的延續，藉此讓學生對於問題有更深刻的了解，並試著以解決問題的角度出發，運用課堂所學及自己額外學習的知識做應用，因此課程內容具有相當難度，如有認為不足或學期未通過可在夏季學期進行補修或加選課，使成績較不理想的學生不至於壓力過大，成績優異的學生也可以學習到更多知識。另外每學期至少需修滿 3 堂課 9 學分以上方可達到國際學生全日進修規定，使每個學期都豐富且具挑戰性。
國外修課的過程中，由於碩士的教育方式和大學不同，大多時候需要自行學習需要的知識和技術，並尋找相對應的資源，如 GIS 課程，除掌握基本軟體使用外，亦包括將 SQL、R 等程式語言搭配 ArcGIS 之應用，因此，在學習的過程中能學到許多方面的知識，尤其研究論文的過程，但論文方面由於「影像融合」是一項橫跨多領域的技術，其應用涵蓋多波段影像處理、影像融合演算法及程式語言等等，為了學習這些技術，除了選修校內相關課程外，自行尋找資源也十分重要，課堂內容教授了一定程度的理論，如小波轉換、傅立葉轉換、拉普拉斯金字塔等影像融合方式，像素級、特徵級、決策級影像融合分類，以及邊緣檢測、顏色擷取、影像疊加等運用，但其中資源庫、程式碼及相關參數的選用及搭配組合須經多次測試及除錯方可正常運行，在此過程中所應用到的程式碼及參數皆有保留相關資料，因應使用環境調整後即可直接使用，可以做為未來研發案基礎。
本廠現有觀瞄裝備能量計有光學式瞄準鏡、夜視鏡、熱像瞄準具及手持式熱像儀等類型，本次進修所學知識與技術與本廠熱像瞄準具及手持式熱像儀較為相關，應可協助進行提升，並且對於未來影像融合運用、增益型夜視鏡開發及數位瞄準鏡研究等方面皆可提供相關幫助。
除學習外，在國外進修的生活都在全英文的環境，從作業、考試到生活，所有交流討論都使用英文進行，對於非英文母語者來說有相當程度的困難，尤其生活，在以往學習英文的時候，碰到不會說的句子或是單字都可以切回中文對話，頂多換來老師的白眼，但到了國外之後就不是這麼回事，可以換句話說，可以比手畫腳，甚至可以當場拿手機來翻譯，但說中文就是不行，身邊沒人懂也沒人幫忙翻譯，除此之外，對於聽力方面也有很高的要求，從美國人到各國人都有一定程度的口音，聽力方面難度上升非常多，因此初期溝通交流十分困難，聽不懂是一重困難，聽懂了講不出來又是一重困難，因此建議規劃出國進修的人員要有一定程度的信心，講不出來可以試著換句話說，保持輕鬆的心態，一句話可以有很多種表達方式，開心、高興、快樂、愉悅其實都是一個意思，只要說的出來就是成功的表達，多說多嘗試，慢慢就會越來越熟練了。
肆、參考資料
2. Canny, J. (1986). A computational approach to edge detection. IEEE Transactions on Pattern
Analysis and Machine Intelligence, 8(6), 679-698. https://doi.org/10.1109/TPAMI.1986.4767851
3. Sobel, I., & Feldman, G. (1968). A 3x3 isotropic gradient operator for image processing
[Conference presentation]. Stanford Artificial Intelligence Project, Stanford, CA, United States.
4. Maini, R., & Aggarwal, H. (2009). Study and comparison of various image edge detection
techniques. International Journal of Image Processing (IJIP), 3(1), 1-12.
5. Zhu, Z., Luo, Y., Wang, G., Qiu, J., Chen, Y., & Fu, Y. (2019). The comparative study of different
algorithms for edge detection. In 2019 IEEE International Conference on Mechatronics and
Automation (ICMA) (pp. 2278-2283). IEEE. https://doi.org/10.1109/ICMA.2019.8815918
6. Heath, M., Sarkar, S., Sanocki, T., & Bowyer, K. (1997). A robust visual method for assessing the
relative performance of edge-detection algorithms. IEEE Transactions on Pattern Analysis and
Machine Intelligence, 19(12), 1338–1359. https://doi.org/10.1109/34.650115
7. Priyadarshini, A., & Kumar, A. (2020). A study on canny edge detection algorithm. International
Journal of Emerging Technology and Advanced Engineering, 10(1), 21-27
本文引用網址：
https://report.nat.gov.tw/ReportFront/ReportList/category/topic?class_id=61
留言列表
