「2024 年成本/資源分析研討會」出國報告
服務機關:國防部整合評估司、國防部主計局
姓名職稱:李豫華上校、林重良中校
楊建羣上校、黃家樑中校、何蕙如少校
派赴國家:美國
出國期間:113 年 5 月 11 日至 19 日
報告日期:113 年 8 月 19 日
摘要
「2024年成本/資源分析研討會」於今(113)年5月11日至5月19日,於美國明尼蘇達州明尼亞波利斯(Minneapolis, MN)舉行,為瞭解國際成本分析領域的最新發展趨勢,國防部由整合評估司及主計局共同派員參與,研討會由國際成本估算暨分析協會(ICEAA, InternationalCost Estimating and Analysis Association)舉辦,邀集來自全球各地的學者、研究人員、政府官員及業界代表共襄盛舉。
會中針對成本分析在不同領域的應用、數據品質與可靠性、模型建構與驗證等議題進行討論,其中,大數據分析、機器學習等新興技術在成本預測與決策支持方面的應用備受關注,與會者亦分享了各自在處理複雜成本數據、建立精準成本模型以及評估不確定性等方面的經驗與挑戰。透過此次研討會,不僅瞭解國際上成本分析領域的最新研究成果,更與來自世界各地的專家學者進行了交流,拓展視野,也在成本分析領域的研究獲得了新的思路與方向。
目次
一、 摘要
二、 序言
三、 目的、行程概述及研討會摘要
四、 心得與建議
五、 附錄(活動紀實)
序言
國際成本估算與分析協會 ( ICEAA , International Cost Estimating and AnalysisAssociation),是一個國際性非營利組織,致力於推動和促進成本估算、成本分析和相關學科的發展,該協會為從事成本估算和分析工作的人士提供一個交流知識、分享經驗和學習最佳實踐的平台。該協會每年定期召開成本分析研討會,今年研討會在美國明尼蘇達州舉辦,時間從 5 月 14 日至 16 日,研討會出席人員包含政府機關代表,像是美國國防部成本評估與計畫評鑑辦公室(CAPE)、核能安全管理局(NNSA)、聯邦航空總署(FAA)、海空成本分析單位(NAVAIR、AFCAA)、太空系統指揮部(SSC)、學者專家、民間企業及國防廠商等專業領域人士。
今年的研討會包含了 3 場次主題演講及 72 場小型研討會議,研討主題區分為數據科學與機器學習(Data Science & ML)、分析方法(Analytical Methods)、軟體運用(Software)、模式建立(Modeling)、流程與最佳實踐(Processes & Best Practices)、軟技能與熱門話題(SoftSkills & Trending Topics)、管理與實獲值分析和風險(Management, EVM & Risk)、策略(Strategy)等 8 項類別,主軸圍繞在成本分析技術以及相關應用範疇。
「2024年成本/資源分析研討會」出國報告
一、 目的
(一)透過與會的專家學者及參與的專業廠商所提供介紹的各種方法論與軟體工具等內容,瞭解當前成本分析領域的發展趨勢,做為本部成本分析作業及「國軍主要武器裝備成本資料庫」功能精進參考。
(二)關注美國在成本分析領域的相關指引文件、出版品、應用軟體與資料庫的建置機制,美國做為全球國防支出最高的國家,其在成本分析方面的經驗和創新對我們來說極具參考價值,把這些資訊整合到本部的成本分析教育訓練素材中,以提升我國相關領域人員掌握最新知識和技能。
二、 行程概述
此次出訪人員為國防部整合評估司李豫華上校、林重良中校、及主計局楊建羣上校、黃家樑中校、何蕙如少校合計5員,訪團於113年5月11日自桃園國際機場啟程前往美國明尼蘇達州,於美國中部時間5月14日至16日參加成本/資源分析研討會。會議期間由成員依據會議主題內容及議程時間,參與各分組會議,並與在場專家學者交流及研討成本分析概念、作業模式與實務經驗,續於5月17日啟程返國,5月19日返抵桃園國際機場。下表為此次參加之議程表。
三、 研討會內容摘要
(一)最小化資料集的最大化分析(Maximizing Analysis of Minimalized Datasets)在成本估算的過程中,利用歷史數據是非常重要的,許多分析方法依賴於擁有足夠的歷史數據集,由於新興技術、供應商的專有限制以及安全考量,獲取足夠的數據資料來執行更為穩健的分析方法往往不可能,因此我們需要使用不同的技術來充分利用每一個可用的數據資料,並發展出可信的成本估算。
在數據稀少缺乏的情況下,選擇合適的估算方法至關重要,雖然有許多經驗法則可以幫助我們從有限的歷史數據中選擇數據驅動的估算,數據驅動(data-driven)是指在做決策或分析時,主要依賴數據和數據分析的結果,而不是僅僅依賴直覺或經驗,在這種方法中,數據被用來支持或指導決策過程,以協助更準確的理解情況、預測結果或制定策略,簡單來說,就是用數據來指導和支持決策。
在進行風險調整的成本估算時,瞭解所選模型的影響和限制非常重要,在生成有限數據的估算時,應優先考慮類比和參數化方法,並將專家意見作為最後的選擇。在方法論的部分,介紹了如何使用蒙地卡羅模擬來評估不同的估算方法,這些模擬幫助我們理解在數據稀少缺乏的情況下,選擇不同方法的潛在影響,透過模擬,可以看到不同的回歸技術在小數據集和大數據集上的表現差異,並且能夠更好地理解這些方法的優缺點。會中也介紹了線性模型和功率模型的模擬結果,功率模型(Power Model)是一種統計模型,用於描述變數之間的非線性關係,因變數(通常是響應變數)與自變數(解釋變數)之間的關係可以用一個形式為y=a*x^b的方程來表示,其中a和b是常數,x是自變數,y是因變數,這些模擬展示了如何在數據稀少缺乏的情況下,利用不同的估算方法來獲得合理的預測結果。
在線性模型的模擬結果顯示,使用類比和平均基礎的估算方法能夠在一定程度上提供合理的預測,但在數據量極少的情況下,這些方法的準確性會受到影響。而在功率模型的模擬中,結果顯示全參數基礎的估算方法在數據稀少缺乏的情況下表現較好,尤其是在處理複雜的變數關係時。
研究說明了在數據稀少缺乏環境中,選擇合適的估算方法的重要性,雖然沒有一種方法能夠在所有情況下都有效,但瞭解各種方法的優缺點可以幫助成本分析人員估算出具有說服力的結果,並能夠清楚地表達數據稀少缺乏所帶來的限制,透過有效利用每一個觀察值,能夠在數據稀少缺乏的環境中最大化分析的效果。
在當今的數據驅動世界中,數據的可獲取性對於成本估算至關重要,然而許多分析人員面臨著數據稀少缺乏的挑戰,這使得傳統的分析方法難以應用,會中提供了一個清晰的框架,幫助分析師人員在有限的數據情況下選擇合適的估算方法,透過蒙地卡羅模擬,分析師可以更好地理解不同方法的影響,並在數據稀少缺乏的情況下做出更明智的決策。雖然數據稀少缺乏會帶來挑戰,但通過正確的方法和技術,我們仍然可以從有限的數據中提取有價值的見解,並制定出合理的成本估算,有助於提升我們的分析結果。
(二)美國國家航空暨太空總署成本估算方法的比較分析(Comparative Analysis of NASACost Estimation Methods)
太空任務的成本估算是一項極其重要且富有挑戰性的工作,它不僅涉及巨額投資,還關係到整個任務的成敗,一個優秀的成本估算可以幫助決策者做出明智的選擇,合理分配資源,降低風險,然而,太空任務的特殊性使得成本估算面臨6諸多困難,在任務的早期階段,可用數據往往非常有限,設計變更頻繁,技術複雜度高,這些因素都增加了估算的難度,過往經驗顯示出,許多太空任務最終都超出了初期的成本預算,有時甚至超出很多,這種情況不僅會對項目本身造成負面影響,還可能影響公眾對太空探索的支持。
為了應對這些挑戰,研究人員進行了一項案例研究,比較子系統級和元件級兩種不同層次的成本估算方法,這項研究以一個過去的行星際任務作為研究對象,涵蓋了太空船主匯流排、多個儀器酬載以及整體任務層面的成本估算,研究採用參數化工具進行估算,並進行風險分析,以評估不同方法的優缺點和適用性。
研究結果顯示,對於有效酬載部分,元件級估算的結果約為子系統級的兩倍,這可能是因為元件級方法考慮了更多的技術細節和複雜度因素,能夠更好地捕捉到每個組件的特殊性,然而對於太空船整體,情況卻剛好相反,子系統級估算的結果高出元件級約2.5倍,反差可能源於子系統級方法考慮了更多任務層面的複雜因素,如軌道特性、任務風險等。
這種差異在整體任務層面的估算中更顯著的呈現出來,子系統級估算的結果總體上高於元件級,主要是在於太空船主體部分的估算差異,特別的是,兩種方法得出的成本分布也存在顯著不同,元件級估算認為儀器開發佔據了最大的成本,而子系統級估算則認為太空船本身佔比最大,這種分歧反映出不同估算方法可能導致完全不同的資源分配策略。
分析估算過程,每種方法都有其獨特的優勢和挑戰,元件級估算的優點在於其細緻度,能夠提供更詳細的成本分解,有助於精確的成本管理和風險控制,但這種方法也有其缺點,需要大量的數據輸入,耗時較長,而且容易出現輸入錯誤,在實際操作中,可能導致較大的誤差。相比之下,子系統級估算的優勢在於其速度和簡便性,特別適合在項目早期進行快速的成本評估,但是這種方法可能會忽略一些重要的技術細節,對新技術的適應性也較差,更為依賴歷史數據,這在面對創新性較強的項目時可能會出現問題。
兩種方法都面臨一個共同的挑戰,需要分析人員做出大量的主觀判斷,例如7在評估某個組件或子系統的複雜度時,不同的分析人員可能會得出不同的結論,這直接影響到最終的成本估算結果,此外使用歷史任務數據進行估算也帶來了一些額外的困難,如資料不完整等問題。
研究的意義不僅在於比較了兩種估算方法,更重要的是顯示出太空任務成本估算的複雜性和不確定性,也使我們知道,沒有一種完美的估算方法可以適用於所有情況,選擇合適的估算方法,並充分認識到每種方法的侷限性,對於提高估算品質非常重要。展望未來,研究者建議開展更多的驗證研究,以評估現有參數化工具的性能和適用範圍,同時,也需要開發新的工具來支持獨立驗證工作,制定數據驅動的指南,幫助分析人員在不同階段選擇最合適的估算方法,也是一個重要的方向。
更長遠地看,未來的太空成本估算工具應該更加智能化和適應性,不僅要能夠靈活處理不同層次的技術細節,還要能夠自動適應新的技術發展和任務類型,輔助決策者權衡精確度和效率,考慮多種因素,做出更好的決策。研究讓我們深入理解太空任務成本估算的複雜性,強調在進行成本估算時需要採取平衡和靈活的方法,隨著太空技術的不斷進步和任務的日益複雜化,改進成本估算方法和工具將變得越來越重要,唯有如此,才能更好地支持未來的太空探索,確保有限的資源得到最有效的利用,推動人類在太空領域的持續進步。
四、 心得與建議
為期3天的研討會,包含了3場主題演講以及72個小型研討會議,會議主軸圍繞在成本分析技術及其應用範疇,包含成本估算、數據應用,範圍含括國防成本與商業應用,專家學者分享其研究成果及心得,提供與會人員新的思維及發想,本次與會心得與建議如下:
(一)持續蒐整成本數據,運用有限資料進行估算
在國防採購需求裡,準確的成本估算對於確保公務預算的有效使用至關重要,然而由於新興技術或產品的難以預估及有限的歷史成本資料,往往難以準確8估算出實際的成本數據,因此持續蒐集成本數據並運用有限資料進行估算是目前的必要手段與方法,美國國防部採用多種估算方法,包括參數估算法、工程估算法、類比法和專家意見法,參照這些方法結合使用,能夠在資訊不完全的情況下盡可能提供相對可靠的成本預測。為提高估算的準確性,必需建立系統化的數據收集流程,包括確定關鍵成本指標、設計數據蒐集方法、建立蒐集頻率、確保數據品質,及妥善管理數據,在估算過程中,持續驗證和更新數據,並使用多種方法進行交叉驗證。
(二)汲取專家學者經驗,善用評估工具與方法
本次的研討會匯聚了來自全球的成本估算專家、學者和實務工作者,研討會探討了如何提升成本估算的準確性和可靠性,特別是在複雜的項目中,與會者們分享了寶貴的經驗和見解,為改進成本估算提供了重要啟示,成功的成本估算需要結合專家經驗與先進工具,經驗豐富的估算師往往能夠識別出可能被忽視的成本因素,並對趨勢有更深入的瞭解。在工具和方法方面,藉由本次的研討會,瞭解來自各界的專家學者在不同的專業領域間運用具有理論基礎與實際案例的成本分析方法,介紹了多種現代化的估算技術,如透過機器學習分析歷史數據,識別成本改變因素,並預測未來趨勢,風險分析也是主題之一,透過評估不確定性以提供更全面的成本範圍估算,以掌握潛在的成本風險。
(三)培養專業人才,提升成本估算準確度
提升成本估算的準確度與培養高素質的專業人才密不可分,儘管先進工具和方法很重要,但真正成就良好成本估算的,仍是具備專業知識和豐富經驗的人才,國防採購的成本分析是一項複雜且關鍵的工作,涉及大量因素,相較於一般商業採購,其更具特殊性,也可能涵蓋研發與生產等多項環節,作業人員除了自我充實相關領域的專業知識外,對分析標的類型亦需具有一定的瞭解。
國防採購常涉及尖端技術和創新系統,這些項目的成本往往難以準確預測,需要分析人員具備前瞻性思維和深厚的技術背景,才能做出更準確的成本估算,而經驗的累積尤為重要,隨著參與不同類型的採購項目,人員能夠建立起對各種武器系統、裝備和服務的深入理解,使他們可以更準確地識別潛在風險,預見可9能的成本超支,持續學習和專業發展對於提升分析能力相當重要,包括透過交流訪查、教育訓練、參與研討會等,與各界保持密切聯繫,透過不斷更新知識和技能,才能跟上快速變化的趨勢,不斷提升分析作業能量。
五、 附錄 (活動紀實)
本文引用網址:
https://report.nat.gov.tw/ReportFront/ReportList/category/topic?class_id=61
留言列表