收藏
二手徵求有驚喜
第四章、創意取向的評鑑歷程：評鑑規劃階段
【序曲】
「沒有任何一件事物比想出一個新創意，更能令人拍案叫絕。」
「沒有任何一件事物比看到一個新創意發揮作用，更令人感到欣慰。」
「沒有任何一件事物比發現一個符合要求的新創意，更能有所作為。」引自江麗美 譯（2000）。嚴肅創意。de Bono, E.原著，頁22。
教育評鑑是一個系統化的歷程，在評鑑過程中從確定評鑑目的開始，到評鑑結果的產出與運用，都必須預先進行規劃，從大處著眼並小處著手，才能滿足評鑑實務的需要，確實達成評鑑目的。Weiss認為評鑑歷程要完整的規劃，必須能夠考量到各面向與各階段工作的實質內容，並且具有循環的概念，才能不斷的適應調整，讓各個部分都能夠配合起來，成為一致且具說服力的評鑑(王麗雲主譯， 2014)。創意取向評鑑在起始規劃時，評鑑規劃者應基於專業知識，參考創意取向的原則規畫出適合評鑑目的與受評對象的設計；在評鑑實施時，則要能符應評鑑情境與問題提出適合的問題解決建議，故在評鑑時，沒有一件事情比發現能讓受評對象受用的創意與問題解決策略，更能有實質的貢獻。因此好的評鑑是經過個人與團體貢獻智慧與深思熟慮後的產物，要能確認目標、發現問題、發展工具、蒐集有用資訊，以提供完整有意義的結果與建議。
一個完整的評鑑歷程涵蓋眾多事務，Worthen與Sanders(1987)將方案評鑑的步驟分成「規劃階段」與「實施階段」；「規劃階段」主要的工作流程包括：確認評鑑需求與責任、設定範圍分析評鑑內容、選擇並定義評鑑問題與參考標準、規劃資料蒐集與分析的方式、發展評鑑管理機制等。「實施階段」的主要工作流程則為：處理評鑑時的政治議題與人際關係、蒐集與分析評鑑資訊、報告並利用評鑑資訊，以及進行後設評鑑等。Fink(1995)更進一步具體說明方案評鑑的步驟與流程，共分成六個階段，整理如下：
（一）提出主要與方案相關的問題
提出問題是判斷方案推動成效的首要步驟。通常這些問題包括：
1.方案達成目的或目標的程度究竟為何？2.不論是個人或團體，所有方案參與者的特徵或特性為何？3.哪些方案參與者或團體對方案有決定性的影響？4.方案參與者或團體對方案影響的持久性為何？5.哪些策略或活動對方案的影響最大？6.方案的目標與策略對其他利害關係人的合適程度為何？7.方案推動的成本及其效益關係為何？8.政治或社會環境的變動對方案結果的影響為何？
（二）建構方案評鑑標準
建構評鑑標準主要的目的是提供方案成效的資訊與證據，是教育評鑑者判斷方案價值的重要依據。因此明確定義出最適合評估方案的標準，對教育評鑑者來說是一種相當大的挑戰。理想上，這些方案評鑑標準最好是能夠測量的、可觀察的，具有操作型的定義，並且可信度也要高，也就是評鑑標準的信度與效度都必須兼顧。
（三）設計評鑑方式並選擇參與者
方案評鑑者必須選擇參與評鑑的對象，包括團體（單位或學校）與個人，並針對他們的特性設計主要的評鑑方式。通常方案評鑑者在設計符合評鑑情境的方式時，以下這些問題必須先行考量：1.有多少評估與測量必須進行？2.何種時機必須進行何種評估與測量？3.有多少團體或個人必須納入評鑑的範疇？4.如何選擇這些必須納入評鑑的團體或個人？
（四）蒐集相關訊息
任何評鑑都必須蒐集相關的資訊，以提供評鑑者作為價值判斷的基礎。而以方案評鑑而言，評鑑相關訊息的蒐集必須是有計畫而整體性的進行。因此資訊蒐集時最好能夠先考量以下一系列的工作：1.待評估的變項，像是具體策略、行為表現、態度等，必須能夠清楚的定義。2.選擇或創造出適合的評估與測量方式。
3.說明評估與測量方式的信度（一致性）與效度（精確性）。4.有效安排好評估與測量的細節。5.確定評估與測量的計分方式。
而一般評鑑訊息或相關資料的來源大致包括：相關文獻或記錄的查閱、自我調查或評鑑的測量問卷、面談與座談、成就測驗、觀察記錄、一些已出版或未出版的相關文獻等等。
（五）分析資料
關於評鑑資料的分析，我們必須注意分析方式的適合程度。通常會考量幾個關鍵因素：1.評鑑標準或評鑑問題的特徵與其核心價值，是否能夠透過資料分析而看出端倪？2.評鑑資料的變項該如何呈現？是以精確的數字或是文字說明？3.評估與測量的次數應為多少？4.資料的信度與效度。
（六）結果報告
評鑑的結果報告就是針對方案評鑑的運作結果進行說明，當然包括判斷的結果與優缺點闡述。在報告的內容上會說明評鑑的目的、評鑑標準建構歷程、評鑑方式與設計、資料蒐集、取樣與分析、評鑑結果與討論、建議、以及評鑑的限制等等。而評鑑報告可用報告書、口頭說明、專題論文等方式呈現。
綜合前述觀點與實務資料，可歸納出評鑑工作的內容及階段流程至少包括以下10項：1.確認評鑑目的；2.釐清與界定主要問題；3.選擇與建立評鑑模式；4.規劃評鑑設計與流程；5.組成適當的評鑑人員；6.發展評鑑工具；7.決定資料蒐集方式；8.蒐集與分析資料；9. 做出評鑑結論並撰寫評鑑報告；10.評鑑結果後續運用。本章將依循前面發展出評鑑創意取向的原則，來檢視評鑑歷程中各階段任務，並將評鑑歷程依規劃、實施、結果三階段的順序提出創意取向的觀念與想法，發展「創意取向評鑑歷程」的實務，此三階段分別為；
一、評鑑規劃階段：包括確認評鑑目的、釐清與界定主要問題、選擇與建立評鑑模式、規劃評鑑設計與流程等重要議題。
二、評鑑實施階段：包括組成適當的評鑑人員、發展評鑑工具(標準或指標)、決定資料蒐集方式、資料分析等議題。
三、評鑑結果階段：包括做出評鑑結論、撰寫評鑑報告與後續結果運用等議題。
本章就先探討創意取向的評鑑規劃階段，而評鑑實施及結果階段的內容則留到下二章再行說明。
第一節、確認評鑑目的
評鑑的推動是一項頗為複雜的歷程，在不同階段與不同時機都會有許多工作細節必須經過事前的規劃與設計，才能順利推動並獲得大多數互動關係人的認同。在評鑑規劃階段，確認評鑑目的是評鑑規劃者或決策者的首要工作。確認評鑑目的主要意義在於讓評鑑規劃者了解委託人(或機構)推動評鑑的真正目的為何。因為惟有確實了解委託人的根本用意，才能規劃出最適切的評鑑工作內容，提供符合評鑑目的的資訊與建議。
通常評鑑有二個主要的目的，一在評估績效表現，另一則是促進方案或專業發展，績效評估容易使人感到緊張與壓力，判斷結果也不容易被認同；專業發展則較無威脅，能獲得多數受評者接受。不過現實的狀況是，會對方案或機構運作感興趣的人士，通常會是評鑑經費的贊助單位，或是上級單位，他們總是希望了解方案或機構如何運用經費、究竟完成了甚麼工作、以及如何提供讓社會大眾滿意的服務等問題，所以我們較常面對的評鑑還是以評估績效表現為多，就算是經費贊助或上級單位有時也會將專業發展列為評鑑主要訴求，但在重要性上絕對比不上對績效表現的重視，績效表現還是國內現階段推動評鑑的主要目的。
大多數的評鑑重視績效表現，但評鑑規劃者在確認評鑑目的時還是常會遇到目標曖昧不明的狀況，其中一個原因可能是來自委託人表面的說詞和真正的理由不一致，評鑑目的就不容易明確地釐清，因為這背後可能涉及許多「政治上」的意圖與折衝，雖然不至於如第一章評鑑取向所述是受到操弄的公關授意、政治控制等五類型的「假評鑑」，但無形中會增加評鑑規劃者在確認評鑑目的上的難度。此外，也可因為某一項評鑑目的特別重要，而相對削弱其他次要目的，這些結果都也很容易讓評鑑目的淪為形式上的宣告，反而成為評鑑過程與報告書中最不受到重視的部分。評鑑目的僅具形式的現象很容易發生，國內許多評鑑計畫書中的評鑑目的，就常常被戲稱為「作文」，既無法呈現真實目的，也不足以做為規劃的導引，已喪失確認評鑑目的的意義。
我們以這幾年推動的大學校院師資培育評鑑為例，根據103年大學校院師資培育評鑑辦法中規定，其評鑑目的共有七條，如下所示（財團法人高等教育評鑑中心基金會，2014）：
一、瞭解大學校院師資培育單位（以下簡稱培育單位）之行政運作、教師教學與學生學習之成效，以確保師資培育優質化。
二、引導各校各師資類科之資源整合，提升培育單位辦學品質，獎優汰劣，並建立退輔機制。
三、鼓勵培育單位發展專業特色與內涵，提升多元師資培育之品質，切合專業理念與教育現場之實際需求。
四、協助各培育單位依據教師專業內涵分析辦學績效，建立自我改善機制。
五、瞭解學生所具備教師專業表現及核心能力之程度。
六、促進各校師資職前教育教師在教師專業實務之跨領域研究合作，發揮培育單位的教育研究能量。
七、研擬改進評鑑程序及標準，並提供未來教育行政機關擬定政策之參考。
由於「未通過」的師資培育機構會遭受停止辦理的處分，而「有條件通過」也會面臨核減原核定師資培育名額之百分之三十，故師資培育評鑑被認為是國內所有校務或機構評鑑中「會咬人」的評鑑之一，評鑑目的除了例行性的品質保證需求外，另一個主要目的普遍被認為是少子女化壓力下，削減師資培育機構與師資生名額的方法。因此雖然訂有其他的評鑑目的，像是第三條，「鼓勵培育單位發展專業特色與內涵，…」，可提升不同大學的師資培育特色；或是第六條，「促進各校師資職前教育教師在教師專業實務之跨領域研究合作，…」，可鼓勵大學進行校內、外跨系所或跨領域的交流合作，提升師資生學習視野等目的，就相對的不會受到特別關切與重視。
加上六個評鑑項目中有些評鑑指標被列為「關鍵指標」，代表每一個評鑑項目的關鍵指標都必須核定為通過，該項目才能評定為通過，因此各校為了達成關鍵指標的要求，會盡力提供客觀數據，這就很容易淪入數量與表象的追求，勢必遭受更多則難與批評。例如：以項目四「教師素質及專業表現」來看，關鍵指標之一是「專（兼）任教師員額、聘任方式與學經歷」，學校必須讓專任教師員額達規定數量，就常常發生專任師資員額搬動等表面上的因應之道，主聘先從系所搬至中心，評鑑後再搬回系所。此種效應會讓原有其他第一到第七項立意良善的評鑑目的，因為一個評鑑目的（第二條的退場機制）及一個關鍵指標太過重要，相對受到忽視，雖然不至於說不會達成，但會削弱這些目的的規劃美意，非常可惜。
師資培育評鑑結果的懲罰涉及減招甚至關閉，讓受評單位成員感受到工作權的危機，就其角度來看，懲罰過重讓評鑑目的幾乎就等於關門條款，高度重視形式與實質上的績效表現，受評者的壓力與排斥可想而知，其他有關專業成長的評鑑目的難免被冷落。創意取向重視評鑑的真實性原則，強調的是評鑑能真實反應評鑑目的，並滿足實際需求。評鑑規劃者要先與評鑑委託人充分溝通，接著了解受評者的需求，在評鑑一開始階段就連結起委託人與受評者，尋求並建立最佳共識，才可能讓每個評鑑目的都確實可行，非僅是形式上的作文，也非僅著重某一特定目的。後續各階段的評鑑流程，也會有目標性的規劃，並設計出符合的策略方法。評鑑目的若等於關門或落日條款，會稀釋其他目的的達成程度，任何形式的工作執行都必須能彰顯出評鑑目的真實性，評鑑規劃者能夠依目的規劃出適合的評鑑內容，即為真實性評鑑的首要意義。
如果評鑑者、決策者，與受評者間無法就評鑑目的達成共識，那麼工作規劃的方向就不會明確，增加評鑑規劃的難度，在結果上則幾乎不可能獲得大多數人滿意與接受。如此一來評鑑應該暫停，不適合往下進行，避免因單方堅持與操之過急而產生反效果。
Scriven(1972)為了避免因所訂定的評鑑目標過於狹隘，以及過份重視目標演繹的限制，曾提出「無目標評鑑」(goal-free evaluation)模式，主張評鑑者應刻意避免了解與討論評鑑目標，僅單純的作實際效果的評鑑。當外部評鑑者愈不清楚評鑑目標與規劃，就愈能夠聚焦於現場所發生的一切事物，並針對實際現象去蒐集資訊以發現真實結果。此觀點雖因為不需要了解目標多少會影響結果達成的評估，不過無目標的精神可提醒我們更重視評鑑的真實現象與情境，不因單一目標窄化或混淆實際的效果。Scriven自己也說，無目標評鑑和有明確目標的評鑑可以一起使用，更有創意及開放的推動，可由不同評鑑者分別進行，採混和設計的方式消彌因目標訂定不佳所產生的不明確與限制。
第二節、釐清與界定主要問題
所謂的問題，指的是個體面對特定情境時，無法立即或有效的反應，因此產生了問題(D’Zurilla & Goldfried,1971)。一般對問題的定義可分成兩種型態，第一種是可以有清楚定義(well-defined)的問題，這些問題通常有固定的內容與規則，像是數學解題，可依循既定的公式與思維逐步找出解決的方法；第二種是不能清楚定義(ill-defined)的問題，此些問題不會有固定的思考規則可依循，問題的線索與走向都不甚明確，有賴解題者設法找出解決之道，所以第二種問題就會需要解題者發揮創意以求問題有效解決。Newell & Simon(1972)則更詳細的依問題的結構化程度，將問題分成三種類型，分別是「結構化問題」、「半結構化問題」，以及「無結構化問題」（引自江美惠2005 ），如表4-1。
表4-1
依結構化程度分類的問題類型
結構化問題 半結構化問題 無結構化問題
定義 目的及訊息明確，可採用過去慣用或有固定規則的解決方法。 目的及訊息較不清楚，解題需要思考較多元的策略，並透過修正以符合需求。 目的及訊息模糊不清，解題需要多元及不受限制的策略，問題不具有單一或標準的答案。
特性 1.解決策略通常有一個最佳答案，且可以預測。
2.聚斂性。
3.問題的初始訊息常常是解題的重要部分。 1.解決策略通常不只有一個。
2.聚斂性。
3.解題需要蒐集更多的訊息。 1.解決策略不只一個，且不容易預測。
2.多方面的目標與解決方法。
3.解題需要蒐集眾多的資訊。
資料來源：修改自江美惠(2005)，創造性問題解決教學方案對資優學生創造力及問題解決能力影響之研究，頁29。
問題雖依結構化程度分成三類，不過結構化高與低之間是一種連續性的概念，實際上也並不需要清楚的劃分，因為某些結構化程度高的問題，也有可能依解題的實際情況而有開放性的需求，端視提問者與解題者的需求位置。但不論面對何種類型的問題，在問題解決之初，都必須先釐清問題的重點何在，並將問題界定清楚，以確保接下來問題解決的走向不至於偏離重點。
所以在確認評鑑目的後，評鑑規劃者即可透過評鑑目的來了解方案走向，再由評鑑目的衍生出數個評鑑問題。由評鑑目的演繹出評鑑問題的由上而下邏輯架構圖。在發展評鑑問題時可以參考從5個「W」的角度切入以檢視目的，包括「目的用意是甚麼？」、「如何達成目的？」、「誰是相關人員？」、「達成目的的時機？」、以及「達成目的的情境？」等，由此些問題逐漸釐清評鑑的需求、範圍，及確認評鑑各層面的主要內涵。透過釐清目的並界定評鑑問題，能對所面對的情境有更好的理解，特別是具爭議性及關鍵性的問題。
而為了協助確實釐清評鑑問題，創意取向主張評鑑規劃者應多運用創新的思惟或方式，例如嘗試設計受評者需求及主要問題調查表，在評鑑前提供受評者或互動關係人採匿名的方式填寫。第一列屬於填答者背景說明，第一題主要在了解受評對象的背景與特色，第二題則讓填答者自我檢視與評估問題所在，第三題則請填答者提出他認為應受評的重點。問卷採質性的文字說明，調查題目不用太多，此設計一方面希望能求得填答者較有省思性與較深入的意見，另一方面也讓受評者與互動關係人有機會表達需求與看法，尊重其意見及對評鑑過程的參與，而評鑑者則可獲得更豐富的背景資訊，了解實際問題所在，設計出兼顧多方需求與目的的評鑑規劃。
需求及主要問題調查表可運用於確認評鑑目的與問題，當問題界定清楚後，評鑑者也可同時開始思考問題解決的策略。早在1920年代，Wallas (1926) 就曾經提出問題解決的四個步驟，包括準備期(preparation)，為資料蒐集階段，並將新、舊知識整合；醞釀期(incubation)，即為潛意識的心智活動時期；顯現期(illumination)，發現並提出可行的解決策略，以及最後的驗證期(verification)，將頓悟出的策略付諸實現，並驗證成果。後來經過許多學者的持續研究，也發現問題解決過程幾乎就環繞著準備、界定、構思、醞釀、豁朗、決定、驗證、評估等步驟。從這些內容和程序來看，和創意與創造力的思考歷程非常相近，都需要歷經一段了解與探索，再選擇與驗證結果，故問題解決的歷程其實就是需要創意發想的歷程，創意取向則非常重視問題解決。Osborn(1963)就認為問題解決過程中主要是「觀念創造」(idea-creation)與「觀念評鑑」(idea-evaluation)的交互運用過程（引自劉聰穎2002 ），他提出的問題解決步驟如下；
1.考量問題各方面的特性。
2.選擇可先行解決的子問題。
3.構思並多方蒐集有用的資訊。
4.選擇最適用的資訊。
5.預先思考所有可能的問題解決想法。
6.選擇最適用的問題解決想法
7.想像所有可以採用的驗證方式。
8.選擇最適用的方式以進行驗證。
9.預想所有可能遇到的偶發事件。
10.確定最後的答案。
上述步驟中的第1項是屬於觀念創造，鼓勵多方考量問題的各個面向，第2項則是屬於觀念評鑑，要選擇可先行解決的問題；第3項又是觀念創造，要多方蒐集有用的資訊，第4項則又回到觀念評鑑，要選擇最有效用的資訊。再繼續往下可看出步驟中的1、3、5、7、9項是屬於觀念創造，而第2、4、6、8、10項則屬於觀念評鑑，如此交互運用擴散性與聚斂性思考，發揮創造力，以求問題的最佳解決策略。
第三節、選擇與建立評鑑模式
至於評鑑模式就是評鑑時所採用的取向或形式，當代評鑑模式的發展已在第一章中略有介紹，評鑑者在規劃一個評鑑活動時，可參考較成熟的評鑑模式，擷取其精神或方法，運用至評鑑實務。例如在進行校務評鑑規劃時，我們可以依據CIPP模式的四階段進行規劃，也可選擇認可制(accreditation)做為規劃的參考。若從創意的多元取向原則來看，由於評鑑過程是充滿複雜性與不確定性的應用歷程，常常不會固定的遵循單一評鑑模式的規範，所以評鑑模式在規畫時要思考如何讓評鑑更具彈性，吸納各個模式的優勢，以「複合取向」的概念取代單一模式；或者是以一個取向或模式為主軸去統整其他模式，在實務操作上就是以一個成熟的評鑑模式為核心，再融入評鑑或其他領域的理論，參考實際需求與其他取向的特徵，直接修正成適用的模式。
此外，評鑑模式的選擇也最好能顧及創意取向重視人員參與互動的原則。通常評鑑的執行是由行政機關或委託人委由專業評鑑團隊或評鑑專家來推動，所以評鑑模式的選擇權就會在評鑑團隊的決策者。以目前國內的現況來看，大部分的評鑑決策者不會一個人就逕自決定評鑑模式，通常會透過評鑑團隊或邀請領域專家，採集思廣益的方式討論以發展評鑑模式，以求決策歷程的專業與可信。不過就如同先前所述，評鑑的創意取向不僅重視是專家的集思廣益，其實更強調深度互動與學習的重要。評鑑決策者除了透過專家蒐集對模式的專業建議外，其實可以更主動的詢問其他面向的互動關係人。最主要是因為就算他們不具有評鑑理論與模式的知識，但因為他們都是評鑑的互動關係人，對評鑑都有一定程度的需求與興趣，他們可以根據對評鑑的了解，提出經驗性的看法。如果這些看法具有邏輯性，甚至來自他們自身專業的見解，就能提供決策者更多元而跨域的思考與建議，很可能有助於評鑑模式的修正。再者，從一開始決定評鑑模式時就能擴大與互動關係人的交流，開啟相互學習之餘也能增進彼此互動機會，有利於日後評鑑推動過程中更深度的互動。因此，重視評鑑模式的多元取向，及擴大參與者開放性的互動經驗，對於互動關係人評鑑素養及組織評鑑文化的建立也會有所助益。
我們以臺北市102至106學年度國小校務評鑑為例，實施的原則和內容基本上依循上一輪（96至100學年度）校務評鑑，包括評鑑目的、實施對象、評鑑組織、評鑑委員（含教學訪視教師）、自我評鑑、訪視評鑑的流程，以及追蹤評鑑等，調整的幅度不會太大。其中改變較大者如評鑑指標雖仍維持十個向度，但項目名稱與內容均有調整，例如上一輪的「資訊規劃與執行」向度，本輪已經融入「校園環境與教學設備」等向度中；性別平等教育則放置於「學校領導與行政管理」向度下。此外，自我評鑑則要求學校每年均需進行並保存檔案資料，更強調學校應透過自我評鑑以形成性評鑑隨時自我檢核的精神。
不過其中最大的改變應在評鑑結果之處理方式，前一輪以「認可制」為主要的規劃模式，評鑑結果分成「通過」與「待改善」。現在則依學校辦學績效改採「等第制」，依成績優劣分成「一等」、「二等」、「三等」、「四等」、「五等」，評鑑委員經討論後，依預先規畫好的認可要素（即評鑑結果處理之規準），對受評學校十個向度的表現給予等第判定。並將評鑑各向度的結果與台北市優質學校評選項目產生連結，評鑑向度與評選項目相容且成績均達一等者，直接推薦參與「台北市優質學校評選」複選，做為校務評鑑表現優良學校的獎勵與運用（臺北市政府教育局，2002）。此改變可看出此次評鑑基於認可制的精神，在結果評定上更細分成五個等第，混合了認可制與等第制的設計理念，希望學校不僅是通過辦學品質的基本門檻，還能夠更進一步追求優質卓越，呈現出因教育環境改變與政策的需求，而選擇與建立更適合現階段臺北市國小校務評鑑的規劃模式。
第四節、規劃評鑑設計與流程
評鑑設計與流程指的是評鑑實施過程中各個步驟與工作要項的安排，主要內容大致包括；哪些設計有助於回答評鑑問題、哪些步驟是評鑑過程所必備、怎樣的流程可以順暢地進行評鑑…等等。創意重視產品的獨特性與適當性，因此如果把評鑑設計視為評鑑規劃的初期產品，那麼評鑑設計就必須非常的「功能導向」，設計要有足夠的適當性，以能「解決問題」為最高依歸，透過特定的設計與流程安排，讓評鑑目的與問題能適當地獲得最佳答案。若回顧教育評鑑的發展歷程，一般在評鑑設計上大致可分成量化與質化兩種設計的取向。
一、評鑑設計的取向
(一)量化設計
傳統以來，方案評鑑設計的取向是較偏於量化與科學導向的，因為評鑑具績效考核的功能，對客觀性與可操作性的訴求較高，因此評鑑規劃者慣用實證典範的精神，先設定出目的與預期成果，接著定義並發展與目的結果相關的評鑑標準或指標，再蒐集相關資訊與數據，透過系統而結構化的歷程完成評鑑工作。評鑑規劃者希望能蒐集所有與互動關係人相關的資料，並使用統計技術確認所關切變項間的相關與特徵，最好是透過結構性的實驗假設，讓評鑑結果能有強而有力證據以提升信度與效度。因此不論實驗設計、問卷調查、觀察、訪談等方式，都必須藉由標準化的工具來蒐集評鑑資訊，再將所蒐集到的資訊轉換成一系列有意義的數值，不同的僅是資料被數字化程度上的差異，而最後則期待形成評鑑客觀而公正的結論。
由於量化的設計具有結構性、精確性、客觀性等特質，且透過理論的建立演繹出有系統的測量，因此問卷調查與實驗設計（或者說準實驗設計較為適當）受到方案評鑑者廣泛的應用。不過為了能確實掌握研究對象與歷程，資料蒐集常受限於工具發展的品質，對受評者的現象有時僅是表面的探索，欠缺更深入的了解；而要將複雜多變的實務現況以簡化或標準化的方式調查並呈現，也不是一件容易的工作，如何發掘內隱知識及現象表面下的問題，是評鑑採用量化設計上所面對的最大挑戰。
(二)質化方法
相較於量化設計，在社會科學的研究方法中，質化的研究重視的是自然情境的探究，強調在特定情境脈絡下參與者如何發展價值的建構。質化的設計常採用訪談（團體或一對一進行）與田野觀察，評鑑者可以較詳細的深入了解受評者現況，較鉅細靡遺探討存在的現象與問題，企圖去貼近受評者的實際經驗，以獲得更真實的分析資料。質化研究一開始並不一定需要以理論發展出架構，通常在確定方向與提出問題後，會以歸納式的方法去彙整所蒐集到的意見，經記錄分析後建立初步的結果，若資訊不足或需修正原有問題，則再重複蒐集資訊並分析歸納，當資料經歸納逐漸聚歛後，最後形成理論或通則。
質化研究實施過程中可允許規劃者分析後因新想法產生而修正原有問題，直到問題歸納出結論。因此質化研究重視評鑑者、受評者、互動關係人間與情境交互作用的關係，認為這些互動關係才是評鑑的「真實面」，才能深入問題核心，而非僅是簡化後的表向。
上述說明可簡單做個結論，量化與實驗的方法大多透過理論的建立演繹出有系統的測量；而質化與自然的方法多是在特定情境脈絡下參與者如何歸納與價值建構。因此，一項評鑑工作可能同時包含量化與質化的運用。Patton(1997)就認為評鑑的發展已呈現一個趨勢，會先在探索性的嘗試下從歸納法中找出重要的問題和變項；再運用演繹的假設考驗，確認探索的發現結果；然後再回到歸納分析，以尋找相對抗的假設和非預期或非測量的因素。教育評鑑涉及人為的價值判斷，而判斷的基準在於評鑑者是否能夠蒐集到充沛而真實的資訊。量化與質化設計各有其優缺點與限制，評鑑創意取向的原則強調多元、彈性、真實性，期望評鑑者不必因為遷就單一方式而過於保守，要重視資料的完整性與真實性，能依實際需求兼採質化與量化的混和設計，就是最適合評鑑設計。
二、設計與流程的彈性
由於評鑑現場實務上的需要，創意取向評鑑傾向採混和設計的方法進行，而在評鑑步驟與流程安排上，也應盡量保留修改的彈性。一般而言，為了讓評鑑工作能順利進行，在評鑑規劃階段一定會先對整個步驟與流程有預設的藍圖，從目的、問題焦點、參與人員、抽樣策略、資料蒐集方式、時程安排、完成報告，到申覆追蹤，會清楚的規畫出階段性的流程，以方便評鑑人員及互動關係人有所依循。不過創意取向重視評鑑真實性、情境導向，與符應需求動機，所以很可能因為開始運作及實地訪視後，這些原則會使得原先既定的設計、步驟與流程，產生窒礙或不適當。如此一來，就必須適度修正原有設計與流程，使之符合評鑑實際需要，評鑑者對評鑑方案的變化與調整必須具有較高的容忍度，對評鑑專業的掌握度也要高。亦即，欲讓設計與流程實用而具有彈性，有賴於開放、對不明情況較高的容忍度，以及可信賴的專業能力與分析態度。不過，若評鑑的主要目的在評估績效表現，評鑑結果需要高度的客觀性與公正性，那麼已規範好的評鑑設計與流程就不適合有太大的變動。因為對組織或方案績效結果的判定，程序上的完備與正義非常重要，否則無法獲得公眾的信賴。評鑑設計與流程的彈性還是必須在評鑑目的與實用性上產生妥協，才是創意取向的本意。
表4-3是評鑑設計時可運用的檢核工具，可協助評鑑規劃時更仔細的預先思考，列出所有必須考慮的選項，以利實際執行時需彈性修正時的參考。
表4-3
評鑑設計與流程的檢核重點
檢核重點 需考慮的選項
評鑑的主要目的 績效責任、專業發展、知識生產、混和目的
評鑑的對象 組織、學校、個人、方案、單一事件、混和對象
評鑑委員 評鑑/訪視委員的資格、專業程度、人數、研習、行前會議
評鑑資料蒐集方式 量化資料、質化資料、混合型資料
資料分析取向或方式 量化方式（實驗設計、問卷等）、演繹、
質化方式（訪談、現場觀察等）、歸納、混和設計
評鑑階段 評鑑階段與其順序、各階段內容及安排、自我評鑑實施方式、訪視評鑑實施方式
評鑑期程 開始與結束期程、預先準備時間、評鑑有效期間、固定或不定時實施
評鑑資源 人力、物力、經費、時間
評鑑倫理 委員專業倫理、訪談知會與同意、保密與保護程度
實地訪評 時間調查、參與人員、工作安排、流程合理性
其他評鑑實務 政治介入、參與者意見、說明會辦理、後設評鑑
資料來源：研究者自繪
2024專利防護中