1、背景與問題
學科進步取決于兩個交互的支柱:理論改進和方法改進。現有針對理論貢獻的指導已較為豐富,但很少有針對方法論貢獻的說明。希望提供方法論貢獻的學者,以及負責評估它的編輯和審稿人,不得不依賴臨時的、模糊的(“I know it when I see it”)以及隨意武斷的指導。缺乏方法論貢獻的指導可能會阻礙知識的累積發展,并在導致已發表文章中的質量差異。
方法論貢獻的重要性在于,它們使學者能夠回答有關個體、群體和組織如何表現的新問題,并以更嚴格的方式重新審視現有問題。例如,內生性問題的識別和解決重塑了研究設計和分析實踐(Bettis、Gambardella、Helfat 和 Mitchell,2014;Shaver,2021)。元分析結構方程模型 (MASEM) 的傳播促進了對在單獨初級研究中無法進行的邊界條件檢驗,以及整合替代路徑模型的大量證據(Bergh 等人,2016)。作為作者、審稿人和編輯,我們五個人(本文作者)共同與'Journal of Management’期刊合作,旨在解決以下問題:在JOM等期刊中,什么構成了方法論貢獻?
本文提供了一個多方面的視角。首先,本文確定了四種類型的方法論貢獻。其次,因為進步取決于方法的成熟度,本文提出了一個生命周期模型來說明在方法開發的整個范圍內可能做出的各種貢獻。最后,本文確定了阻礙發表的常見陷阱,并提供避免它們的建議。總的來說,本文的目的是為開發適用于宏觀和微觀研究以及定量和定性研究的方法論進展提供方向。
2、方法論貢獻的類型
本文提供了一種類型學來描述可能的方法論貢獻。根據經驗,這種類型學基于兩個重要維度:該貢獻對當前理論和實踐的改變程度(minor vs. major)以及該貢獻對潛在受眾的有用性(limited vs. large)。如圖1所示,二者結合的矩陣產生了四個獨特類別。在這兩個維度的評價都很差的論文不太可能通過評審過程。這鼓勵作者思考在經過額外的細化后,他們方法論導向的文章在圖1中哪些地方最適合。
(1)右上象限表示一種重大方法論貢獻,即針對廣泛受眾并做出了較大改變。例如,Gioia、Corley 和 Hamilton(2013)關于開展和報告歸納研究的文章。這篇文章為對組織進行嚴格定性研究的不同方法提供全面的建議,極大推進了該領域。谷歌學術引用超過 7,500 次,證明該文的廣泛受眾和改變程度。
(2)右下象限表示一種漸進的方法論貢獻,即針對廣泛受眾但做出相對適度的改變。例如,Aguinis、Villamor 和 Ramani (2021) 關于使用 Amazon 的 Mechanical Turk (MTurk) 進行在線數據收集的文章。該文回顧了 MTurk 的優勢和挑戰,并就如何使用 MTurk 來源的數據規劃、實施和報告研究結果提供了最佳實踐建議。雖然該文沒有修改 MTurk 的基本應用(改變程度一般),但鑒于使用 MTurk 來源數據的研究數量不斷增加,該文服務的受眾群體較為廣泛。
(3)左上象限表示一種適度的方法論貢獻,其貢獻并不在它本身,而是伴隨著實質性的理論貢獻。例如,Bergh 等人 (2016) 發表在SMJ的文章。因為本文的作者團隊中包含該文的3名作者,所以本文可以提供一些關于論文發表過程的“內部”見解;我們相信這有助于闡明適度方法論貢獻的本質。該論文的第一版是使用一種新興的元分析方法與結構方程模型 (MASEM) 相結合,對'戰略領導-績效’關系進行測試。這一版本被拒,因為審稿人和編輯認為理論貢獻不重要。他們建議將重點放在當時對戰略管理學者來說很新穎的MASEM 方法,并使用'戰略領導-績效’數據來展示該技術。作者重寫了這篇論文,描述應該如何使用該技術以及它可以揭示哪些獨特的見解,首先介紹了使用 MASEM 的入門知識,然后使用兩個數據集進行了演示——一個側重于戰略領導,另一個側重于戰略資源。因為新的審稿人認為這篇論文涉及的內容太多,作者刪除了第二個演示,重點關注如何使用 MASEM 以及為戰略領導提供的見解。最終,該論文基于這些雙重貢獻被接受。
(4)左下象限表示一種較小的方法論貢獻,針對較少群體的研究帶來相對較小的變化。盡管這樣的貢獻仍然有意義,但僅提供這種貢獻的論文不太可能被頂級期刊接受。這種貢獻可以被稱之為“research lagniappe”(附贈的但不重要的東西,比如飯后贈送的甜點)。在研究領域內,Upson、Ketchen、Connelly 和 Ranft (2012)的AMJ文章在其主要內容的基礎上提供了一些額外的方法貢獻(即,AMJ的使命所要求的理論貢獻)。該研究從管理領域之外引進了一種適合少數情況的分析技術。由于數據中的公司有三個選擇——保持市場、發展市場或放棄市場——作者使用了競爭風險回歸(competing risks regression)。正如Upson等人(2012: 102) 指出,“這種分析方法已被用于其他領域,例如社會學和醫學。但是,據我們所知,尚未用于管理領域。”一個表示方法論貢獻是' lagniappe’ 的指標是僅在討論部分(不是引言)中闡述的貢獻。
更一般地說,作者、審稿人和編輯在開發和評估期刊投稿時應仔細考慮兩個維度——潛在受眾和變化程度。該建議適用于僅做出方法論貢獻的研究,或將方法論貢獻作為其研究貢獻之一的實證研究。關于前者,雖然'home runs’(吸引大量受眾并促進重大變革的貢獻)是可取的,但二者的融合可能相對較少。當提供更有限的貢獻時(擁有較少受眾或提供較少創新),作者和把關者(編輯和審稿人)可能無法一直認同該貢獻是否提供了有意義的“增值”。這種潛在沖突指出了友好審稿人的重要性,他們可以幫助在提交之前清楚地框定和強調論文的增值。在不關注研究方法的期刊(例如JOM)上評審方法性論文進行的審稿人,不可能都是方法專家。因此,作者必須盡量減少行話(jargon),提供清晰的定義,以及仔細解釋想法。
方法論的貢獻可以服務于實證研究中的多個目標:為了解決實證挑戰而引入的方法論進步,例如使用模擬來估計大量文獻中的p-hacking程度(Goldfarb 和 King,2016),或者引入一種新的分析技術(例如,Certo、Withers 和 Semadeni,2017)。無論如何,實證研究中的方法論貢獻應當與理論貢獻互補,而不能替代理論貢獻。換句話說,方法論貢獻是推動知識向前發展的必要但不充分條件。審稿人和編輯很少會僅僅因為一篇文章有方法論進步而原諒其實質性貢獻的薄弱。撰寫此類論文的作者可能明智地“發揮自己的優勢”,將論文重點放在其方法論貢獻上,并將所研究的實質性關系作為理論和知識的額外延伸。例如,Bergh (1995) 報告了重復測量分析應用中的問題,然后展示了解決這些問題如何導致對多樣化-績效關系的新經驗和理論見解,即實證貢獻與理論貢獻相結合。本文的后續部分討論這些場景的一些常見問題和解決方案。
3、方法論貢獻的生命周期模型
一旦某一方法論開始流行,對這一方法可能做出的貢獻就會越來越少。這說明,需要從生命周期的角度來看待方法論貢獻,從而理解如何、為何以及何時評估工作重要性。生命周期概念通常包含從出生到死亡的過程,但階段數量和每個階段的內容各不相同(Rink & Swan,1979)。本文提出了一個四階段的生命周期。我們依靠兩個例子。首先,我們說明了圍繞必要條件分析 (NCA)的各種貢獻,該方法最近被引入并越來越多地用于管理研究[Dul, Hak, Goertz, and Voss’s (2010); Dul’s (2016b); and Dul, van der Laan, and Kuik’s (2020)]。其次,我們將重點介紹介紹各種方法的文章,以說明特定生命周期階段中的示例工作。
階段一:初始
初始階段(Inception)的特點是方法論的萌芽。這一階段包括四種獨特的貢獻類型。
(1)創造(Creation),包括制定方法、確定基本假設、證明有效性以及確定如何將其應用于組織情境。例如,Dul 等人 (2010) 的文章確定了他們制定的“必要條件假設”(即“ X對Y是必要的”)在運營管理文獻中的普遍性。雖然這些假設以各種措辭和形式存在,但作者在單一的NCA標簽下整合了許多不同假設,并開發了測試技術。
(2)轉移(Transfer),引入一種方法論至新受眾。轉移的主要貢獻在于解釋方法并重新驗證技術(因為新受眾的期望和關注點可能不同)。它還應該展示這種方法相對于當前實踐的優勢,例如識別實用性好處(統計簡約性)、現在可以回答的尚未解決的研究問題,以及可以利用的未使用數據源。例如,Dul (2016b) 的文章說明了 NCA 與組織研究的相關性,并將該方法擴展為包括具有單變量和多變量的離散和連續條件。未知方法的擴展及其可用性(包括插圖、用戶推薦和軟件工具)使該文成為做出轉移貢獻的一個黃金標準。Shaver (1998) 強調內生性對解釋回歸系數構成威脅,說明了轉移如何改變方法論格局。他描述了自變量的誤差項通常是非隨機的并且與分析模型的誤差項相關。然后,他演示了如何通過使用 Heckman (1979) 的兩階段計量經濟學技術來糾正這種影響。
(3)精煉和擴展(Refinement and extension)涉及對現有方法的改進。為了獲得有意義的貢獻,精煉和擴展提出了方法改良,證明了對新方法的需求,并列出了它的優點和缺點。全面的精煉對當前實踐的改進進行了量化,并展示了對結論的重大變化。例如,因為以前沒有辦法在零假設方法下定量測試 NCA,Dul 等人(2020) 提出了一種測試零空間顯著性的技術,作為 NCA 分析的一部分。該文通過擴展 NCA 的可用性為該領域做出了貢獻。另一個例子是 Spector、Rosen、Richardson、Williams 和 Johnson (2017) 在共同方法方差 (CMV) 方面的工作。雖然 CMV 長期以來一直被認為是一個問題,但作者通過識別共享數據源與非共享數據源的獨特影響來重新概念化該問題。與高質量的細化和擴展貢獻一致,他們提出了兩個經驗示例,并提供了有關如何解決 CMV 的指導。
(4)重新評估(reevaluation)重新審視已有方法中的既定元素(基本邏輯、有效性或核心假設)來做出貢獻。Sorjonen, Alex, and Melin (2017); Sorjonen and Melin (2019); and Dul, van der Laan, Kuik, and Karwowski (2019)之間的辯論提供了一個示例。Sorjonen 等人(2017)利用一系列模擬質疑 NCA結論的有效性,因為預測變量、樣本量和標準誤差的偏度可能會產生模擬必要條件的結果。Dul 等人(2019)認為模擬存在缺陷并且結果被誤解,批評這些擔憂是沒有根據的。Sorjonen 和 Melin (2019) 的回應重新定義了這個問題,他們承認,不僅NCA可能會違反這些假設,而且許多顯著性測試也可能會違反這些假設。本文在這里不是確定任何一方的論點的合理性,而是指出這種交流的貢獻,因為它激發了人們對一種方法的優點的思考。
階段二:精煉和比較
第2階段的特點是探索方法的相對優勢和局限性,它包括兩種類型的貢獻。
一是確定新方法適用的邊界條件。當邊界條件以前未被識別并因此導致結論存在缺陷時,此類研究的貢獻最大。回到NCA示例,Thiem (2021) 提供了兩個邊界條件:NCA 無法建立因果關系,并無法識別導致結果的多個自變量的構型。Dul、Vis 和 Goertz (2021) 駁斥了這兩者,認為 NCA 的目的不是確定因果關系的充分性(不是確定結果實現的水平),而是確定阻止結果實現的水平,并且 NCA 無法評估多變量構型是該方法的已知限制。
第二種貢獻是比較(comparisons),即考慮與替代方法相關的邊界條件。最簡單的比較考慮一整套替代方法的相對優點和缺點,提供了很小的貢獻。更復雜的比較解釋了替代方法產生不同結果的情況并為其應用提供指導。NCA 的方法論工作包括三次比較。首先,針對不同受眾(商業與社會學學者)的兩篇類似文章比較了 NCA 與模糊集定性比較分析(fsQCA)的適用情況(Dul,2016a;Vis & Dul,2018)。這兩篇文章通過介紹和對比多種方法及其優缺點、提出選擇標準和說明應用,為該領域做出了貢獻。Richter、Schubring、Hauff、Ringle 和 Sarstedt (2020) 的第三次 NCA 比較展示了如何結合使用 NCA 和偏最小二乘結構方程模型 (PLS-SEM)。該文通過比較和組合方法提供了獨特的貢獻,展示了如何將 NCA(側重于必要條件)與 PLS-SEM(側重于充分性)結合使用,以創建一種以前無法識別的因果關系評估方法。Hill等人(2021) 比較微觀和宏觀學者用來解決內生性的替代數據和研究設計方法,而 Bliese、Schepker、Essman 和 Ployhart (2020) 研究了如何在微觀和宏觀層面在面板數據中解決內生性(另見 Certo等人,2017)。
階段三:知識鞏固與傳播
這一階段的貢獻的特點是回顧和整合研究趨勢并提供最先進的實踐。在缺乏方法指導時,用戶指南(user guide)提供了一種貢獻。然而,僅作為用戶指南的手稿不太可能提供充足的貢獻發表在頂級期刊上。例如,Dul (2019) 的 NCA 用戶指南已作為一本書出版。
隨時間的推移,新方法的應用方式會出現細微差別。如果不加以約束,應用的多樣性會導致研究中出現不可比較的(incomparable)結果。提供'最佳實踐’的論文通過從現有資源中識別相互矛盾的指導、展示不同選擇對結果的影響以及為確定“最佳”實踐提供證據來做出方法論貢獻。例子包括 Bergh 和 Holbein (1997) 對如何使用縱向分析的評估,以及通過實證論證提出更好的方法;Shook、Ketchen、Hult 和 Kacmar (2004) 對在戰略管理研究中使用結構方程模型 (SEM) 的評估;以及 Duriau、Reger 和 Pfarrer (2007) 對內容分析的評論。最近的一個例子是 Gonzalez-Mulé 和 Aguinis (2018) 對 63 種元回歸應用的評估。
階段四:置換(Displacement)
在生命周期的最后階段,反駁(refutation)預示著方法論的失敗。對這些論文的建議通常是“不使用這種方法是明智的,但如果你必須...... . . 。” 在實踐中,許多反駁出現在方法開發過程(在第 1 階段重新評估)、在方法比較過程(第 2 階段)或作為最佳實踐文章的一部分(第 3 階段)。例如,Ketchen 和 Shook (1996) 對聚類分析的評估結合了重新評估、比較和最佳實踐的要素。
一個可能更具破壞性的反駁是 Bagozzi、Yi 和 Phillips (1991) 引入 SEM 來構建驗證方法。他們使用驗證性因子分析來檢查聚合效度和區分效度,這顯著改善了自 1950 年代以來一直是黃金標準的多特征多方法 (MTMM) 方法。他們展示了 SEM 方法相對于 MTMM 技術的優勢,例如同時量化多個構念之間的測量誤差。
最后一個場景,替代(replacement)是方法生命周期中的隱形階段,表現為一種方法不再出現在文獻中。例如,'Canonical correlations’曾經在組織研究中很常見,但現在除了作為補充分析外很少出現。同樣,隨著計算機變得越來越普及,使用相關性檢驗假設讓位于更好的技術,例如回歸和因子或多變量方差分析。
總體而言,認識到一種方法從開始到死亡所經歷的生命階段,可以讓與其相關的各種可能的貢獻得到贊賞、追求和實現。接下來討論作者在尋求方法論貢獻時遇到的一些常見陷阱以及克服這些陷阱的一些建議。
4、陷阱和建議
考慮一下對提出的方法論貢獻的有希望的作者的反饋:盡管您的數據源具有創新性,并且手稿本身寫得很好,但您的論文中還沒有解決一個基本問題:您的方法創新如何提供改善管理學研究的潛力?迄今為止,您所討論的工具似乎在管理學者中的使用有限,并且沒有明確的證據表明與該工具相關的問題——例如,以前從該工具得出的建議是如何有偏見或不充分的?此外,很難評估您的改進的相對優點。因此,雖然您的想法可能很有趣,但全面評估它們所需的更改范圍超出了修訂中可以完成的范圍。
收到這種類型的反饋是痛苦的。雖然沒有什么安慰,但提供這種反饋對編輯來說也是痛苦的,尤其是當他們經常寫類似的信件時。在這里,我們詳細介紹了一些我們觀察到的以及我們自己犯下的常見錯誤,存在多個陷阱會大大增加被拒稿的可能性。
陷阱一:框架制定(Framing)
由于手稿的定位是文章的基礎,因此框架制定中的主要缺陷通常會導致拒稿。作者應該清楚地定義他們的主題,指定其范圍,并證明其對大量學者的重要性。作者需要明確證明論文的相關性和重要性。例如,Boyd、Haynes、Hitt、Bergh 和 Ketchen (2012: 280)對 1980 年至 2009 年間發表的 1,173 篇戰略管理實證文章進行了內容分析,以確定權變觀點的使用、廢棄和誤用情況。這表明他們的見解是從幾十年來發表的大量文章中提煉出來的。對于新興主題,作者應該證明為什么新的工具可能會成為主流。對于更成熟的主題,我們建議采用“問題化(problematization)”而不是“缺口發現(gap spotting)”方法,作者在現有方法應用中識別不利于研究結果的局限性。例如,Bergh (1993, 1995)展示了使用縱向數據的研究存在的兩個問題:第一,當變化也可以被理論化時,縱向概念模型具有靜態假設;第二,縱向分析測試匯總數據并假設隨著時間的推移的非相關誤差,導致不充分的解釋和有偏見的結果。記錄、描述和解決這些問題成為主要貢獻。
第一個框架制定問題是作者提供了一個推測性的理論基礎,而不是記錄現有方法中問題的性質和程度。Ketchen 和 Shook (1996: 442) 對一項有爭議的技術的評估部分記錄了它的問題,并指出一些學者建議頻繁使用聚類分析是戰略管理的尷尬。例如,當 Meyer (1991) 要求杰出的研究人員評估該領域時,聚類分析被挑出來作為一種“方法論恥辱”。此外,有人聲稱“這種方法中固有的實證主義永遠烙印在我們集體的背后”(Meyer,1991:826)。而聚類分析經常提供模棱兩可的結果,助長了這一批評。在這種情況下,一位審稿人建議將相關段落從討論部分移至引言,以更好地表達待解決問題的重要性。
第二個框架制定問題是作者對現有方法的優缺點進行有偏見或不完整的比較。在最近提交給JOM的一篇文章中,作者重點關注了傳統方法的潛在弱點,并詳細闡述了新方法的優勢。通過審查過程,作者最終將他們的論文從“我們的方法比他們的更好”重新定義為'引入和評估新方法'。這種重新定位包括確定新方法的優勢和劣勢,并闡明它何時可能(不可能)替代傳統方法。
第三個框架制定問題是“想象的孤島(imaginary silo)”,即使用一種在管理研究之外領域的技術,同時夸大了該領域的遙遠性。考慮到學科之間交叉引用的普遍性,管理學者可以隨時使用任何商業學科中使用的大多數方法(Biehl、Kim 和 Wade,2006)。此外,存在于商業領域之外的方法并代表其具有獨特性。宏觀和微觀研究人員都借鑒了經濟學、社會學和心理學的工作和方法,以及看似遙遠的醫學、生物學和物理學領域的方法。總體而言,作者需要證明該方法論與管理學者相關,但目前仍然停留在某一遙遠學科領域中。
陷阱二:執行(Execution)
第二類陷進是執行陷阱,即作者描述但不檢驗進展,或檢驗進展但不將其結果與現有方法進行比較。在第一種情況下,作者應該增加實證檢驗以及和現有方法的比較。沒有比較的論文很少能在審查過程中幸存下來。其次,作者應證明新方法的優越性,例如對理論發展的更好見解和改進的解釋力,并應指定特定工具相關性的邊界條件。例如,Certo等人(2017)測試了綜合的混合方差檢驗方法(hybrid mixed variance tests),該方法區分面板數據集中的公司間和公司內效應。他們指出,測試縱向數據的典型做法是關注企業間的差異(即,企業間效應),匯集數據,并包括對企業差異隨時間變化的固定效應控制。這樣一來,學者們就無法檢驗公司內部變化(Bergh,1995)。他們使用之前發表的一篇文章來說明企業固定效應和“混合”方法是如何得出不同的結論的,以及綜合的混合方差檢驗是如何改善理論發展的。
陷阱三:增值(Value Added)
最后一類陷阱與本文提出的解決方案所提供的增值有關。該解決方案應改進現有方法并改變假設關系的結論。它也應該是可用的,即方法的進步需要有被目標受眾采用的合理可能性。作者應提供有關如何使用該方法的針對性和具體的分步建議,以增加使用該方法的可能性。如果可能,他們應該就如何獲取必要的組件(例如,特定類型的數據或工具)提供指導。例如,Podsakoff、MacKenzie 和 Podsakoff(2016)說明了如何通過清晰且易于理解的四個階段過程來開發概念定義。在每個階段,作者就如何進行和實施這一過程提出了具體建議。
調查記者Bob Woodward 曾經觀察到“新聞業的核心困境是你不知道你的無知” 。試圖為管理研究做出方法論貢獻,尤其是在JOM等大型期刊中,創造了一個涉及“unknown unknown”的平行困境。像其他人一樣,我們發現自己處于一個困難的境地,渴望做出方法論貢獻,但不確定究竟是什么構成了一個“方法論貢獻”,以及編輯和審稿人期望看到的方法論貢獻是什么。我們今天仍在為此苦苦掙扎——沒有簡單的答案。但我們希望,通過利用我們作為作者、審稿人和編輯的經驗,本文提供的見解和想法將幫助讀者改進他們的方法論工作,最大限度地提高在一流期刊上被接受的機會,幫助積累知識,并在手稿開發和評估過程中提供更多的一致性和客觀性。
Bergh, D. D., Boyd, B. K., Byron, K., Gove, S., & Ketchen, D. J. 2022. What Constitutes a Methodological Contribution? Journal of Management, forthcoming