Conventions of Quality Criteria of Empirical Social Research
DOI:
https://doi.org/10.17169/fqs-24.3.3994Keywords:
conventions, empirical social research, methodology disputes in German sociology, orders of worth, quality criteriaAbstract
In this article, I address the research question "which are the conventions embedded in quality criteria of empirical social research?" A deductive qualitative content analysis has been conducted of two encyclopedia articles on qualitative (i.e., non-standardized) and quantitative (i.e., standardized) quality criteria, and the suggestions for overarching quality criteria for qualitative empirical research by STRÜBING, HIRSCHAUER, AYAß, KRÄHNKE und SCHEFFER (2018). For the deductive qualitative content analysis, I extracted categories from the ideal type orders of worth framework by BOLTANSKI and THÉVENOT (2014 [1991). From the systematic comparison, I extracted ten conventions of empirical social research, which I organized into three groups: the cognitive convention of social science engineering (mechanical convention), cognitive-social conventions guiding the research process (appropriateness, including intersubjective comprehensibility, discovery, and iteration and distancing conventions), and socio-cognitive conventions addressing the role of empirical social researchers (black-out researchers, mandarin/master, expert/specialist, research-lyrics, popularity, and methods concept conventions). Changing from context of discovery to context of application, the nine conventions were used to analyze the suggested quality criteria for analytical sociology by OTTE et al. (2023). At the end of the article, I argue for establishing a deep understanding of quality criteria for empirical social research.
Downloads
References
Adorno, Theodor W.; Dahrendorf, Ralf; Pilot, Harald; Albert, Hans; Habermas, Jürgen & Popper, Karl R. (1993 [1969]). Der Positivismusstreit in der deutschen Soziologie. München: dtv.
Batifoulier, Philipp; Domin, Jean-Paul & Rauly, Amadine (2021). Erosion of solidarity in France and welfare conventions. Historical Social Research, 46(1), 35-58, https://doi.org/10.12759/hsr.46.2021.1.35-58 [Datum des Zugriffs: 17. Mai 2023].
Baur, Nina & Knoblauch, Hubert (2018). Die Interpretativität der Quantitativen. Soziologie, 47(4), 439-461.
Becher, Toni & Trowler, Paul R. (2001 [1989]). Academic tribes and territories. Intellectual enquiry and the culture of disciplines (2. Aufl.). Buckingham: Open University Press.
Blokker, Paul (2010). Pragmatic sociology: Theoretical evolvement and empirical application. European Journal of Social Theory, 14(3), 251-261.
Blokker, Paul & Brighenti, Andrea (2011). An interview with Laurent Thévenot: On engagement, critique, commonality, and power. European Journal of Social Theory, 14(2), 383-400.
Bohnsack, Ralf (2005). Standards nicht-standardisierter Forschung in den Erziehungs- und Sozialwissenschaften. Zeitschrift für Erziehungswissenschaft, 4, 63-81.
Boltanski, Luc (2012 [2009]). On critique. London: Polity.
Boltanski, Luc & Chiapello, Eve (2006 [1999]). Der neue Geist des Kapitalismus. Konstanz: UVK.
Boltanski, Luc & Thévenot, Laurent (1999). The sociology of the critical capacity. European Journal of Social Theory, 2(3), 359-377.
Boltanski, Luc & Thévenot, Laurent (2000). The reality of moral expectations: A sociology of situated judgement. Philosophical Explorations, 3(3), 208-231.
Boltanski, Luc & Thévenot, Laurent (2014 [1991]). Über die Rechtfertigung: eine Soziologie der kritischen Urteilskraft. Hamburg: Hamburger Edition.
Bourdieu, Pierre (1975). The specificity of the scientific field and the social conditions of the progress of reason. Social Science Information, 14(6), 19-47.
Breuer, Franz & Reichertz, Jo (2001). Wissenschafts-Kriterien: Eine Moderation. Forum Qualitative Sozialforschung / Forum: Qualitative Social Research, 2(3), Art. 24, http://dx.doi.org/10.17169/fqs-2.3.919 [Datum des Zugriffs: 17. Mai 2023].
Burzan, Nicole (2016). Methodenplurale Forschung: Chancen und Probleme von Mixed Methods. Weinheim: Beltz.
Chiapello, Eve & Knoll, Lisa (2020). The welfare conventions approach: A comparative perspective on social impact bonds. Journal of Comparative Policy Analysis: Research and Practice, 22(2), 100-115.
Diaz-Bone, Rainer (2011). The methodological standpoint of the "économie des conventions". Historical Social Research, 36(4), 43-63, https://doi.org/10.12759/hsr.36.2011.4.43-63 [Datum des Zugriffs: 17. Mai 2023].
Diaz-Bone, Rainer (2015). Gütekriterien der quantitativen Sozialforschung. In Rainer Diaz-Bone & Christoph Weischer (Hrsg.), Methoden-Lexikon für die Sozialwissenschaften (S.169). Wiesbaden: Springer VS.
Diaz-Bone, Rainer (2018 [2015]). Die "Economie des conventions" – Grundlagen und Entwicklungen der neuen französischen Wirtschaftssoziologie (2. Aufl.). Wiesbaden: Springer VS.
Diaz-Bone, Rainer (2019 [2014]). Formen des Schließens und Erklärens. In Nina Baur & Jörg Blasius (Hrsg.), Handbuch Methoden der empirischen Sozialforschung (S.49-66). Wiesbaden: Springer VS.
Diekmann, Andreas (2017 [1995]). Empirische Sozialforschung: Grundlagen, Methoden (11. Auflage). Reinbek: Rowohlt.
Ebbinghaus, Bernhard (2005). When less is more: Selection problems in large-N and small-N cross-national comparison. International Sociology, 20, 133-152.
Eisewicht, Paul & Grenz, Thilo (2018). Die (Un)Möglichkeit allgemeiner Gütekriterien in der Qualitativen Forschung – Replik auf den Diskussionsanstoß zu "Gütekriterien qualitativer Forschung" von Jörg Strübing, Stefan Hirschauer, Ruth Ayaß, Uwe Krähnke und Thomas Scheffer. Zeitschrift für Soziologie, 47(5), 364-373.
Feyerabend, Paul (1980 [1976]). Erkenntnis für freie Menschen. Frankfurt/M.: Suhrkamp.
Fleck, Ludwig (2019 [1935]). Entstehung und Entwicklung einer wissenschaftlichen Tatsache: Einführung in die Lehre vom Denkstil und Denkkollektiv. Frankfurt/M.: Suhrkamp.
Flick, Uwe (2019 [2014]). Gütekriterien qualitativer Sozialforschung. In Nina Baur & Jörg Blasius (Hrsg.), Handbuch Methoden der empirischen Sozialforschung (S.473-488). Wiesbaden: Springer VS.
Fourcade, Marion (2011). Cents and sensibility: Economic valuation and the nature of "nature". American Journal of Sociology, 116(6), 1721-1777.
Frankfurt, Harry (1958). Peirce’s notion of abduction. Journal of Philosophy, 55, 593-596.
Gadenne, Volker (2004). Empirische Forschung und normative Wissenschaftstheorie. Was bleibt von der Methodologie des kritischen Rationalismus?. Kölner Zeitschrift für Soziologie und Sozialpsychologie, 44 (Sonderheft), 33-50.
Geimer, Alexander & Diaz-Bone, Rainer (2015). Gütekriterien der qualitativen Sozialforschung. In Rainer Diaz-Bone & Christoph Weischer (Hrsg.), Methoden-Lexikon für die Sozialwissenschaften (S.168-169). Wiesbaden: Springer VS.
Gingras, Yves (2021). "Science" has always been evaluated …and will always be. Social Science Information, 60(3), 303-307.
Götze, Nicolai & Schneijderberg, Christian (2022). Metrical valorization of performance (MeVoP): The funding-induced vertical stratification and the construction of post-Humboldtian research-teaching nexus in German higher education institutions. In Futao Huang, Timo Aarrevaara & Ulrich Teichler (Hrsg.), Teaching and research in the knowledge society (S. 53-76). Doordrecht: Springer.
Graneheim, Ulla H.; Lindgren, Britt-Marie & Lundman, Berit (2017). Methodological challenges in qualitative content analysis: A discussion paper. Nurse Education Today, 56, 29-34.
Guetzkow, Joshua; Lamont, Michele & Mallard, Gregoire (2004). What is originality in the humanities and the social sciences?. American Sociological Review, 69(2), 190-212.
Habermas, Jürgen (1971). The intellectual and social background of the German university crisis. Minerva, 9, 422-428.
Heinich, Natalie (2020a). Towards an axiological sociology. Cultural Sociology, 14(3), 308-321.
Heinich, Natalie (2020b). Ten proposals on values. Cultural Sociology, 14(3), 213-232.
Hirschauer, Stefan (2004). Peer Review Verfahren auf dem Prüfstand. Zum Soziologiedefizit der Wissenschaftsevaluation. Zeitschrift für Soziologie, 33(1), 62-83.
Hirschauer, Stefan; Strübing, Jörg; Ayaß, Ruth; Krähnke, Uwe & Scheffer, Thomas (2019). Von der Notwendigkeit ansatzübergreifender Gütekriterien. Eine Replik auf Paul Eisewicht und Tilo Grenz. Zeitschrift für Soziologie, 48(1), 92-95.
Honneth, Axel (2010). Dissolutions of the social: On the social theory of Luc Boltanski and Laurent Thévenot. Constellations, 17(3), 376-389.
Hussy, Walter; Schreier, Margrit & Echterhoff, Gerald (2020 [2009]). Forschungsmethoden in Psychologie und Sozialwissenschaften für Bachelor (3. Aufl.). Wiesbaden: Springer VS.
Jacobs, Jerry A. (2014). In defense of disciplines. Interdisciplinarity and specialization in the research university. Chicago, IL: University of Chicago Press.
Kelle, Udo (2008). Die Integration qualitativer und quantitativer Methoden in der empirischen Sozialforschung. Theoretische Grundlagen und methodologische Konzepte. Wiesbaden: Springer VS.
Kelle, Udo (2018). Datenerhebung in der quantitativen Forschung. In Leila Akremi, Nina Baur, Hubert Knoblauch & Boris Traue (Hrsg.), Handbuch Interpretativ forschen (S.285-305). Weinheim: Beltz Juventa.
King, Gary; Keohane, Robert O. & Verba, Sidney (1994). Designing social inquiry. Scientific inference in qualitative research. Princeton, NJ: Princeton University Press.
Knoblauch, Hubert; Baur, Nina; Traue, Boris & Akremi, Leila (2018). Was heißt "Interpretativ forschen"?. In Leila Akremi, Nina Baur, Hubert Knoblauch & Boris Traue (Hrsg.), Handbuch Interpretativ forschen (S.9-36). Weinheim: Beltz.
Knorr Cetina, Karin (2002 [1999]). Die Fabrikation von Erkenntnis: Zur Anthropologie der Naturwissenschaft. Frankfurt/M.: Suhrkamp.
Krämer, Walter (2004). Statistik: Vom Geburtshelfer zum Bremser der Erkenntnis in den Sozialwissenschaften?. Kölner Zeitschrift für Soziologie und Sozialpsychologie, 44 (Sonderheft), 51-60.
Krebs, Dagmar & Menold, Natalja (2019 [2014]). Gütekriterien quantitativer Sozialforschung. In Nina Baur & Jörg Blasius (Hrsg.), Handbuch Methoden der empirischen Sozialforschung (S.489-504). Wiesbaden: Springer VS.
Kuhn, Thomas S. (1976 [1962]). Die Struktur wissenschaftlicher Revolutionen. Frankfurt/M.: Suhrkamp.
Lamnek, Siegfried & Krell, Claudia (2016 [1988]). Qualitative Sozialforschung. Mit Online-Material (6. überarb. Aufl.). Weinheim: Beltz.
Lamont, Michele (2009). How professors think. Cambridge, MA: Harvard University Press.
Lamont, Michele (2012). Toward a comparative sociology of valuation and evaluation. Annual Review of Sociology, 38, 201-221.
Lamont, Michele & Huutoniemi, Katri (2011). Comparing customary rules of fairness: Evaluative practices in various types of peer review panels. In Charles Camic; Neil Gross & Michele Lamont (Hrsg.), Social knowledge in the making (S.209-232). Chicago, IL: University of Chicago Press.
Lamont, Michele & Thévenot, Laurent (Hrsg.) (2000). Rethinking comparative cultural sociology. Cambridge: Cambridge University Press.
Lienert, Gustav A. (1969). Testaufbau und Testanalyse. Weinheim: Beltz.
Lovitts, Barbara E. (2006). Making the implicit explicit. Faculty’s performance expectations for the dissertation. In Peggy L. Maki & Nancy A. Borkowski (Hrsg.), The assessment of doctoral education. Emerging criteria and new models for improving outcomes (S.163-187). Sterling, VA: Stylus.
Marguin, Séverin; Haus, Juliane; Heinrich, Anna Juliane; Kahl, Antje; Schendzielorz, Cornelia & Singh, Ajit (2021). Positionality reloaded: Debating the dimensions of reflexivity in the relationship between science and society: An editorial. Historical Social Research, 46(2), 7-34, https://doi.org/10.12759/hsr.46.2021.2.7-34 [Datum des Zugriffs: 17. Mai 2023].
Mau, Steffen (2018). Das metrische Wir. Über die Quantifizierung des Sozialen. Frankfurt/M.: Suhrkamp.
Merton, Robert K. (1968). The Matthew effect in science. Science, 159(3810), 56-63.
Merton, Robert K. (1988). The Matthew effect in science, II: Cumulative advantage and the symbolism of intellectual property. Isis, 79(4), 606-623.
Merton, Robert K. (1993 [1942]). The normative structure of science. In Robert K. Merton, The sociology of science. Theoretical and empirical investigations (S.268-278). Chicago, IL: University of Chicago Press.
Mitroff, Ian (1974). Norms and counter-norms in a select group of the Apollo moon scientists: A case study of the ambivalence of scientists. American Sociological Review, 39(4), 579-595.
Münch, Richard (2014). Academic capitalism: Universities in the global struggle for excellence. New York, NY: Routledge.
Nachtwey, Oliver & Seidl, Timo (2017). Die Ethik der Solution und der Geist des digitalen Kapitalismus. IFS Working Paper #11, Institut für Sozialforschung, Frankfurt/M., https://www.ifs.uni-frankfurt.de/publikationsdetails/ifs-oliver-nachtwey-und-timo-seidl-die-ethik-der-solution-und-der-geist-des-digitalen-kapitalismus.html?file=files%2FContent%2FPublikationen%2FIfS+Working+Papers%2FIfS-WP-11.pdf&fileKey=046e22980d71d48252a73d9fa072b056 [Datum des Zugriffs: 17. Mai 2023].
Neckel, Sieghardt; Czingon, Constanze & Lenz, Sarah (2018). Kulturwandel im Geldgeschäft? Potenziale einer ethischen Selbsterneuerung im Banken- und Finanzwesen. Kölner Zeitschrift für Soziologie und Sozialpsychologie, 70 (Sonderheft 1), 287-316.
Otte, Gunnar; Sawert, Tim; Brüderl, Josef; Kley, Stefanie; Kroneberg, Clemens & Rohlfing, Ingo (2023). Gütekriterien in der Soziologie: Eine analytisch-empirische Perspektive. Zeitschrift für Soziologie, 52(1), 26-49, https://doi.org/10.1515/zfsoz-2023-2006 [Datum des Zugriffs: 17. Mai 2023].
Paris, Rainer (2001). Machtfreiheit als negative Utopie. Die Hochschule als Idee und Betrieb. In Erhart Stölting & Uwe Schimank (Hrsg.), Die Krise der Universitäten (S.194-222). Wiesbaden: Westdeutscher Verlag.
Patriotta, Gerardo; Gond, Jean-Pascal & Schultz, Friederike (2011). Maintaining legitimacy: Controversies, orders of worth and public justifications. Journal of Management Studies, 48(8), 1804-1836.
Peirce, Charles S. (1966). Collected papers of Charles Sanders Peirce 1931-1958 (hrsg. von A. Burks). Cambridge, MA: Harvard University Press.
Reichertz, Jo (2013). Die Abduktion in der qualitativen Sozialforschung. Wiesbaden: Springer VS.
Reichertz, Jo (2016). Qualitative und interpretative Sozialforschung. Eine Einladung. Wiesbaden: Springer VS.
Reichertz, Jo (2019). Methodenpolizei oder Gütesicherung? Zwei Deutungsmuster im Kampf um die Vorherrschaft in der qualitativen Sozialforschung. Forum Qualitative Sozialforschung / Forum Qualitative Social Research, 20(1), Art. 3. https://doi:10.17169/fqs-20.1.3205 [Datum des Zugriffs: 17. Mai 2023].
Ringer, Fritz K. (1986). Differences and cross-national similarities among mandarins. Comparative Studies in Society and History, 28(1), 145-164.
Ringer, Fritz K. (1990 [1969]). The decline of the German mandarins: The German academic community, 1890-1933. Hanover: Wesleyan University Press.
Savage, Mike & Waitkus, Nora (2021). Property, wealth, and social change: Piketty as a social science engineer. British Journal of Sociology, 72(1), 39-51.
Schimank, Uwe (2023). Editorial. Zeitschrift für Soziologie, 52(1), 1-5, https://doi.org/10.1515/zfsoz-2023-2007 [Datum des Zugriffs: 17. Mai 2023].
Schneijderberg, Christian (2022). Socialism order of worth and analytical adequacy axiom. Human Studies, 45, 283-308, https://doi.org/10.1007/s10746-022-09629-3 [Datum des Zugriffs: 17. Mai 2023].
Schneijderberg, Christian & Steinhardt, Isabel (2019). Accreditation of X qualities instead of quality X: A normative analysis of criteria of the German higher education accreditation regime. Higher Education Policy, 32(1), 5-28.
Schneijderberg, Christian; Götze, Nicolai & Müller, Lars (2022). A study of 25 years of publication outputs in the German academic profession. Scientometrics, 127, https://doi.org/10.1007/s11192-021-04216-2 [Datum des Zugriffs: 17. Mai 2023].
Schneijderberg, Christian; Wieczorek, Oliver & Steinhardt, Isabel (2022). Qualitative und quantitative Inhaltsanalyse: digital und automatisiert. Weinheim: Belz-Juventa, https://content-select.com/de/portal/media/download_oa/9783779970378/?client_id=406 [Datum des Zugriffs: 17. Mai 2023].
Seale, Clive (1999). Quality in qualitative research. Qualitative Inquiry, 5(4), 465-478.
Seawright, Jason & Gerring, John (2008). Case selection techniques in case study research: A menu of qualitative and quantitative options. Political Research Quarterly, 61(2), 294-308.Smelser, Neil J. (2003). On comparative analysis, interdisciplinarity and internationalization in sociology. International Sociology, 18(4), 643-657.
Sonntag, Nico (2023). Viele Vorschläge zur Güte: Gütekriterien der qualitativen Forschung aus analytisch-empirischer Sicht. Zeitschrift für Soziologie, 52(1), 7-25, https://doi.org/10.1515/zfsoz-2023-2005 [Datum des Zugriffs: 17. Mai 2023].
Steinhardt, Isabel (2015). Lehre stärkt Forschung. Studiengangentwicklung durch ProfessorInnen im Handlungssystem Universität. Wiesbaden: Springer VS.
Steinke, Ines (1999). Kriterien Qualitativer Forschung. Weinheim: Juventa.
Storper, Michael & Salais, Robert (1997). Worlds of production. The action frameworks of the economy. Cambridge, MA: Harvard University Press.
Strübing, Jörg; Hirschauer, Stefan; Ayaß, Ruth; Krähnke, Uwe & Scheffer, Thomas (2018). Gütekriterien qualitativer Sozialforschung. Ein Diskussionsanstoß. Zeitschrift für Soziologie, 47, 83-100.
Susen, Simon (2017). Remarks on the nature of justification: A socio-pragmatic perspective. Research in the Sociology of Organizations, 52(Sonderheft), 349-381.
Thévenot, Laurent (2001 [2000]). Organized complexity. Conventions of coordination and the composition of economic arrangements. European Journal of Social Theory, 4, 405-425.
Thévenot, Laurent; Moody, Michael & Lafaye, Claire (2000). Forms of valuing nature. In Michele Lamont & Laurent Thévenot (Hrsg.), Rethinking comparative cultural sociology (S.229-272). Cambridge: Cambridge University Press.
Trowler, Paul (2014). Depicting and researching disciplines: Strong and moderate essentialist approaches. Studies in Higher Education, 39(10), 1720-1731.
Vatin, Francois (2013). Valuation as evaluating and valorizing. Valuation Studies, 1(1), 31-50, https://doi.org/10.3384/vs.2001-5992.131131 [Datum des Zugriffs: 02. Juni 2023].
Whitley, Richard (1984). The intellectual and social organization of the sciences. Oxford: Oxford University Press.
Wolff, Stefan (2000). Dokumenten- und Aktenanalyse. In Uwe Flick, Ernst von Kardorff & Ines Steinke (Hrsg.), Qualitative Forschung. Ein Handbuch (S.502-514). Reinbek: Rowohlt.
Downloads
Published
How to Cite
Issue
Section
License
Copyright (c) 2023 Christian Schneijderberg
This work is licensed under a Creative Commons Attribution 4.0 International License.
