La Metodología Observacional se ha ido consolidando de unos años a esta parte como una de las metodologías idóneas para medir el comportamiento humano. Una de sus principales características es la integración de datos que proceden de naturaleza cuantitativa y cualitativa, y hacerlo sin perder rigurosidad científica.
La observación indirecta (Webb et al., 1966; Behar, 1993; Anguera, 1991, 2017, en prensa; Morales-Ortiz, 1999; Morales-Sánchez et al., 2014), ha contribuido a sentar las bases de cómo datos cualitativos pueden ser transformados en cuantitativos para su tratamiento posterior (Anguera et al., 2018). En este trabajo se presenta una aplicación práctica de la observación indirecta, dentro de un contexto académico-deportivo como es el mundo del Judo. El procedimiento comienza con la realización de diferentes entrevistas para conocer la opinión de formadores, entrenadores y deportistas de esta modalidad. Para ello fueron realizadas un total de nueve entrevistas con 26 preguntas cada una y planteadas a expertos, los cuales pertenecían no sólo al ámbito del alto rendimiento, sino también al formativo y académico. Las entrevistas se caracterizaban por ser de carácter semi estructuradas, realizadas presencialmente y de manera individual.
Posteriormente, éstas fueron transcritas y el material textual fue sometido a una segmentación en unidades textuales en base al criterio ortográfico (punto, punto y aparte, coma, etc.), y sintáctico (sujeto, verbo y predicado), con el objetivo de sistematizar la información, favorecer su análisis y aportar significatividad. Después de la codificación de las unidades textuales para su tratamiento cuantitativo y la consulta del marco teórico previo (en este caso, el reglamento deportivo), se construyó el instrumento de observación indirecta. Este se compone de “dimensions”, “subdimensions” y “categories” junto con su correspondiente “código”. Por otra parte, antes de proceder con el análisis de la información codificada, se llevó a cabo el control de la calidad del dato mediante la concordancia canónica de Krippendorf (2013). Por último, una vez cotejado que los datos son de calidad, se sometieron a un análisis de coordenadas polares (Sackett, 1980), a partir del cual permitió conocer la relación existente entre la conducta focal (existencia de adaptaciones técnicas y tácticas por parte de los judocas en función del rival), y la conducta de apareo (cada uno de los entrevistados).
Para terminar, la observación indirecta es una herramienta óptima que permite una integración y transformación de datos cualitativos en datos cuantitativos que pueden analizarse utilizando técnicas cuantitativas robustas. Además, es importante señalar que es posible, en cualquier momento durante el análisis, volver de los datos cuantitativos a los datos narrativos. Como resultado, este enfoque presenta ventajas tanto de los métodos cualitativos como cuantitativos, al mismo tiempo que cubre las debilidades de ambos.
Palabras clave
Ponencia Online
Documentación de apoyo a la presentación ONLINE de la ponencia
Irune Corres Medrano
Comentó el 20/07/2021 a las 14:18:38
Buenos días,
Muchas felicidades por la comunicación, me ha resultado muy interesante. Me surgen algunas dudas en torno a la técnica utilizada de observación indirecta. Según su exposición ¿al hacer la revisión de la literatura, las entrevistas y los grupos de discusión se puede considerar que estamos realizando observación indirecta? ¿Se puede concluir que la observación indirecta está relacionada con el nivel de participación de la persona investigadora?
Muchas gracias y felicidades de nuevo. Un saludo,
Irune
Responder
Cristina Rodríguez Rodríguez
Comentó el 22/07/2021 a las 16:46:09
Estimada Irune.
Gracias por tus preguntas, te respondo sobre ellas:
1) La observación indirecta no es una técnica sino un novedoso enfoque metodológico que se enmarca dentro de las posibilidades que ofrece la Metodología Observacional (Anguera et al., 2016). De acuerdo con Anguera et al., (2018), la observación indirecta implica la recopilación de datos cualitativos que son posteriormente transformados en datos cuantitativos, y analizados utilizando técnicas cuantitativas robustas. Además, en cualquier momento a lo largo del análisis, existe la posibilidad de volver de los datos cuantitativos a los datos narrativos. Por otro lado, tal y como menciona Anguera et al., (2018), en un estudio de observación indirecta como es el nuestro, es imprescindible el seguimiento de cada una de las etapas y sub etapas que lo componen (en ellas se aborda “la revisión de la literatura”, “las entrevistas” y “los grupos de discusión”, entre otros, que mencionas). En un primer momento, se extrae la información generada indirectamente a partir de grabaciones de audio de comportamiento verbal en entornos naturales (por ejemplo, conversaciones, discusiones grupales), o directamente de narrativas (por ejemplo, cartas, mensajes de whatsapp). En nuestro caso, realizamos una serie de entrevistas a expertos del ámbito del Judo, las cuales fueron trascritas. El material textual resultante fue sometido a una segmentación en unidades textuales y seguidamente, se realizó la codificación de las mismas para su tratamiento cuantitativo. Después, construimos un instrumento de observación ad hoc. Para su construcción, se bebió de una serie de fuentes como, por ejemplo, entrevistas realizadas a expertos, evidencias científicas, juicio de expertos, y reglamentos y normativas. Por otra parte, antes de proceder con el análisis de la información codificada, se llevó a cabo el control de la calidad del dato mediante la concordancia canónica de Krippendorf (2013). Y, por último, una vez cotejado que los datos eran de calidad, se sometieron a un análisis de coordenadas polares (Sackett, 1980).
2) Personalmente, y según nuestra experiencia, podemos concluir que en una investigación donde la observación indirecta sea protagonista, es vital que los investigadores involucrados cuenten con una formación y profundización en cada uno de los procedimientos que la conforman. Asimismo, la complementariedad entre la observación directa y la indirecta constituyen un escenario ideal para el estudio del comportamiento humano. Sin embargo, en ciertas ocasiones, esta complementariedad no es así debido a que pueden aparecer contradicciones entre lo que el sujeto observado (en nuestro caso, un judoca profesional) ejecuta a nivel motriz, y lo que se responde o se percibe. En cuanto al nivel de participación de la persona investigadora, nosotros fuimos quienes elaboramos y planteamos las entrevistas a los entrevistados, pero evitando en todo momento que sus respuestas fueran “contaminadas”. Por otro lado, a la hora de realizar el control de calidad de los datos, uno de los investigadores llevó a cabo tres registros (segmentación en unidades textuales y codificación), con el mismo instrumento de observación indirecta y a nivel intra observador.
Muchas gracias y espero haberte ayudado.
Un cordial saludo.
Referencias bibliográficas:
Anguera, M. T., Blanco-Villaseñor, Á., Losada, J., y Sánchez-Algarra, P. (2016). Nueva perspectiva de los mixed methods desde la observación directa e indirecta en Ciencias del Comportamiento: Transformación de datos cualitativos para su análisis cuantitativo. CIAIQ2016, 3.
Anguera, M. T., Portell, M., Chacón-Moscoso, S., y Sanduvete-Chaves, S. (2018). Indirect observation in everyday contexts: concepts and methodological guidelines within a mixed methods framework. Frontiers in psychology, 9, 13.
Responder
Bartolomé Rubia Avi
Comentó el 16/07/2021 a las 17:28:08
Muchas gracias por la aportación que habéis realizado y por las fuentes en las que os habéis apoyado. Creo que mundo de la quantitating es un aspectos muy interesante. Sólo una pregunta, ¿cómo habéis realizado el Cross-cases o cross datas?
Responder
Rubén Maneiro
Comentó el 17/07/2021 a las 11:52:14
Hola Bartolomé
Gracias por tu pregunta, por favor podría concretarme un poco más a que te refieres con cross-cases? Igual lo conozco por otro nombre
Un saludo
Responder
Diego Luna
Comentó el 16/07/2021 a las 10:58:31
Enhorabuena por la comunicación y por descubrirme un concepto, como el de la "observación indirecta", que no conocía. Según he entendido, su objetivo general es comprender un fenómeno tangencialmente, desde las fuentes secundarias (como es, en el caso de la investigación que presentáis, las opiniones de expertos en judo). Esto permite obtener una mejor contextualización del objeto de estudio, sobre el cual, posteriormente, se realizará una "observación directa". En este sentido, mis preguntas son: 1) ¿podría considerarse "observación indirecta" la elaboración de un marco teórico? Al fin y al cabo, se abordan fuentes secundarias (como son las teorías existentes sobre un tema) para contextualizar o dar forma a un problema de investigación; y 2) según vuestra experiencia, ¿una investigación con "observación indirecta" posee un interés específico para el público académico o su realización siempre depende de un proceso investigador más amplio, en el cual se inscriba esta especie de fase apriorística?
Muchas gracias y un cordial saludo,
Diego
Responder
Cristina Rodríguez Rodríguez
Comentó el 19/07/2021 a las 16:48:56
Estimado Diego.
Gracias por tus preguntas, te respondo sobre ellas:
1) De acuerdo con Anguera et al., (2018), las dimensiones en un estudio de observación indirecta dependen directamente de un marco teórico y un marco conceptual previo. Es del propio marco teórico previo (institucionalizado y reglamentado en este caso), de donde nace la estructura de un planteamiento indirecto basado en entrevistas. Además, en este caso, como deportista y competidora en Judo, se aporta a las preguntas de la entrevista un valor añadido basado en mi experiencia práctica.
2) Personalmente, y según nuestra experiencia, en una investigación en la que se utilice un enfoque metodológico como es la observación indirecta, es imprescindible la formación y profundización en todos y cada uno de los procesos que le conforman. Estos junto con los obtenidos en la observación directa, constituyen una rica fuente de información para el estudio del comportamiento humano, el cual está protagonizando un crecimiento en la literatura científica de unos años hasta ahora.
En este caso particular, el escenario ideal es que la observación directa se vea complementada con la observación indirecta, aunque en determinadas ocasiones, esto no es así ya que pueden existir contradicciones entre lo que el sujeto observado ejecuta a nivel motriz, y lo que responde o percibe. La conducta motriz parte de mecanismos internos conscientes pero también inconscientes, que el observado puede desconocer, pero que ejecuta de manera instintiva. En determinadas ocasiones, el deportista descubre a partir de la observación directa (post event) comportamientos que desconocía que ejecutaba, pero que estaba convencido de ellas teóricamente (obs. indirecta).
Aquí se detalla las casuísticas particulares que pueden darse: https://portalciencia.ull.es/investigadores/82454/tesis
Muchas gracias y espero haberte ayudado.
Un cordial saludo.
Referencias bibliográficas:
Anguera, M.T (1991). La metodología observacional en evaluación de programas [Metodología observacional en la evaluación de programas]. Revista Mexicana de Análisis de la Conducta 17, 121-145.
Anguera, M. T., Portell, M., Chacón-Moscoso, S., y Sanduvete-Chaves, S. (2018). Indirect observation in everyday contexts: concepts and methodological guidelines within a mixed methods framework. Frontiers in psychology, 9, 13.
Responder
Francisco Javier Abarca-Álvarez
Comentó el 14/07/2021 a las 23:40:19
Enhorabuena por el trabajo, me ha parecido muy interesante y reveladora su comunicación. Quería plantearles unas cuestiones.
¿Creen que sería útil en la fase de codificación el uso de herramientas automáticas o semiautomaticas basadas en Machine Learning o Inteligencia Artificial y que ayudaran a la obtención de las etiquetas?
¿Desde su punto de vista lo consideran viable, o consideran que la acción humana en ese punto es insustituible?
¿Podría ese tipo de herramientas reducir el sesgo que puede inferir el investigador, o todo lo contrario, es la "máquina" la que puede estar cargada de "prejuicios" difícil de controlar?
Muchas gracias.
Responder
Cristina Rodríguez Rodríguez
Comentó el 16/07/2021 a las 06:44:11
Estimado Francisco Javier.
Gracias por tus preguntas, te respondo sobre ellas:
1) Es probable que la Inteligencia Artificial tenga un impacto importante no solo en la fase de codificación, sino seguramente en todo el desarrollo metodológico en un futuro a corto-medio plazo. Pero por ahora, es una aspiración que todavía se vislumbra lejana.
2) El elemento más fiable es la mano humana, pero no cabe duda que la Inteligencia Artificial tendrá un papel importante en el campo de estudio de las Ciencias Sociales. El Big Data, por ejemplo, ya es una realidad.
3) La clave es el equilibrio. La Inteligencia Artificial basada en algoritmos pude tener sesgos en sí mismos, aspectos que en un observador experto no presenta. De todos modos, hay que tener en cuenta que detrás de un algoritmo, también hay una mano humana.
Muchas gracias y espero haberte ayudado.
Un cordial saludo.
Responder
Esther Santaella Rodríguez
Comentó el 14/07/2021 a las 19:03:51
En primer lugar, felicidades por la ponencia.
Me gustaría hacerles una pregunta acerca de la entrevista realizada ya que, aunque comentan que se trata de una entrevista no dirigida, no se especifica el tipo de entrevista realizada y, por otro lado, les agradecería que comentasen los motivos para la elección de dicho tipo de entrevista.
Enhorabuena por el trabajo realizado y gracias por compartirlo.
Responder
Cristina Rodríguez Rodríguez
Comentó el 16/07/2021 a las 06:34:51
Estimada Esther.
Gracias por tu pregunta.
La entrevista realizada está definida a partir de una serie de criterios, los cuales son detallados en el estudio de Anguera (2003). Según el primer criterio, es decir, el grado de estructuración, se trata de una entrevista semi estructurada debido a que previamente elaboramos un total de 26 preguntas sobre las cuales nos interesaba recopilar la información, pero no la forma específica de formularlas. De esta manera, pudimos ir modulando la entrevista de acuerdo con las características de los entrevistados y a su vez, adaptar la secuencia de preguntas según considerábamos conveniente. En cuanto al segundo criterio (según la situación), las entrevistas las hemos realizado de manera presencial e individualmente debido a que se nos dio la oportunidad de concretar una fecha y lugar para poder llevarlas a cabo cara a cara, y evitar posibles problemas de conexión o interrupción; ofrecer a los entrevistados las condiciones óptimas para que pudieran dar respuesta con total libertad a cada una de las preguntas; y disponer del tiempo necesario para el desarrollo de cada entrevista en función de la situación del entrevistado. Respecto al tercer criterio (según el grado de directividad), se trata de una entrevista no dirigida a partir de la cual nosotros como entrevistadores creamos el clima idóneo para que los entrevistados pudieran expresar libremente sus opiniones, sentimientos y puntos de vista, tratando de evitar que sus respuestas fueran “contaminadas”. En relación al cuarto criterio (según la finalidad), son entrevistas de estudio debido a que el objetivo principal de las mismas reside en la realización de un estudio de interés propio. Por último, en cuanto al quinto criterio (según el número de participantes), las entrevistas fueron realizadas a cada entrevistado de manera individual con el objetivo de lograr una mayor profundización y comprensión de las respuestas.
Muchas gracias y espero haberte ayudado.
Un cordial saludo.
Referencias bibliográficas
Anguera, M.T. (2003). La metodología selectiva en la Psicología del Deporte. En A. Hernández Mendo (Coord.), Psicología del Deporte (Vol. 2). Metodología (p. 74-96). Buenos Aires: Efdeportes (www.efdeportes.com). [I.S.B.N. 987-43-6355-x]
Responder
Olga Ruiz Cañete
Comentó el 13/07/2021 a las 18:33:06
Buenas tardes, tanto esta presentación como la posterior que presentan me han parecido muy interesantes, especialmente por lo novedoso para mí de la metodología que presentan. Me ha surgido una duda que quizá tenga que ver con mi desconocimiento de la técnica. Se refiere al control de la calidad del dato. En concreto, el grado de acuerdo aumenta en los distintos momentos de tiempo; de forma que, transcurridos uno y dos meses, al establecer, par la misma entrevista, el grado de acuerdo entre las segmentaciones de unidades textuales y la codificación aumenta del 0,87 al 1 ¿cuál es la razón? Muchas gracias.
Responder
Cristina Rodríguez Rodríguez
Comentó el 16/07/2021 a las 06:27:37
Estimada Olga.
Gracias por tu pregunta.
En primer lugar, la Metodología Observacional no es una técnica, es una metodología. De acuerdo con Anguera (en prensa), en observación indirecta existe un mayor riesgo de subjetividad en comparación con la observación directa. Por esta razón, es conveniente la superación del control de la calidad del dato y en especial, la concordancia. Esta es obtenida de forma cuantitativa mediante la adaptación del coeficiente kappa de Cohen (1960) por Krippendorf (2013) al coeficiente de concordancia canónica (tal y como se ha mencionado en la presentación).
Por lo que respecta a los valores promedio de Kappa para cada una de las intra observaciones en este estudio, éstos han sido obtenidos a partir de la aplicación de medidas cuantitativas que prueban la confiabilidad por medio de coeficientes de acuerdo. Para ello, el mismo observador codificó las unidades textuales de las entrevistas en momentos distintos y siempre haciendo uso del mismo instrumento de observación indirecta. El grado de acuerdo debe estar por encima de 0,8 para que sea una calidad del dato aceptable, según la escala de Fleis, Levin y Paik (2003). Por encima de ese umbral, cualquier valor es aceptado como muy bien, y se confirma que el dato es de calidad.
Muchas gracias y espero haberte ayudado.
Un cordial saludo.
Referencias bibliográficas:
Anguera, M. T. (en prensa). Desarrollando la observación indirecta: Alcance, proceso, y habilidades metodológicas en el análisis de textos. En C. Santoyo (Coord.), Análisis de patrones de habilidades metodológicas y conceptuales de análisis, planeación, evaluación e intervención. Ciudad de México: UNAM/PAPIIT, IN306715.
Cohen, J. (1960). A Coefficient of Agreement for Nominal Scales. Educational and Psychological Measurement, 20(1), 37–46. https://doi.org/10.1177/001316446002000104.
Fleiss, J. L., Levin, B., Paik, M.C. (2003) Statistical methods for rates y proportions. 3rd ed. Hoboken: John Wiley y Sons.
Krippendorff, K. (2013). Análisis de contenido. Introducción a su metodología, 3ª Ed. Thousand Oaks, CA: Sage.
Responder
Olga Ruiz Cañete
Comentó el 16/07/2021 a las 13:40:27
Muhcas gracias Cristina.
Responder
Beatriz Calzada Martínez
Comentó el 13/07/2021 a las 18:23:01
Felicidades por la ponencia. Sin embargo tengo una duda: cuando hablan de observación indirecta como una forma de "no intervención" en el objeto de estudio pero luego plantean las entrevistas estructuradas o semiestructuradas como una de las fuentes a estudiar, ¿por el mero hecho de estructurar una entrevista no están fomentando esa observación directa? Muchas gracias.
Responder
Cristina Rodríguez Rodríguez
Comentó el 16/07/2021 a las 06:11:22
Estimada Beatriz.
Gracias por tu pregunta.
Es conveniente diferenciar entre observación directa e indirecta. La observación directa sí cumple con los principios recogidos en Anguera y Hernández-Mendo (2016), sobre el respeto a la conducta a evaluar: espontaneidad, contexto habitual, y creación del instrumento de observación ad hoc.
Por otro lado, la observación indirecta es un complemento de la directa, que permite conocer la opinión de diferentes expertos del ámbito, y así conocer las posibles diferencias o similitudes entre la conducta observada (observación directa) y la conducta hablada (indirecta).
En el presente trabajo, la elaboración de las entrevistas junto a su correspondiente planteamiento a diferentes expertos del ámbito del Judo (entrenadores, académicos, judocas de alto rendimiento), ha permitido, entre otras cosas, tener un conocimiento inicial acerca de sus creencias, sentimientos y actitudes relacionadas con las conductas técnicas y tácticas desarrolladas por judocas profesionales. De esta manera y de acuerdo con Anguera (en prensa), Anguera et al., (2016); o Anguera et al., (2018), el hecho de elaborar y plantear una serie de preguntas en formato entrevista ha fomentado la recopilación de datos cualitativos, los cuales han podido ser transformados en datos cuantitativos con elevadas garantías (siguiendo el procedimiento explicado en la presentación), así como analizados por medio de técnicas cuantitativas robustas. Además, una de las ventajas que presenta la observación indirecta es que durante el análisis, existe la posibilidad de volver de los datos cuantitativos a los cualitativos/ narrativos.
Espero que tu pregunta haya sido respondida.
Muchas gracias.
Un cordial saludo.
Referencias bibliográficas:
Anguera, M. T. (en prensa). Desarrollando la observación indirecta: Alcance, proceso, y habilidades metodológicas en el análisis de textos. En C. Santoyo (Coord.), Análisis de patrones de habilidades metodológicas y conceptuales de análisis, planeación, evaluación e intervención. Ciudad de México: UNAM/PAPIIT, IN306715.
Anguera, M. T., Blanco-Villaseñor, Á., Losada, J., y Sánchez-Algarra, P. (2016). Nueva perspectiva de los mixed methods desde la observación directa e indirecta en Ciencias del Comportamiento: Transformación de datos cualitativos para su análisis cuantitativo. CIAIQ2016, 3.
Anguera, M. T. y Hernández-Mendo, A. (2016). Avances en estudios observacionales en Ciencias del Deporte desde los mixed methods. Cuadernos de Psicología del Deporte, 16(1), 17-30.
Anguera, M. T., Portell, M., Chacón-Moscoso, S., y Sanduvete-Chaves, S. (2018). Indirect observation in everyday contexts: concepts and methodological guidelines within a mixed methods framework. Frontiers in psychology, 9, 13.
Responder
Beatriz Calzada Martínez
Comentó el 17/07/2021 a las 01:52:22
¡Muchas gracias Cristina!
Responder