La Investigación del TCAT
Una de las pruebas más importantes del valor de una encuesta es la "prueba del olfato". Todos aprendimos esta prueba de nuestras madres. Las madres tienen un sentido del olfato muy desarrollado y podrían contar con un olorcillo cuando no nos habíamos bañado, habíamos estado alrededor de alguien que había estado fumando, y saber lo que habíamos estado comiendo.
El primer paso de la investigación fue un estudio cuantitativo de las iglesias protestantes. Entre los primeros siete mil pastores que completaron la encuesta cuantitativa, sus iglesias eran de 123 denominaciones diferentes como se indica en nuestra muestra. Dentro de la encuesta teníamos una lista más corta para elegir, que demostró que el 6 por ciento de los participantes no eran parte de una denominación (o no tenían conexión o afinidad con ningún grupo de denominaciones, como por ejemplo las redes fundamentalistas independientes). El objetivo era establecer puntos de referencia de métricas clave, pero lo más importante fue identificar las mejores iglesias. Estas iglesias serían la fuente de conocimientos/ideas adicionales en la Fase 2.
Debido a la volatilidad de los números de crecimiento de la iglesia en las iglesias pequeñas (por ejemplo, una familia que viene o se va después, tiene un gran impacto en el crecimiento porcentual), la iglesia debe tener actualmente un mínimo de cincuenta en asistencia en el culto de adoración.
Como usted puede ver, estábamos buscando la manera para poder cambiar la manera de hacer las medidas. No estábamos diciendo que cosas como la asistencia y las conversiones no importan - ¡si son! Pero no son las únicas cosas que importan. Durante demasiado tiempo nos hemos centrado únicamente en monedas, cuerpos y números. Queríamos ver vidas cambiadas, las iglesias en crecimiento y las comunidades siendo servidas. Por lo tanto, comenzamos con algunas métricas expandidas.
Fase 2: Investigación Cualitativa para Obtener Ideas Más Profundas
Nos pusimos en contacto con las 298 iglesias con las mejores respuestas basadas en los criterios de la Fase 1 que también nos permitieron ponerse en contacto con ellas. Se solicitó entrevistar al pastor principal, en persona si era posible. Con mucha persistencia por los consultores de iglesia de LifeWay, más de 250 entrevistas se realizaron, ya que los consultores viajaron para reunirse con pastores y líderes de iglesias desde Maine hasta California, desde Washington hasta la Florida.
Principios que eran comunes entre el 10 por ciento de las Iglesias superiores se utilizaron para elaborar las preguntas para el instrumento de evaluación de la iglesia. Thom Rainer y Ed Stetzer y nuestro equipo de LifeWay Research (particularmente Scott McConnell y Lizette Beard) las estudiaron extensivamente. Las preguntas fueron revisadas por un panel de expertos que incluyen:
Una amplia lista de preguntas fue elegida inicialmente – veinte preguntas para cada uno de los siete elementos del Lazo Transformacional – 140 preguntas en total. El largo estudio se utilizó para que el recorte de la encuesta fuera basada en criterios objetivos en lugar de las opiniones de unos cuantos.
Fase 4: Evaluación de la Iglesia y el Nivel de la Congregación
Iglesias Protestantes adicionales fueron seleccionadas al azar y fueron reclutadas para probar la validez del instrumento de evaluación final. De las 280 iglesias Protestantes que fueron seleccionadas al azar para esta prueba, 94 obtuvieron suficientes respuestas de sus asistentes para obtener resultados representativos de su iglesia con un nivel de confianza de + / -10 por ciento. Esto constituyó un 34 por ciento de éxito.
Conclusión
Al final, estamos seguros de los principios que se descubrieron entre las iglesias eficaces. Estos elementos de las iglesias transformacionales se reunieron en un estudio fiable que va a medir consistentemente estos principios en diferentes iglesias. Las preguntas del Instrumento de Evaluación de las Iglesias Transformacionales (TCAT) han sido y siguen siendo rigurosamente probadas. El instrumento de evaluación elaborado por este estudio es válido internamente como externamente. Y, los principios accionables de la Iglesia Transformacional predicen los resultados deseables, como el crecimiento en la asistencia de la iglesia, creyentes comprometidos a Jesucristo y el servicio.
De la misma manera una investigación debe pasar la prueba del olfato. Tanto los resultados y cómo se realizó la investigación deben tener sentido y no insinuar ninguna tendencia cuando el lector obtiene un olorcillo.
Este es el proceso que usamos para desarrollar y probar la investigación del instrumento de evaluación de la Iglesia Transformacional.
Fase 1: Identificar las Iglesias para Tener un Conocimiento más Profundo
Una lista de llamadas fue elaborada al azar de una lista de todas las iglesias protestantes en los Estados Unidos de América. Hasta seis llamadas se hicieron a un número de teléfono del muestreo. Cada entrevista se llevó a cabo con el pastor principal, ministro o sacerdote de la iglesia llamada. Las llamadas se realizaron en ondas de mil entrevistas completas trabajando a través de una porción de la muestra en cada ola en forma sistemática con las cuotas de acuerdo al tamaño de la iglesia (tamaños de las iglesias eran proporcionales al tamaño normal de las iglesias de los Estados Unidos). Las llamadas fueron realizadas en un centro de llamadas profesional bajo supervisores con experiencia en este tipo de llamadas.
Después de analizar las respuestas del estudio, se utilizaron los siguientes criterios para determinar las iglesias más eficaces entre las 4,006 iglesias que fueron entrevistadas en las cuatro primeras olas de la Fase 1. Para ayudar a las iglesias de reclutamiento seguir hacia la Fase 3, un total de siete mil pastores finalmente completaron las preguntas de la Fase 1.
La base de la entrevista fue un par de guías temáticas que el entrevistador utilizo para ayudar a cada pastor describir las actividades de su iglesia, por qué funciona y cómo sabe que es eficaz. Debido a la profundidad requerida en las entrevistas, las nueve áreas de asuntos generales se dividieron entre las dos guías temáticas. La mayoría de las entrevistas utilizaron sólo una guía, pero algunos pastores generosos fueron entrevistados utilizando las dos.
Cada pastor se le dio la oportunidad de presentar aspectos adicionales del ministerio que consideraban vital para un ministerio eficaz. La información adicional proporciono un entendimiento más allá de las áreas generales de investigación que incluían la adoración, evangelismo, discipulado, grupos pequeños, la oración, la dirección, cómo las personas nuevas son conectadas, la calidad de vida dentro de una congregación, y el nivel de acoplamiento con un mundo perdido y herido.
Los entrevistadores contratados por LifeWay para el proceso eran consultores de iglesias que tenían experiencia extensa en el ministerio. Para preparar cada consultor y para asegurar que cada entrevista se llevara a cabo de una manera consistente, dos sesiones de entrenamiento fueron proporcionadas para conducir las entrevistas.
Cada entrevista fue grabada y transcrita. Cada consultor de iglesia completó un resumen inmediatamente después de la entrevista resaltando las cosas más importantes que escucharon. Hemos podido mejorar la calidad de la entrevista al compartir las transcripciones iniciales entre los consultores de la iglesia para que ellos escuchen a otros entrevistadores y para poder observar cuando se obtuvo información útil y cuando la información fue perdida.
Las observaciones del entrevistador y el análisis de las transcripciones produjeron principios que condujeron a la fundación para el Lazo Transformacional y proporcionó muchos ejemplos prácticos que Ed Stetzer y Thom Rainer incluyeron en el libro de la Iglesia Transformacional.
Fase 3: Evaluación de la Iglesia en el Nivel del Laico
Un grupo de iglesias protestantes fueron invitadas para que el pastor y los miembros adultos de la iglesia utilizaran el instrumento de evaluación de la Iglesia Transformacional.
Un análisis se realizó con 4,077 miembros que completaron la versión inicial de la encuesta. El análisis dio valides a las escalas (grupos de preguntas en cada elemento de la Iglesia Transformacional que tienen un modelo similar de respuestas). En cada uno de los elementos, personas de afuera constituyeron 1 por ciento o menos de los valores.
El análisis de factores en la encuesta se realizó utilizando las preguntas para cada elemento de la Iglesia Transformacional. Usando Cronbach’s Alpha para cada factor demostró ser muy fiable con el más bajo siendo .826. Esta coherencia interna establece la fiabilidad de las preguntas del instrumento de evaluación. Las preguntas individuales que no tenían al menos de un 10 por ciento de los valores en cada mitad de la escala Likert fueron eliminadas al igual que las preguntas que no estaban cargadas con un factor en su sección. El conjunto final de 82 preguntas se convirtió en el instrumento de evaluación.
Las 82 preguntas se volvieron a evaluar para su validez y fiabilidad con el propósito de asegurar la exactitud del método de la encuesta. Con un total de más de 9,000 respuestas de los asistentes de las iglesias para comparar con las 4,077 respuestas de la Fase 3, se observó que las distribuciones de frecuencia que poseían tenían diferencias insignificantes. La validez del método final fue apoyada por esta consistencia entre la Fase 3 y la Fase 4.
Estimaciones de consistencia interna se llevaron a cabo para poner a prueba la fiabilidad del método de la encuesta. Cronbach's alphas para la Fase 4 eran todas entre .87 y .94, y los coeficientes de Spearman-Brown para el estudio estaban todos entre .85 y .95. Estos resultados apoyan la fuerte fiabilidad interna para el método de la encuesta. Esto apoya efectivamente la fiabilidad y la validez de la forma final de la encuesta.
Los resultados de las sumas de elementos de la porción de la Iglesia Transformacional fueron altamente correlacionados entre sí (por encima de 69). Esto confirma estadísticamente la convergencia de los elementos de la Iglesia Transformacional mencionadas en el capítulo 2 del libro de la Iglesia Transformacional.
Análisis separados de las regresiones múltiples para cada suma revelaron que uno o más de los elementos de la Iglesia Transformacional son predictivos de cada uno de los siguientes resultados de la iglesia:
