Vista previa del material en texto
1 UNIVERSIDAD NACIONAL AUTÓNOMA DE MÉXICO PROGRAMA DE MAESTRÍA Y DOCTORADO EN INGENIERÍA (MAESTRIA EN INGENIERIA) – (SISTEMA DE CALIDAD) PROPUESTA DE GUÍA PARA LA INVESTIGACIÓN DE RESULTADOS FUERA DE ESPECIFICACIONES TESIS QUE PARA OPTAR POR EL GRADO DE: MAESTRO EN INGENIERÍA PRESENTA: PEDRO SALVADOR VALADEZ ESLAVA TUTOR MARÍA DE LOS ÁNGELES OLVERA TREVIÑO, FACULTAD DE QUÍMICA MÉXICO, D. F. OCTUBRE 2013 UNAM – Dirección General de Bibliotecas Tesis Digitales Restricciones de uso DERECHOS RESERVADOS © PROHIBIDA SU REPRODUCCIÓN TOTAL O PARCIAL Todo el material contenido en esta tesis esta protegido por la Ley Federal del Derecho de Autor (LFDA) de los Estados Unidos Mexicanos (México). El uso de imágenes, fragmentos de videos, y demás material que sea objeto de protección de los derechos de autor, será exclusivamente para fines educativos e informativos y deberá citar la fuente donde la obtuvo mencionando el autor o autores. Cualquier uso distinto como el lucro, reproducción, edición o modificación, será perseguido y sancionado por el respectivo titular de los Derechos de Autor. 2 JURADO ASIGNADO: Presidente: Dra. Bernal González Marisela Secretario: M. C. Alpizar Ramos María del Socorro Vocal: M. en C. Rojo Callejas Francisco 1 er. Suplente: Dra. López Arellano Raquel 2 do. Suplente: Dra. Olvera Treviño Ma. De los Angeles Lugar o lugares donde se realizó la tesis: FACULTAD DE QUÍMICA UNAM TUTOR DE TESIS: MARÍA DE LOS ANGELES OLVERA TREVIÑO -------------------------------------------------- FIRMA 3 AGRADECIMIENTOS Agradezco a mi Padre Celestial por estar en esta tierra y por la posibilidad de seguir aprendiendo. Agradezco a mi esposa querida Irma José Núñez por su apoyo para el estudiar la Maestría en Sistemas de Calidad. A mis hijos Daniela y David los amo. A mi madre, la mejor Mamá que siempre me ha apoyado en mis estudios y a mi Padre quién nos esta esperando para vernos nuevamente. A la maestra Blanca Rivero por su apoyo para iniciar el estudio de la presente maestría. A mi asesora la Dra. Ma. de los Angeles Olvera Treviño, por su paciencia y tiempo en la dirección de éste trabajo. A los miembros del Jurado: Dra. Marisela Bernal González, M. en C. María del Socorro Alpizar Ramos, M en C. Francisco Rojo Callejas y Dra. Raquel López Arellano, por su tiempo invertido en la revisión de la tesis y por sus valiosos comentarios. 4 INDICE 1. INTRODUCCIÓN……………………………………………………………………………. 5 2. PROBLEMÁTICA……………………………………………………………………………. 5 3. HIPÓTESIS…………………………………………………………………………………... 5 4. ANTECEDENTES…………………………………………………………………………… 5 5. MARCO TEÓRICO………………………………………………………………………….. 6 5.1 Generalidades sobre resultados fuera de especificaciones……………………........ 6 5.2 Etapas en la investigación de resultados fuera de especificaciones………………. 9 5.3 Resultado reportable…………………………………………………………………….. 11 5.4 Promedio de resultados…………………………………………………………………. 11 5.5 Remuestreo………………………………………………………………………………. 13 5.6 Extensión de la investigación a otros lotes……………………………………………. 13 5.7 Documentación de resultados fuera de especificaciones en varios lotes…………. 14 5.8 Evaluación de resultados fuera de especificaciones en pruebas donde los compendios permiten llevar a cabo varias etapas………………………………………... 14 5.9 Justificación del número de repites…………………………………………………….. 15 5.10 Evaluación de los resultados del repite para determinar si se repite o no el resultado fuera de especificaciones……………………………………………………… 18 5.11 Identificación y manejo estadístico de resultados atípicos y aberrantes…………. 20 5.11.1 Prueba de Dixon……………………………………………………………………. 22 5.11.2 Prueba de desviación estudentizada extrema (ESD) Generalizada………….. 24 5.11.3 Regla de Hampel………………………………………………………………........ 25 5.11.4 Regla de Huge………………………………………………………………………. 26 5.11.5 Prueba de Grubbs………………………………………………………………….. 27 5.11.6 Prueba de Cochran’s………………………………………………………………. 29 6. DESARROLLO………………………………………………………………………………. 7. RESULTADOS………………………………………………………………………………. 30 30 7.1 Evaluación del procedimiento para la investigación de fallas/resultados fuera de especificaciones del laboratorio tercero autorizado……………………………. 30 7. 2 Revisión bibliohemerográfica ………………………………………………………….. 31 7.3 Propuesta de guía para la investigación de resultados fuera de especificaciones.. 32 7.3.1 Responsabilidades..…………………………………………………………………. 32 7.3.2 Alcance…………….………………………………………………………………….. 34 7.3.3 Pasos para la investigación de resultados fuera de especificaciones y generación del plan de acción………………………………………………………….. 34 7.3.3.1 Paso 1: Detección. (Formato A)………………………………………………… 36 7.3.3.2 Paso 2: Investigación Nivel 1. (Formato B)……………………………………. 37 7.3.3.3 Paso 3: Investigación Nivel 2. (Formato C)………………………………........ 42 7.3.3.4 Paso 4: Protocolo de repites. (Formato D)………………………………......... 43 7.3.3.5 Paso 5: Cierre (Formato E)…………………………………………….............. 45 7.3.3.6 Paso 6: Plan de acción. (Formato A del plan de acción)…………………….. 46 7.3.3.7 Paso 7: Acciones requeridas. (Formato B del plan de acción)……………… 46 7.3.3.8 Paso 8: Verificación de ejecución y efectividad de las acciones requeridas. (Formato C del plan de acción)………………………………………………………….. 46 7.3.3.9 Paso 9: Cierre (Formato D del plan de acción)……………………………….. 46 7.4 Aplicación de la guía a casos…………………………………………………………… 46 7.5 Establecimiento del plan de acción…………………………………………………….. 63 8. CONCLUSIONES……………………………………………………………………...……. 65 9. BIBLIOGRAFÍA…………………………………………………………………………........ 67 10. ANEXOS………………………………………………………………………................... 70 5 1. INTRODUCCIÓN En los laboratorios llamados de prueba o terceros autorizados se llevan a cabo diferentes análisis, cuyos resultados se comparan contra las especificaciones para determinar si cumplen o no con las mismas, cuando el resultado obtenido cumple con las especificaciones, se acepta la prueba como satisfactoria y el material es aprobado, en otras ocasiones se pueden obtener resultados que no cumplen con las especificaciones, en este caso no es posible dictaminar simplemente como “no cumple” o rechazado, o realizar uno o varios repites de las determinación hasta obtener un resultado que cumple con la especificación, un resultado fuera de especificaciones realmente es un resultado “sospechoso” de ser fuera de especificaciones, para confirmar o no dicho resultado debe realizarse una investigación sistemática y documentada, el resultado de la investigación puede encontrar alguna “causa asignable” generada durante el análisis, la cual es suficiente para técnicamente invalidar dicho resultado y proceder a realizar entonces un repite de la prueba, por otra parte el resultado de la investigación puede no encontrar una causa asignable y basado en pruebas adicionales concluir que el resultado fuera de especificaciones es confirmado. Por normatividad a los laboratorios de prueba se les requiere que los resultados fuera de especificaciones sean investigados y documentados, en el presente trabajo se establecen las deficiencias del sistema de investigación de un laboratorio tercero autorizado y a través de una revisión bibliográfica, se propone una guía que cumpla con los requerimientos para una investigación sistemática y documentada de resultados fuera de especificaciones. El presente trabajo presenta los pasos que se siguieron para resolver este problema, estableciendo como resultado un procedimiento fundamentado y robusto para la investigación de fallas y/o resultados fuera de especificaciones. 2. PROBLEMÁTICA 1. El laboratorio tercero autorizado “X” no cuenta con un sistema efectivo parala documentación e investigación de resultados fuera de especificaciones. . 3. HIPÓTESIS La guía propuesta permitirá determinar el origen del resultado fuera de especificaciones y establecerá un plan de acción que prevenga la ocurrencia y/o recurrencia del evento 4. ANTECEDENTES Los terceros autorizados son laboratorios avalados por la Secretaria de Salud para realizar evaluaciones analíticas, microbiológicas y/o biológicas, el reglamento de insumos para la salud define como Tercero autorizado a la persona autorizada por la Secretaría para emitir informes respecto del cumplimiento de requisitos establecidos por la propia Secretaría o en las normas correspondientes, o para realizar estudios para efectos de trámites o autorizaciones sanitarias.”1 Un laboratorio farmacéutico transnacional está interesado en importar a México un producto farmacéutico fabricado en el extranjero, uno de los requisitos para la comercialización en México es que dicho producto sea analizado en el país, para los cual el laboratorio transnacional ha auditado a un laboratorio tercero autorizado para la realización de dicho análisis, como parte de la auditoria se revisó el procedimiento de Investigación de fallas/resultados fuera de especificaciones, dictaminando que el procedimiento no cumple con lo 6 requerido para una investigación eficaz de resultados fuera de especificaciones y el establecimiento de un plan de acción para evitar la recurrencia de la causa que ocasionó el resultado, por lo que como primer paso en este trabajo se procede a revisar el procedimiento de investigación de fallas para determinar las deficiencias del mismo, las cuales serán resueltas con la propuesta presentada en este trabajo. 5. MARCO TEÓRICO 5.1 Generalidades sobre resultados fuera de especificaciones Un resultado fuera de especificaciones incluye a todos los valores que se encuentran fuera de las especificaciones o de los criterios de aceptación establecidos en los registros maestros, compendios oficiales o por el fabricante.7 En 1993, los Laboratorios Barr fabricante de productos farmacéuticos genéricos fue demandado por el gobierno de Estados Unidos, respecto a una serie de problemas que afectaban la calidad de los productos, incluyendo la forma que la compañía manejaba los resultados fuera de especificaciones, entre los problemas encontrados era que el laboratorio estaba promediando resultados que no cumplían especificaciones con resultados que sí cumplían, realizaba repites de los análisis sin tener definido el punto al cual ya no se podían realizar más repites y una inadecuada metodología para realizar la investigación de resultados fuera de especificaciones.9 El problema de los resultados fuera de especificaciones se conoció por los analistas que trabajaban en la laboratorios de control de calidad desde los años 20’s, sin embargo fue hasta los años 90’s que se comprendió que la falta de un pensamiento estadístico y metrológico es el principal aspecto del problema.9 Es inevitable que tarde o temprano un laboratorio de análisis no importando que este empleando métodos validados, obtenga un resultado fuera de especificaciones10, para lo cual los laboratorios deben contar con un procedimiento de operación que indique claramente los pasos a seguir, lo cual nos aseguré que se toma la decisión correcta respecto a la aprobación o rechazo del lote.10 A los laboratorios de prueba terceros autorizados y a los de las empresas les es requerido por las regulaciones tanto nacionales como internacionales sobre Buenas Prácticas de Fabricación, que se confirme que todos los componentes, contenedores, materiales en proceso y producto terminado cumplan con las especificaciones7. Los componentes y materiales que no cumplan con las especificaciones u otro criterio de control de calidad serán rechazados7. Las regulaciones requieren que se realice una investigación cuando se obtiene un resultado fuera de especificaciones7, el propósito de la investigación es determinar la causa del resultado fuera de especificaciones7, la causa puede deberse a un error del proceso analítico o del proceso de manufactura7. La investigación debe documentarse anexando todo el soporte que avale la decisión tomada, la investigación debe incluir las acciones correctivas adoptadas y debe realizarse un seguimiento a las mismas para corroborar la efectividad de dichas acciones6. Cuando se confirma un resultado fuera de especificaciones deben considerarse como desviaciones o no conformidades6 y extender la investigación a la fabricación del producto. 7 La regulación nacional indica que las compañías deben tener un sistema para retirar producto del mercado de manera oportuna y efectiva en el caso de productos que se sabe o se sospeche que están fuera de especificaciones6. Los resultados fuera de especificaciones confirmados afectan de manera importante a la compañías, ya que el producto debe ser rechazado con la pérdida económica que esto implica, además de correr el riesgo de no contar con el producto en el mercado cuando el paciente lo necesita, además de otras pérdidas que no son fáciles de medir como que el cliente al no encontrar el producto, busque otra opción que lo sustituya. Los reportes de inspección de auditorías de las agencias regulatorias a empresas farmoquímicas y farmacéuticas indican que la investigación deficiente de resultados fuera de especificaciones es aún una de las principales observaciones. Actualmente en México no se cuenta con una guía oficial para la investigación de resultados fuera de especificaciones, cada empresa hace la propia, a nivel internacional existe un documento publicado por la Administración de Drogas y Alimentos de Estados Unidos (FDA)7, que aunque establece los lineamientos y consideraciones para las investigación, tiene algunas deficiencias importantes, entre las principales están que no permite el uso de pruebas estadísticas para los ensayos químicos, que irónicamente representan la mayor parte de la actividad de los laboratorios, de análisis, así mismo carece de orientación respecto a las pruebas estadísticas que pueden ser empleadas tanto para la detección de resultados atípicos o fuera de tendencia como para la identificación de resultados aberrantes. El objetivo de la investigación de laboratorio es determinar la causa del resultado fuera de especificaciones, para concluir si éste se debe a un error analítico o al componente o producto que se está analizando, los resultados que se vayan obteniendo de la investigación, determinarán los pasos a seguir en el análisis y poder posteriormente aprobar o rechazar el material que se está analizando, la investigación es crítica ya que de ella pudiera derivarse el aceptar un lote que no cumple con las especificaciones afectando directamente al paciente o rechazar un lote que realmente cumple con especificaciones afectando al fabricante. Una vez encontrada la causa raíz deberá implementarse una acción correctiva efectiva que elimine la causa raíz evitando así su recurrencia, considerando que si la investigación fue bien realizada se podrán establecer acciones correctivas y preventivas. El presente trabajo pretende analizar las deficiencias encontradas en el procedimiento de investigación de fallas/resultados fuera de especificaciones del laboratorio tercero autorizado, proponiendo mejoras en el mismo que constituya una guía para la investigación, cuando se analizan con métodos fisicoquímicos componentes y productos terminados, mucha de la información aquí presentada proviene del área farmacéutica, sin embargo esta guía podría considerarse como referencia para otro tipo de industria, el trabajo presenta una propuesta completa que indica los pasos a seguir desde la clasificación del resultado obtenido, el procedimiento de investigación, opciones para la evaluación estadística de los resultados obtenidos, así como unaserie de metodologías para determinar el número de repites requerido para no considerar el resultado original como válido y reportar como resultado final el promedio de los repites, en los casos donde no se encontró la causa que originó el resultado fuera de especificaciones, también profundiza en las diferentes metodologías para determinar si un resultado obtenido puede 8 considerarse como un dato aberrante o si forma parte del grupo de datos obtenido, al mismo tiempo indica las prácticas inadecuadas que no deben llevarse a cabo en una investigación. Para llevar a cabo la investigación los laboratorios deben contar con un procedimiento normalizado de operación (PNO), que indique las acciones a seguir en el caso de obtener un resultado fuera de especificaciones6. Las investigaciones deben ser sistemáticas, a tiempo, sin errores, bien documentadas y soportadas científicamente7. Las regulaciones establecen que debe realizarse una investigación cuando se tiene un resultado fuera de especificaciones, pero también indican7 que puede aplicarse el mismo procedimiento de investigación para resultados fuera de tendencia, el cual es un resultado que se encuentra dentro de las especificaciones regulatorias o límites compendiales, o especificaciones pero es atípico con respecto a los resultados históricos del material, identificar estos resultados es de gran valor, ya que puede proveer un aviso de la obtención en el futuro de un resultado fuera de especificaciones5, la importancia de investigar también los resultado atípico radica en que se pueden tomar acciones preventivas para evitar que un producto se encuentre fuera de especificaciones. Existen otros resultados para los cuales también aplica la investigación de resultados fuera de especificaciones, estos son los resultados aberrantes, son resultados que son marcadamente diferentes a otros de los obtenidos en el mismo análisis empleando un método validado8. Los resultados aberrantes también caen en la clasificación de resultados fuera de especificaciones, con la peculiaridad de que el resultado es absurdo por ser marcadamente diferente a los demás, no existe un límite previamente establecido para indicar si el resultado obtenido además de ser un fuera de especificaciones es un resultado aberrante, esto depende mucho de la percepción del analista, lo cual no puede ser un criterio de clasificación, el presente trabajo propone una serie de pruebas estadísticas, para evaluar si el resultado obtenido es o no un resultado aberrante. Cuando hablamos de un resultado fuera de especificaciones confirmado es porque con base en la investigación contamos con el soporte documentado que avala la decisión, la cual puede llevar a dos tipos de errores, el error tipo I el cual es la probabilidad de concluir que el producto está fuera de especificaciones cuando realmente no lo esta11, en este caso está siendo afectado el fabricante porque el lote se dictaminaría como rechazado cuando realmente no lo está, también podría afectarse al paciente si esto ocasiona que no se tenga el producto disponible en el mercado. El otro tipo de error que se puede presentar es el error tipo II el cual es la probabilidad de concluir que el producto no se encuentra fuera de especificaciones cuando realmente lo esta11, este caso se considera el más crítico para el paciente ya que pudiera liberarse un lote para venta al mercado que no está cumpliendo con las especificaciones. Para eliminar o minimizar al máximo los errores de tipo 1 y 2 es necesario realizar una investigación completa sustentada científicamente, así mismo el empleo adecuado de las pruebas estadísticas empleando niveles de significancia que minimicen la posibilidad de tener errores del tipo I o II. 9 5.2 Etapas en la investigación de resultados fuera de especificaciones En el establecimiento de una guía es indispensable contar con los pasos bien definidos para realizar una investigación sistemática, para establecer lo anterior se consultó la referencia 1, la cual establece dos fases de la investigación: 1. Investigación en el laboratorio 2. Investigación a escala completa (Extensión de la investigación al proceso de producción). La guía consultada menciona los aspectos generales a considerar para la investigación de laboratorio, pero no se establecen las etapas de la investigación a seguir, en el presente trabajo se proponen las etapas a seguir en la investigación de laboratorio y el detalle de la investigación en cada una de ellas. Respecto a la investigación a escala completa, se refiere cuando no se encontró una causa asignable al laboratorio del resultado fuera de especificaciones, por lo que la investigación debe extenderse al área donde fue producido o fabricado el producto, esta fase no está incluida en el alcance de el presente trabajo, por lo que solo se menciona que al confirmarse el resultado fuera de especificaciones, la investigación debe extenderse al área de producción. Para realizar una investigación sistemática las referencias 11 y 14 sugieren lo siguiente: - Emplear una lista de verificación para realizar la investigación. - Establecer los eventos que pudieron haber causado el resultado fuera de especificaciones. - Si no ha encontrado la causa raíz del resultado fuera de especificaciones, (Investigación no concluida), para determinar si el resultado es válido o no, deberá realizar un número determinado de repites para que con ésta información determine si el resultado fuera de especificaciones es válido o no. - Cuando el resultado fuera de especificaciones es debido a un error de laboratorio es necesario establecer las acciones correctivas para evitar que se presente nuevamente. Las referencias consultadas también sugieren llevar a cabo la investigación en las siguientes etapas: Etapa 1. Notificar al supervisor y documentar el evento. Etapa 2. Si se identifica la causa se debe documentar y reanalizar la muestra, invalidando así el resultado fuera de especificaciones. Etapa 3. Si no se identifica inmediatamente una causa, se debe proceder a investigar las posibles causas apoyándose de una lista de verificación en donde se investigan los siguientes rubros: 1. Mano de obra. 2. Materiales. 3. Maquinaria (Equipo) 4. Métodos 5. Medio ambiente. 10 Estos cinco rubros son conocidos como las “cinco M’s” Si se identifica una causa se debe invalidar el resultado fuera de especificaciones y reanalizar la muestra, invalidando el resultado original ya que se identificó la causa del resultado fuera de especificaciones. Esta referencia siguiere extender la investigación a producción mientras de manera paralela se continua con la investigación en el laboratorio. Continuar la investigación de laboratorio si no se encuentra una causa asignable, se procede a realizar un reanálisis de la muestra original15 o una alícuota de la misma muestra16 para determinar la causa raíz del resultado inicial fuera de especificaciones Con base en la información anterior en la guía para la investigación de resultados fuera de especificaciones se detallan a continuación los pasos propuestos en la guía para investigar y documentar los resultados fuera de especificaciones: 1. Detección: Identificar si no se cometió algún error al que se le pueda atribuir el resultados fuera de especificaciones, de no encontrar la causa proceder a iniciar la investigación. (Formato A: Detección – Anexo 2) 2. Investigación Nivel 1: Investigación documental para determinar si algún o algunas de las principales fuentes de variación del método fue la causa del resultado fuera de especificaciones, en esta etapa se emplea la metodología del diagrama de Ishikawa, conocido también como de espinas de pescado, en el que se revisan: 1. Mano de obra. 2. Materiales. 3. Metodología. 4. Maquinaria (Equipo e instrumentos) 5. Medio Ambiente. (Formato B: InvestigaciónNivel 1 – Anexo 2) 3. Investigación Nivel 2: Realización de pruebas de laboratorio conocidos como reanálisis o reensayos, donde la muestra original ya preparada (normalmente en solución) es reanalizada bajo un plan establecido para determinar la causa asignable del resultado fuera de especificaciones. (Formato C: Investigación Nivel 2 – Anexo 2) 4. Protocolo de repites: En caso de no haber encontrado la causa asignable, se procede a realizar un número determinado de repites, definiendo “repite” como el número de muestras independientes que se preparan como marca el método analítico, el objetivo de hacer los repites es generar información adicional de la muestra, para que con base en ella determinar si el resultado original es o no un resultado fuera de especificaciones confirmado, para esta evaluación se evalúan en conjunto los resultados del repite y los resultados originales para determinar si el resultado fuera de especificaciones pertenece o no a la población de los resultados del repite. Formato D: Protocolo de Repites – Anexo 2. 11 5. Cierre de la investigación: Una vez terminadas las etapas anteriores se procede a cerrar la investigación. Formato E: Cierre- Anexo 2. 5.3 Resultado reportable Un resultado reportable es el resultado analítico final. Este resultado es apropiadamente definido en el procedimiento o instructivo de prueba escrito aprobado y es derivado de la ejecución completa del método partiendo de la muestra original7. Es importante asegurar que el resultado reportable este bien definido en la técnica analítica. Existen casos en donde se preparan 2 o 3 muestras de manera independiente siguiendo el procedimiento analítico, estableciendo el método que el valor reportable es el promedio de las mismas, esto es válido cuando se considera que se está partiendo de una muestra homogénea, por otra parte para este mismo análisis en el caso particular de cromatografía de líquidos, el procedimiento indica realizar réplicas de inyección de cada muestra, en este caso el resultado de cada una de las muestra será determinado tomando en cuenta el promedio de las áreas de la réplicas o el promedio de los resultados de las réplicas, de manera de obtener después del análisis tres resultados los cuales al promediarlos nos darán el resultado reportable, por supuesto que una variación inesperada en los valores individuales de la réplicas debe llevarnos a una investigación. Para evaluar la variación tanto entre los resultados de las réplicas como de las muestras independientes debe contarse en el método analítico con un criterio de aceptación, concluyendo con base en él si las réplicas o los resultados de las muestras pueden ser promediados. Si alguno de los resultados de las réplicas se encuentra fuera de especificaciones y el promedio se encuentra dentro de especificaciones, se considera el resultado reportable como fuera de especificaciones. 5.4 Promedio de resultados Existen usos apropiados e inapropiados para promediar resultados originales y obtener el resultado reportable. Usos apropiados. El promediar datos puede ser un procedimiento válido, si se asume que la muestra es homogénea, proporcionando resultados más exactos. En el caso de ensayos microbiológicos la Farmacopea de los Estados Unidos de América (USP) prefiere el uso de promedios debido a la variabilidad innata de los sistemas de prueba biológicos. Debe hacerse notar que un ensayo puede consistir de un número específico de réplicas para llegar al resultado. Por ejemplo un ensayo por cromatografía de líqudos (CLAR) puede ser determinado a partir del promedio de las respuestas de las áreas de un número consecutivo de réplicas de inyecciones de la misma preparación, normalmente 2 o 3. El resultado del ensayo puede ser calculado usando el promedio de la respuesta de las áreas. Esta determinación es considerada como una prueba y un resultado. 12 * Un solo resultado a partir del promedio de tres inyecciones El uso de replicas para obtener un resultado reportable sencillo y el número específico de réplicas a emplear, deben ser especificadas en el método. Para los casos en donde el resultado reportable se obtiene del promedio de réplicas, deben establecerse límites de aceptación para la variabilidad entre los resultados individuales de las réplicas, basados en la variación conocida del método, este criterio también debe establecerse en el método, si se tiene una serie de resultados de muestras que no cumplan con los criterios de aceptación no deben ser usados.1 Usos inapropiados El uso de los promedios tiene la desventaja de esconder la variabilidad entre los resultados individuales, un ejemplo de uso inapropiado son las pruebas de uniformidad de mezclado de polvos o la determinación de uniformidad de contenido en formas farmacéuticas, en éstos casos, el objetivo es precisamente medir la variabilidad, por que deben reportarse los valores individuales y evaluar la dispersión de los mismos. En el contexto de pruebas adicionales realizadas durante la investigación, promediar resultados originales con los resultados adicionales de los repites o de los remuestreos, no es apropiado ya que esconde la variabilidad entre los resultados individuales. El confiar en el promedio en este caso puede llevar a resultados equivocados cuando algunos resultados se encuentran dentro de especificaciones y otros se encuentran fuera de especificaciones. Es crítico que el laboratorio proporcione todos los resultados individuales para evaluación y consideración por la unidad de control de calidad, la cual es responsable de aprobar o rechazar los materiales y los productos terminados. Por ejemplo en el ensayo de un producto terminado con una especificación de 90 a 110 %, un resultado inicial de 89 % seguido de resultados adicionales de 90 y 91 %, daría un promedio del 90 %, el cual cumpliría con las especificaciones. En éste ejemplo los resultados individuales y no el promedio deben ser usados para evaluar la calidad del producto. Por lo tanto no es adecuado promediar un resultado fuera de especificaciones con uno o más resultados que cumplen con al especificación. 13El Juez Wolin en el caso Barr también estableció que el laboratorio no podía realizar dos análisis adicionales y liberar con el promedio de los tres resultados, asumiendo que hubo un error en la preparación de la muestra o en el muestreo y dándolo como justificación. Número de muestra Número de inyección Área Resultado del ensayo 1 1 1234067 ----- 1 2 1234923 ----- 1 3 1234675 ------ Promedio 1234555 DE 440.4361475 CV 0.04 99.7 %* 13 13Por ejemplo un ensayo por CLAR puede ser determinado por el promedio de la respuesta de las áreas de los picos de un número consecutivo de réplicas de inyecciones de la misma preparación, usualmente 2 o 3, el resultados del ensayo sería calculado usando el promedio de las áreas del pico, por ejemplo considere un resultado para un ensayo por CLAR con un criterio de aceptación de no menor a 98.0 % para el promedio de las cuatro inyecciones, si obtenemos los siguientes resultados: 98.0, 98.1, 98,2 y 97.9 % empleando un método validado, la pregunta sería, ¿ Es este un resultado fuera de especificaciones? En este caso prácticamente todos los participantes estarían de acuerdo en que no es un resultado fuera de especificaciones. El punto importante aquí es que los cuatro resultados representan un dato puntual y el promedio de los 4 datos, representa el resultado de la prueba, el cual es comparado contra la especificación. 30Aún en las situaciones donde promediar es aceptable, se debe ser cuidadoso si los valores están cercan del límite de aceptación y otros valores están fuera de especificaciones. Se debe tener atención de la calidad de los productos que los resultados de los reanálisis se encuentran muy cerca del límite de especificación,y que exista la tentación de promediar el resultado fuera de especificaciones y resultados que cumplen con las especificaciones, para obtener un resultado promedio que cumple. Si los lotes son formulados para tener el 100 % de la cantidad etiquetada del ingrediente activo, los resultados deben estar muy rara vez cercanos a los límites de aceptación, a menos que el lote este siendo evaluado durante los últimos estadios de estabilidad. En los casos en que todos los resultados de los reanálisis cumplan con la especificación, siempre es mejor reportar todos los resultados además del valor promedio en los reportes oficiales de resultados. 5.5 Remuestreo 7El remuestreo involucra analizar una muestra de unidades adicionales muestreadas con el procedimiento original de muestreo a menos que la investigación arroje como resultado que el procedimiento de muestreo no es el adecuado, en este caso debe desarrollarse un nuevo procedimiento de muestreo. En algunas ocasiones la muestra pudo haber sido adulterada por alguna ruptura en el contenedor, por exposición a la luz, calor o humedad, en estos casos se documenta en la causa y se proceder a realizar un nuevo muestreo.11 La muestra original muestreada del lote debe ser en cantidad suficiente para realizar análisis adicionales (repites) en caso de que se obtenga un resultado fuera de especificaciones. Sin embargo en algunas situaciones puede ser apropiado colectar una muestra adicional del lote. Con base en esta información se establece que no es válido solicitar un nuevo muestreo, con la finalidad de determinar si con la nueva muestra se obtiene un resultado dentro de especificaciones. 5.6 Extensión de la investigación a otros lotes Cuando se obtiene un resultado fuera de especificaciones y se ha identificado la causa, no se debe dar por hecho que es un caso aislado, la investigación debe extenderse a otros lotes de producto que pueden estar asociados o afectados por la causa encontrada.7 14 5.7 Documentación de resultados fuera de especificaciones en varios lotes Se incluyen a continuación sugerencias para el manejo documental de los reportes de investigación de manera de evitar documentar innecesariamente en varios reportes de investigaciones, situaciones que pueden ser reportadas en el mismo reporte, como son los casos de varios lotes en el mismo análisis con resultados fuera de especificaciones o un mismo lote con más de una prueba con resultados fuera de especificaciones. Cuando más de un lote o producto es investigado por el mismo tipo de resultado obtenido en la misma corrida de análisis, por ejemplo resultados bajos, será suficiente con documentarlo en un solo Reporte de Investigación de Laboratorio (RIL), todos los lotes afectados deben ser claramente enlistados. Dos o más investigaciones para el mismo material pueden ser documentadas en un solo Reporte de investigación, pero cada uno de los eventos deber ser claramente explicados, por ejemplo cuando una muestra cromatográfica muestra un pico desconocido y un resultado de menor al esperado. 5.8 Evaluación de resultados fuera de especificaciones en pruebas donde los compendios permiten llevar a cabo varias etapas Se clarifica en el siguiente párrafo que para las pruebas en donde los compendios o guía de análisis establecen que cuando no se cumplen con las especificaciones en una primera etapa, se debe pasar a una siguiente etapa, sin que sea necesario elaborar un reporte de investigación, sino hasta que se ha llegado a la última etapa establecida en caso que no cumpla con la especificación, esto con la finalidad evitar comenzar una investigación cuando en realidad aún no se tiene un resultado fuera de especificaciones, esta situación con base en la experiencia se presenta con frecuencia, de ahí la importancia de incluirlo en esta propuesta de guía. En los casos en los que el compendio o especificación, permita continuar con la prueba en una segunda etapa más como son los casos de la disolución (S1, S2 y S3) o la uniformidad de contenido (L1,L2), no se requiere elaborar un Reporte de Investigación cuando se tiene un resultado inicial que no cumple con las especificaciones, la prueba se continua hasta terminar las etapas permitidas, a menos que sea detectado un error de laboratorio claramente identificado. Repites más allá de los establecidos en el compendio no son permitidos. Sin embargo al terminar las etapas permitidas, se deberá elaborar un Reporte de Investigación para documentar el resultado fuera de especificaciones e iniciar la investigación correspondiente.7 Es importante mencionar que a pesar que el compendio o la especificación permita continuar el análisis en otras etapas, hay que considerar que si el producto se está comportando de manera atípica en relación a otros lotes del mismo producto, será necesario documentarlo con un reporte de investigación como resultado atípico, a pesar que el producto cumpliera con la especificación en alguna de las siguientes etapas. 15 5.9 Justificación del número de repites Los resultados de las inspecciones realizadas por la FDA, posteriores al caso Barr, revelaron que algunas compañías cuando obtenían un resultado fuera de especificaciones, empleaban la estrategia de repetir el análisis hasta que se obtenía un resultado que cumplía con las especificaciones, descartando los resultados fuera de especificaciones sin una justificación científica. Esta práctica de realizar análisis “hasta que el producto cumpla” no tiene fundamento científico y es totalmente objetable de acuerdo a las Buenas Prácticas de Fabricación actuales. El número máximo de repites a realizar deben de especificarse por adelantado en un procedimiento de operación, el número puede depender según la variabilidad del método empleado, pero debe estar soportado científicamente. El número de repites no debe ser ajustado según el resultado obtenido. El procedimiento debe indicar hasta que punto los repites se terminan y el lote debe ser evaluado. Cualquier desviación a este procedimiento del número de repites debe ser rara y debe ser documentada y aprobada previamente de acuerdo al sistema de desviaciones o no conformidades7. En las decisiones del caso Barr, el juez opinó que se debe contar con 7 resultados que cumplan con la especificación para no considerar como válido un resultado fuera de especificaciones, esto ocasionó que un número de compañías adoptaran la regla de “siete réplicas”, este procedimiento y los testimonios que originalmente llevaron al juez a esta conclusión no tienen fundamentos científicos. A continuación se describen varios métodos estadísticos para determinar el número de repites, ya que actualmente en la industria las prácticas a este respecto son muy diversas, por lo que se puede encontrar más de una metodología válida científicamente sustentada De acuerdo a la referencia 32: Compliance Hanbook for Pharmaceuticals, Medical Devices, and biological, Drugs and the Pharmaceutical Sciencies, Volume 136, edited by Carmen Medina: Técnica propuesta por L. Torbeck28, quién trabajo por muchos años como experto de grupo de estadística de USP y ahora trabaja como consultor, de acuerdo a este autor, la preguntar a contestar será: ¿Qué tan grande debe ser la muestra?, esta es una pregunta que no es fácilmente resuelta. Primeramente necesitamos un estimado previo de la variación inherente, la varianza, bajo las mismas condiciones que serán empleadas en la investigación. Lo que se requiere es un estimado del nivel de riesgo α, el cual está definido como él % de probabilidad de que exista una diferencia significativa entre las muestra cuando realmente no hay, lo cual es llamado error tipo 1, así como el nivel de riesgo β el cual es la probabilidad de concluir que no hay diferencia significativa entre dos promedios cuando realmente la hay, conocido como error tipo 2 y la diferencia entre el resultado fuera deespecificaciones y el valor límite. La fórmula propuesta por Torbeck es: 16 Donde: = Valores de la distribución t para valores de riesgo seleccionados α y β, los cuales son: 0.05 y 0.01, los cuales se consideran valores estandarizados para las principales aplicaciones científicas y tecnológicas. = Varianza asociada con la variabilidad total del producto/proceso/método analítico. = Diferencia entre el resultado fuera de especificaciones y el valor de la especificación. Si realizamos algunas consideraciones como: 1. Se conoce la precisión intermedia del método con base en la validación del método 2. Se cuenta con un número de lotes fabricados para estimar la variabilidad del proceso 3. El porcentaje de recobro del método está representado por una distribución normal centrada al 100 %, se pueden obtener los valores de la tabla siguiente por medio de quasi-simulación empleando la fórmula anterior Ejemplo del uso de la tabla 1 “Tamaño de muestra para llevar a cabo el protocolo de repites” Considere que tenemos un producto cuya especificación para el ensayo es de 90.0 -110.0 % y la precisión del método analítico es de 2.0 %, el valor del número de repites que le corresponde sería de 5. Tabla 1 “Tamaño de muestra para llevar a cabo el protocolo de repites” Especificación 0.1 % 0.2 % 0.5 % 1.0 % 1.5 % 2.0 % 2.5 % 3.0 % 3.5 % 99-101 3 5 21 79 175 98-102 2 3 7 21 45 79 122 175 238 95-105 1 2 3 5 9 14 21 29 39 90-110 1 1 2 3 4 5 7 9 11 85-115 1 1 2 3 3 4 4 5 6 75-125 1 1 1 2 3 3 3 3 4 Nota: Cp = 1.0. Consideraciones: una muestra, medida en % de recobro, promedio al 100 %, distribución normal, se desea detectar una diferencia de una desviación estándar en el rango de la especificación. Método de la desviación estándar relativa y promedio28 Se presenta a continuación otro método para determinar el número de repites con base en la referencia 28. Este método puede ser empleado para la determinación del ensayo de formas farmacéuticas sólidas u de otro tipo donde además de la prueba del ensayo se tienen resultados de la prueba de uniformidad de dosis, empleando la desviación estándar de la prueba de uniformidad de contenido y el promedio, se estaría empleando un valor sobre 17 estimado de la variabilidad del ensayo y al mismo tiempo conservador el cual se puede calcular el tamaño de la muestra para la prueba de repites con base en la tabla 2 obtenida por iteración. Tabla 2 “Estimado del número de muestras a ser analizadas basadas en un estimado del promedio y la DER, a un solo lado y con un límite de confiabilidad del 99 %”. Valor promedio del ensayo (%) % DER (CV) 94 96 98 100 1 4 3 3 3 2 5 4 3 3 3 7 5 4 4 4 9 6 5 4 5 12 7 6 5 6 16 9 7 6 De la tabla 2, se puede observar que conforme el promedio de la uniformidad de dosis se acerca al valor del 100 % el número de muestras para el repite disminuye, así mismo al incrementar la DER de la prueba de uniformidad de dosis el número de muestras para el repite se incrementa, Ejemplo: Considere que la especificación para el ensayo de un ingrediente activo es de 90.0 – 110.0 %, y se obtiene un resultado para el ensayo de 89 % en la muestra compuesta de 20 tabletas. De los datos del mismo lote de la prueba de Uniformidad de dosis, se tiene un promedio de 97 % con una DER de 4 %, de la tabla superior, obtenemos que el tamaño de muestra para el repite debe ser entre 6 y 5, recomendando seleccionar 6 por ser el más conservador. Las opciones anteriores propuestas pueden ser empleadas por las compañías para definir el número de muestras a analizar para reportar con el resultado promedio del repite, en lugar del resultado original. Práctica actual en la industria para realizar repites La práctica actual en la industria es realizar entre 3 y 9 muestras para el repite17, el artículo que lo menciona comenta que a pesar que la FDA ni otras agencias regulatorias dan una guía de cuántas muestras hay que analizar cuando se tiene un resultado fuera de especificaciones para el cual no se ha identificado su causa raíz, después de visitar más e 50 sitios alrededor del mundo y platicar con 150 personas, Russ Rutledge comenta que de 3 a 9 muestras han sido aceptables para la FDA, también comenta que para los análisis por CLAR de 5 a 7 muestras es el número que se debería realizar y que para materiales en proceso o materias primas algunas compañías manejan 3 muestras. El número de réplicas propuesto para esta guía es de 3 para resultados obtenidos de un análisis sencillo y 5 para resultados fuera de especificaciones obtenidos de un análisis por duplicado. Cada empresa debe decidir cuántas muestras debe analizar e incluirlo en su procedimiento estándar de operación para investigación de resultados fuera de especificaciones. 18 Los repites deben realizarse sobre la misma muestra original y deben documentarse previamente en el protocolo de repites. 5.10 Evaluación de los resultados del repite para determinar si se confirma o no el resultado fuera de especificaciones En ninguna de las referencias consultadas menciona como evaluar y concluir con base en los resultados del repite, la pregunta es a contestar en este punto es: ¿ Los resultados del repite confirman o no el resultado fuera de especificaciones? o ¿ Con base en ellos se pueden considerar como no válidos los resultados originales? El procedimiento que se propone a continuación considera que los datos provienen de una distribución normal, considerando 3 desviaciones estándar hacia arriba o hacia abajo con respecto al promedio obtenido de los repites obtendremos un intervalo confiable en el que se encuentra el valor de la característica que estamos midiendo, si el intervalo incluye al resultado original fuera de especificaciones, se considera que el repite confirma el resultados fuera de especificaciones, si el resultado original no se encuentra en el intervalo se considera que el resultado no se confirma. Esto quiere decir que si el resultado original está dentro de 3 desviaciones estándar del promedio de los resultados del repite, o si algunos de los reanálisis esta fuera de especificaciones el resultado original fuera de especificaciones se confirma. Si el resultado original fuera de especificaciones esta fuera de 3 desviaciones estándar del promedio del repite o si todos los resultados del reanálisis están dentro de especificaciones, el resultado fuera de especificaciones no es confirmado y el promedio de los resultados del reanálisis son considerados como los resultado finales válidos. El uso de tres desviaciones estándar elimina la ambigüedad acerca de la evaluación de los datos. Ejemplo: Un resultado inicial para el ensayo de 88.4 %, fue obtenido en la valoración para un producto terminado, la especificación registrada es de 90.0 - 110.0%, no se encontró una causa asignable durante la investigación y se realizaron los repites correspondientes. 19 Caso 1. Confirmación del resultado fuera de especificaciones. Resultados del repite: Número de muestra % 1 91.0 2 90.4 3 89.8 4 92.3 5 91.7 Realizando los cálculos: 91.0 90.4 89.8 92.3 91.7 Promedio 91.04 Desviación estándar (DE) 0.996493853 3 X Desviación estándar 2.98948156 Promedio +3 DE 94.03 Promedio - 3 DE 88.05 Promedio +/- 3 DE 94.03 % - 88.05 % Se observa que el resultado inicial de 88.4 % se encuentra dentro del intervalo del repite, por lo tanto el resultado inicial fuera de especificaciones se confirma, 88.4% es el resultado final reportable. Caso 2: No se confirma el resultado inicial fuera de especificaciones: Resultados del repite: Número de muestra % 1 91.0 2 90.4 3 90.8 4 92.3 5 91.7 20 Realizando los cálculos: 91.0 90.4 90.892.3 91.7 Promedio 91.24 Desviación estándar (DE) 0.756967635 3 X Desviación estándar 2.270902904 Promedio +3 DE 93.51 Promedio - 3 DE 88.97 Promedio +/- 3 DE 93.51 % - 88.97 % Se observa que el resultado inicial de 88.4 % NO se encuentra dentro del intervalo del repite, por lo tanto el resultado inicial fuera de especificaciones no se confirma, en este caso el resultado reportable es el promedio de los repites: 91.2 %, en este caso también los resultados originales se anexan a la documentación del análisis. 5.11 Identificación y manejo estadístico de resultados atípicos y aberrantes Las Buenas Prácticas de Fabricación requieren que los criterios estadísticos válidos de control de calidad, incluyan niveles apropiados de aceptación y rechazo7. En raras ocasiones puede obtenerse un valor que es marcadamente diferente a los otros valores de la serie usando un método validado. Este valor puede calificar como un resultado estadísticamente aberrante. Un resultado aberrante puede resultar de una desviación al método analítico o puede deberse a la variabilidad de la muestra. Nunca debe asumirse que la razón del resultado fuera de especificaciones o del resultado aberrante es un error en el procedimiento de prueba, en lugar de la variabilidad en la muestra analizada. Una prueba de resultados aberrantes es un procedimiento estadístico para identificar aquellos datos que son extremos. El uso posible de las pruebas de resultados aberrantes debe determinarse previamente y debe quedar escrito en un procedimiento normalizado de operación, que indique la interpretación de los datos y la forma de documentarlos. El procedimiento normalizado de operación debe incluir la prueba específica de resultados aberrantes que debe ser aplicada con los parámetros específicos relevantes de manera previa. El procedimiento debe incluir el número mínimo de resultados requeridos para obtener un resultado estadísticamente significativo para la prueba de resultados aberrantes especificada. Para los ensayos biológicos los cuales tienen una gran variabilidad, una prueba de resultados aberrantes puede ser un análisis estadísticamente apropiado para identificar aquellos resultados que son estadísticamente observaciones extremas. La USP describe las pruebas de resultados aberrantes en el capítulo general (111) Diseño y Análisis de valoraciones biológicas18. En estos casos la observación aberrante es omitida de los cálculos. La USP también establece que un descarte o retención arbitrario de una respuesta aparentemente aberrante puede ser una fuente importante de error, el descarte 21 de observaciones basado solamente en la base de sus magnitudes es un procedimiento que debe ser usado con poca frecuencia. Para métodos químicos validados con una varianza relativamente pequeña y si la muestra ensayada puede considerarse homogénea (por ejemplo, una valoración de un pool de una muestra de producto terminado para determinar su potencia), una prueba de resultados aberrantes también puede ser empleada. Una prueba de resultados aberrantes es solamente un análisis estadístico de los datos obtenidos del análisis original y de los repites. Esta prueba no identificará la causa de la observación extrema, y por lo tanto, no debe ser usada para invalidar el resultado inicial sospechoso de ser fuera de especificaciones. Ocasionalmente, una prueba de resultados aberrantes puede ser de algún valor, para estimar la probabilidad de que el resultado fuera de especificaciones es un resultado que no concuerda con el grupo de datos, y ésta información puede ser usada de manera auxiliar, para evaluar la significancia del resultado. Las pruebas de resultados aberrantes no tienen aplicabilidad en los casos donde la variabilidad del producto es precisamente lo que se está determinando, como son las pruebas de uniformidad de contenido, disolución, velocidad de liberación. En estos casos un valor que se percibe como un resultado aberrante puede ser en realidad un resultado exacto de un producto no uniforme. Cuando se emplean las pruebas de resultados aberrantes, durante las pruebas adicionales de investigación de resultados fuera de especificaciones, es crítico para el laboratorio proporcionar todos los resultados a la unidad de Control de Calidad para su evaluación y consideración en la decisión final de disposición del lote. Cuando un laboratorio tercero autorizado no determina la causa asignable de un resultado fuera de especificaciones, todos los resultados deben ser reportados al cliente en el certificado de análisis, el laboratorio tercero autorizado previo acuerdo con el cliente debe seguir su procedimiento interno o el proporcionado por el cliente. Hay que hacer hincapié que a pesar que en la guía para la investigación de resultados fuera especificaciones de la FDA7, no menciona que pueden ser usada para métodos químicos, las pruebas de resultados aberrantes son ampliamente usadas y aceptadas en diversos campos de la ciencia y la tecnología19. La formulas usadas en las pruebas de resultados aberrantes tienen fundamentos firmes basados en las matemáticas y la estadística, basándose en una prueba de hipótesis probando si el resultado “aberrante obtenido” pertenece o no la población, la Farmacopea de los Estados Unidos de América (USP) intento tomar rápida acción para incluir las prueba de resultados aberrantes para pruebas químicas, pero la agencia de drogas y alimentos de Estados Unidos (FDA), no lo acepto por el peso que representó la decisión del juez Wolin en el caso Barr de aceptar solo las pruebas de resultados aberrantes para resultados biológicos19. Parece que la FDA piensa que el uso de una prueba de resultados aberrantes ocasionará que sea más fácil descartar un resultado fuera de especificaciones. Esto es una interpretación incorrecta de las pruebas de resultados aberrantes19. En algunas industrias una prueba de resultados aberrantes es empleada para descartar un resultado inusual, en el caso de la industria farmacéutica, el resultado es la realización de una investigación para determinar su causa19. Otros institutos y organizaciones como NIST y el AOAC recomiendan también el uso de las pruebas de resultados aberrantes para ensayos químicos20. 22 También la teoría estadística indica que encontrar un resultado aberrante verdadero debe ser un evento poco frecuente. Obtener resultados fuera de especificaciones frecuentemente nos lleva a dudar sobre la validez del procedimiento de prueba, o sobre su aplicación apropiada2. El presente trabajo concuerda con ésta última idea de aceptar el uso de pruebas para resultados aberrantes en el caso de métodos químicos, como soporte de la investigación, no como herramienta única para descartar resultados, a continuación se presentan algunas opciones para la evaluación de resultados aberrantes. 5.11.1 Prueba de Dixon. También llamada Q-test para resultados aberrantes. Esta prueba nos permite evaluar un solo dato a la vez, de un pequeño conjunto de réplicas de datos (3 a 25). No aplica a los datos remanentes de dicho conjunto para determinar si otro dato del mismo grupo es aberrante. Esta prueba es válida bajo el supuesto de que los datos de la muestra a evaluar provienen de una población con distribución normal (lo cual es el caso de los datos analíticos). Una ventaja de esta prueba es que no es necesario determinar la desviación estándar21. La prueba de Dixon21 emplea rangos y subrangos de los datos dependiendo del número de datos, tenemos dos casos el primero en donde el valor que se sospecha es un valor aberrante es el valor menor y cuando el valor que se sospecha es aberrante es el mayor. Caso 1. Cuando el valor que se sospecha es aberrante es el menor. A continuación se presentan las fórmulas si se sospecha que el valor menor es un resultado aberrante21, dependiendo del tamaño de la muestra. Tamaño de muestra Si X1 es elresultado sospechoso Ecuación número 3 < n < 7 1 8 < n < 10 2 11 < n < 13 3 14 < n < 25 4 23 Caso 2. Cuando el valor que se sospecha es aberrante, se deben emplear las siguientes fórmulas dependiendo del tamaño de la muestra. Tamaño de muestra Si Xn es el resultado sospechoso Ecuación número 3 < n < 7 5 8 < n < 10 6 11 < n < 13 7 14 < n < 25 8 La hipótesis nula (Ho) asociada con la prueba de Dixon es: “No hay diferencia significativa entre el dato sospechoso con el resto del conjunto de los mismos. Cualquier diferencia se debe atribuir exclusivamente a errores aleatorios”. PROCEDIMIENTO 1. Ordenar el conjunto de datos en orden ascendente: X1<X2<…XN. Donde X1 es el valor más pequeño y XN es el valor más grande. 2. Calcular el estadístico experimental Qcalc con base en las fórmulas mencionadas. 3. Comparar el valor de Qcalc. contra el valor de Q crítico obtenido de la tabla de valores críticos de Q. (Qcrít.) a un nivel de confianza del 95%. 4. Si Qcalc.> Qcrít., entonces se confirma que el dato sospechoso es un dato aberrante. Tabla 3 “Valores críticos de Q*” N Qcrit (90%) Qcrit (95%) Qcrit (99%) 3 0.941 0.970 0.994 4 0.765 0.829 0.926 5 0.642 0.710 0.821 6 0.560 0.625 0.740 7 0.507 0.568 0.680 8 0.468 0.526 0.634 9 0.437 0.493 0.598 10 0.412 0.466 0.568 *Tabla de valores críticos de Q (Qcrít.) a niveles de confianza del 90%, 95% y 99%, para N= 3-10, obtenida del D.B. Rorabacher, Anal. Chem. 63 (1991) 139. 24 5.11.2 Prueba de desviación estudentizada extrema (ESD) Generalizada8 Esta es una versión modificada de la prueba ESD que permite analizar hasta un número previamente especificado, “r”, de resultados aberrantes de una población normalmente distribuida. Supongamos que r es igual a 2 y que n es igual a 10. Ejemplo: Considerando el siguiente conjunto de 10 mediciones: 100.0, 100.1, 100.3, 100.0, 99.7, 99.9, 100.2, 99.5, 100.0 y 95.7. Paso 1 (n=10) Normalizar cada resultado restando la media a cada valor y dividiendo esta diferencia por la desviación estándar. PASO 1 Valor individual Valor obtenido – Valor promedio Diferencia (DIF) DIF/DE Resultado DIF /DE Valor absoluto Resultado DIF /DE 100 100-99.54 0.46 0.46/1.3688 0.336 0.336 100.1 100.1-99.54 0.56 0.56/1.3688 0.409 0.409 100.3 100.3-99.54 0.76 0.76/1.3688 0.555 0.555 100 100-99.54 0.46 0.46/1.3688 0.336 0.336 99.7 99.7-99.54 0.16 0.16/1.3688 0.117 0.117 99.9 99.9-99.54 0.36 0.36/1.3688 0.263 0.263 100.2 100.2-99.54 0.66 0.66/1.3688 0.482 0.482 99.5 99.5-99.54 -0.04 -0.04/1.3688 - 0.029 0.029 100 100-99.54 0.46 0.46/1.3688 0.336 0.336 95.7 95.7-99.54 -3.84 -3.84/1.3688 - 2.805 2.805 Promedio 99.54 Desviación estándar (DE) 1.3688 Tomar el valor absoluto de estos resultados, seleccionar el valor máximo (|R1| = 2.805), y compararlo con un valor crítico tabulado, previamente especificado, λ1 (2.290) basado en el nivel de significancia seleccionado (por ejemplo 5 %). El valor máximo es más grande que el valor tabulado y se determina que no concuerda con los resultados restantes, por lo tanto es un resultado aberrante. Las fuentes de los valores de λ, se incluyen en muchos textos de estadística. Las tablas estadísticas deben usarse con cautela para asegurarse de utilizar las notaciones correctas (es decir el nivel de error aceptable) cuando se extraen los valores de la tabla. Paso 2 (n=9). Eliminar la observación correspondiente al resultado normalizado absoluto máximo del conjunto de datos originales de modo tal que n sea ahora igual a 9. Nuevamente determinar el promedio y la desviación estándar, normalizar cada valor y tomar el valor absoluto de estos resultados. Determinar el máximo de los valores absolutos de los 9 resultados normalizados (|R2| = 1.905), y compararlo con λ2 (2.215). El valor máximo no es mayor que el valor tabulado. 25 PASO 2 Valor individual Valor obtenido – Valor promedio Diferencia (DIF) DIF/DE Resultado DIF /DE Valor absoluto Resultado DIF /DE 100 100-99.96 0.033 0.033/0.2449 0.136 0.136 100.1 100.1-99.96 0.133 0.133/0.2449 0.544 0.544 100.3 100.3-99.96 0.333 0.333/0.2449 1.361 1.361 100 100-99.96 0.033 0.033/0.2449 0.136 0.136 99.7 100-99.96 -0.266 -0.266/0.2449 -1.089 1.089 99.9 100-99.96 -0.066 -0.066/0.2449 -0.272 0.272 100.2 100-99.96 0.233 0.233/0.2449 0.953 0.953 99.5 100-99.96 -0.466 -0.466/0.2449 -1.905 1.905 100 100-99.96 0.0333 0.0333/0.2449 0.136 0.136 Promedio 99.96 Desviación estándar (DE) 0.2449 Conclusión: El resultado más extremo (Paso 1), 95.7, se declara resultado aberrante, pero el segundo resultado más extremo (Paso 2), 99.5, no es un resultado aberrante. 5.11.3 Regla de Hampel8 Ejemplo: El mismo mencionado para la prueba desviación estudentizada extrema generalizada. Paso 1: El primer paso para aplicar la Regla de Hampel es normalizar los datos. No obstante en lugar de restar el promedio de cada dato y dividir la diferencia por la desviación estándar, se resta el promedio de cada dato y las diferencias resultantes se dividen por la MAD. El cálculo de MAD se realiza en tres pasos. En el paso 1 se resta la mediana de cada dato, a continuación se obtienen los valores absolutos de las diferencias que se denominan desviaciones absolutas. Por último se calcula la mediana de las desviaciones absolutas y se multiplica por la constante 1.483 para obtener la MAD. 26 PASO 1 Valores Valor - Mediana Resultado Desviaciones Valor - Mediana Valor Absoluto Desviaciones Valor - Mediana 100.3 100.3 - 100 0.3 0.3 100.2 100.2 - 100 0.2 0.2 100.1 100.1 - 100 0.1 0.1 100 100 –100 0 0.0 100 100 –100 0 0.0 100 100 –100 0 0.0 99.9 99.9 - 100 -0.1 0.1 99.7 99.7 - 100 -0.3 0.3 99.5 99.5 - 100 -0.5 0.5 95.7 95.7 - 100 -4.3 4.3 Promedio 99.54 Mediana 100 Desviación estándar (DE) 1.368860029 Mediana Desv Abs 0.150 MAD 0.22245 Paso 2: El segundo paso es tomar el valor absoluto de los datos normalizados. Cualquier resultado mayor que 3.4 se declara como un resultado aberrante. El valor de 95.7 vuelve a identificarse como un resultado aberrante. Luego, este valor puede extraerse del conjunto de datos y volver a aplicarle la Regla de Hampel a los datos restantes. Al igual que en los ejemplos anteriores, 99.5 no se considera un resultado aberrante. 5.11.4 Regla de “Huge”21 La regla de Huge es un método para detectar valores aberrantes que se basa en comparar el promedio y la desviación estándar de la muestra con y sin el valor que se sospecha es aberrante. Una regla general muy usada es excluir el valor aberrante si éste está a más de 4 desviaciones estándar de la media (Propuestos por Marascuilo en 1971). El soporte racional de esta prueba es que es extremadamente improbable (p<0.00005) a más de cuatro desviaciones estándar del valor esperado central de la distribución. La diferencia en desviaciones estándar, se mide entre el promedio y valor potencialmente aberrante: 27 Donde: y son el promedio y la desviación estándar calculados de la serie de datos, sin considerar el valor considerado aberrante , si el valor de M es > a 4 entonces el datos evaluado puede considerarse como un valor aberrante. Ejemplo: Considere las siguientes observaciones: 99.3 99.7 98.6 99.0 99.1 99.3 99.5 98.0 98.9 99.4 99.0 99.4 99.2 98.8 99.2 ¿Se puede considerar el valor de 98.0 como un resultado aberrante? Se calcula el promedio y la desviación estándar sin considerar el valor considerado como aberrante. Promedio con n= 14 (sin considerar el valor de 98.0) = 99.17. Desviación estándar con n= 14 (sinconsiderar el valor de 98.0) = 0.29. Calculando el número de desviaciones estándar de diferencia con respecto al promedio tenemos: Ya que el valor obtenido es mayor a 4, se considera estadísticamente como un resultado aberrante. 5.11.5 Prueba de Grubbs´30 Para aplicar la prueba de Grubbs´ se ordenan las observaciones de la más pequeña a la más grande , se calcula el promedio y la desviación estándar de todas las observaciones de la serie de datos, se utiliza para el cálculo de estadístico T una de las siguientes fórmulas según sea el valor más bajo o más alto el que sospecha sea el resultado aberrante. o El valor más bajo es El valor más alto es el sospechoso el sospechoso 28 El valor de T calculado es comparado contra un valor crítico de tablas, basado en el tamaño de muestra n para un valor de α determinado. Una vez más el valor de α representa para el analista el control del error permitido. Si empleamos un nivel de 5 %, esto quiere decir que pudiéramos descartar incorrectamente un valor como aberrante 1 vez de cada 20. Si el valor de T calculado es mayor que el valor crítico de tablas (Anexo 4), el valor puede ser rechazado como un valor aberrante, Ejemplo: Considere las siguientes observaciones: 99.3 99.7 98.6 99.0 99.1 99.3 99.5 98.0 98.9 99.4 99.0 99.4 99.2 98.8 99.2 ¿Se puede considerar el valor de 98.0 como un resultado aberrante? Se calcula el promedio y la desviación estándar considerado todos los valores. Promedio con n= 15 = 99.09 Desviación estándar con n= 15 = 0.41 Aplicando la fórmula: Se compara el valor calculado de T contra el valor de tabla con n=15 y un valor de α de 0.05 = 2.409, ya que el valor de 2.66 calculado excede el valor de tablas de 2.409 se puede considerar el valor de 98.0 estadísticamente como un valor aberrante. La prueba de Dixon y la prueba de Grubbs´ no siempre coinciden en el resultado de descartar un resultado sospechoso de ser aberrante, especialmente cuando los resultados están muy cercanos al error permitido (por ejemplo nivel del 5 %). La simplicidad de la prueba de Dixon es el principal beneficio cuando se trabaja con muestras pequeñas y solamente se sospecha que una observación es un resultado aberrante. La prueba de Grubbs´ requiere de más cálculos como es el promedio y la desviación estándar, pero es considerada tener una mayor potencia de entre las dos pruebas. También la prueba de Grubbs´ puede ser empleada si hay más de un resultado aberrante. 29 5.11.6 Prueba de Cochran’s La prueba de Cochran’s es una prueba para valores aberrantes que emplea la variabilidad de los datos y es muy usada para comparar los resultados obtenidos en estudios interlaboratorios, no solamente es posible tener valores individuales aberrantes dentro de un grupo, sino también sino también entre diferentes grupos con respecto a los resultados entre por ejemplo diferentes laboratorios.22 Para llevar a cabo la prueba se compara la varianza más grande contra la suma de todas las varianzas, la varianza no es otra cosa que el cuadrado de la desviación estándar. La fórmula que se emplea es la siguiente14: donde smax es la desviación estándar mayor dentro del conjunto Si es estadístico de la prueba C excede el valor crítico de tablas, excede el valor crítico de tablas al 1 % o 5 % de confiabilidad, se concluye con base en los siguientes criterios. a) Si el estadístico de prueba es menor o igual al 5% de su valor critico, el elemento verificado se toma como correcto.14 b) Si el estadístico de prueba es mayor que el 5% de su valor crítico y menor o igual que el 1 % de dicho valor crítico, el elemento verificado es dudoso y se indica por medio de un sólo asterisco. c) Si el estadístico de prueba es mayor que el 1 % de su valor crítico, el elemento se denomina estadísticamente anómalo y se indica por medio de un doble asterisco. 22La prueba de Cochran´s asume que el número de réplicas entre los grupos es el mismo o al menos similar (+/- 1), esto se puede dar al tener datos faltantes o descartados14, si consideramos los experimentos bien organizados las variaciones en el número de datos en el grupo serán limitadas y pueden ser ignoradas14, el valor entonces de “n”, que se considera es el que ser presenta más veces en el experimento o calculado mediante el promedio14, también asume que ninguno de los datos ha sido redondeado y que hay un número suficiente de réplicas para obtener un estimado aceptable de la varianza. La prueba de Cochran´s no debe ser empleada de manera iterativa (después de evaluar la varianza sospechosa evaluar la siguiente etc.), ya que puede llevar a concluir que un gran porcentaje de los datos se consideran como aberrantes. 30 El criterio de Cochran´s verifica únicamente el valor más grande de un conjunto de desviaciones estándar, siendo por ello una prueba unilateral para valores aberrantes23. Cuando el número de réplicas por experimento es bajo, por ejemplo dos réplicas, es posible en lugar de calcular la desviación estándar calcular la diferencia entre los valores de las dos determinaciones y tomar esta diferencia como equivalente para el cálculo de la suma del cuadrado de la varianzas. Si la desviación estándar más grande se determina que proviene de una serie de valores aberrantes, debe omitirse dicho valor y realizar nuevamente la prueba de Cochran´s con los valores restantes. Este proceso puede repetirse pero puede conducir a excesivos rechazos. 6. DESARROLLO Para llevar a cabo el presente trabajo se siguieron los pasos que a continuación se enlistan, con base en los cuales se desarrolla la guía propuesta para la investigación de resultados fuera de especificaciones. 1. Evaluación del procedimiento para la investigación de fallas con el que cuenta el laboratorio tercero autorizado 2. Revisión bibliohemerográfica 3. Estructuración de la guía que describa paso a paso como llevar a cabo la investigación de resultados fuera de especificaciones 4. Aplicación de la guía a la investigación de casos reales, para determinar la causa raíz y el establecimiento del plan de acción. 7. RESULTADOS 7.1 Evaluación del procedimiento para la investigación de fallas/resultados fuera de especificaciones del laboratorio tercero autorizado Se procedió a revisar el procedimiento de investigación de fallas con el que contaba el laboratorio tercero autorizado, encontrando las siguientes deficiencias: 1. El procedimiento no incluye a detalle las responsabilidades del los puestos involucrados en la investigación 2. El procedimiento en el alcance solo indica que aplica a las áreas de laboratorio pero no menciona a qué tipo de resultados aplica 31 3. El procedimiento no incluye todos los términos relacionados a investigación de resultados fuera de especificaciones 4. Algunos de los términos empleados no concuerdan con las guías nacionales e internacionales, que debe cumplir el laboratorio tercero autorizado 5. El procedimiento no incluye la investigación de resultados atípicos o cuestionables y resultados aberrantes 6. No incluye lineamientos sobre cuando es apropiado y cuando no es apropiado promediar resultados 7. Establece la realización de un número determinado de repites sin un soporte estadístico de los mismos 8. No indica el tratamiento estadístico de los resultados del repite y del resultado original para indicar si los resultados del repite, confirman o no el resultado original fuera de especificaciones 9. No indica cuando se debe realizar un remuestreo 10. No especifica cómo manejar estadísticamente los resultados aberrantes11. No incluye el establecimiento de acciones correctivas para eliminar la causa raíz 12. No menciona el procedimiento como documentar el establecimiento de las acciones correctivas y preventivas 13. El procedimiento no incluye la figura de un responsable único para la administración del sistema de investigación de resultados fuera de especificaciones 14. El procedimiento no indica los tiempos para cada una de las etapas de la investigación 7.2 Revisión bibliohemerográfica Se realizó una revisión bibliográfica en artículos de revistas reconocidas como el pharmaceutical technology, Biopharm Intenational, Journal of Pharmaceutical and Biomedical Analysis, en libros de estadística farmacéutica y en los reglamentos aplicables al área de la salud, así como a la guía para la investigación de resultados fuera de especificaciones de la Food and Drug Administration (FDA), normas de la American Standard Testing Materials (ASTM), normas mexicana para la industria farmacéutica, Farmacopea de los estados unidos mexicanos (FEUM), Farmacopea de los Estados Unidos de América (USP) y de la Organización Internacional de Estandarización (ISO). 32 7.3. Propuesta de guía para la investigación de resultados fuera de especificaciones A continuación se presenta la propuesta de guía la cual detalla los pasos para documentar y para llevar a cabo una investigación de resultados fuera de especificaciones, para determinar si el resultado obtenido es realmente un resultado fuera de especificaciones, atípico o aberrante debido al producto o fue ocasionado a un error del laboratorio. 7.3.1 Responsabilidades Se proponen las responsabilidades con base en la referencia 7, las cuales deben quedar establecidas en el procedimiento de operación correspondiente, en esta guía aparecen a detalle las responsabilidades del analista y del supervisor, sin embargo estas no son los únicos puestos involucrados para el correcto funcionamiento del sistema de investigación de resultados fuera de especificaciones, se incluyen las responsabilidades de la Dirección o Gerencia general quién debe proporcionar los recursos necesarios para el adecuado funcionamiento del sistema, además se incluye las responsabilidades del Administrador de sistema de investigación de resultados fuera de especificaciones cuya principal función es ser un facilitador durante el proceso, asegurando la documentación adecuada de la investigación dentro de los tiempos establecidos y finalmente a la Gerencia de Garantía de Calidad quién en un sistema de calidad debe asegurarse que la investigación fue apropiada y completa. A continuación se presentan las responsabilidades a incluir en el procedimiento para investigación de resultados fuera de especificaciones: Supervisor o Jefe del laboratorio del área donde se generó el resultado fuera de especificaciones. Discutir la técnica analítica con el analista, verificando el conocimiento y la ejecución adecuada de la técnica por parte del analista7 Revisar los datos crudos obtenidos del análisis, incluyendo cromatogramas, espectros, identificando información anómala o sospechosa 7 Verificar que los datos empleados para transformar los datos en los resultados finales son correctos y están sustentados científicamente. Así mismo determinar si se realizaron cambios no autorizados o inválidos a los sistemas de cálculo automatizados 7 Confirmar el desempeño adecuado de los instrumentos 7 Determinar si fueron empleadas las sustancias de referencia, reactivos, solventes y otras soluciones adecuadas, así como verificar si cumplieron con las especificaciones de control de calidad7 Evaluar si desempeño de la técnica analítica es de acuerdo al estándar esperado basado en los datos de validación del método y los datos históricos del producto7 33 Analista Estar consciente de problemas potenciales que puedan presentarse durante los análisis7 Estar al pendiente de problemas que pueden ocasionar resultados inexactos7 Verificar que los resultados analíticos obtenidos cumplan con las especificaciones, antes de desechar las preparaciones de las soluciones de referencia y muestras, empleadas en el análisis7 Retener las preparaciones de las soluciones de referencia y muestra, cuando no encuentra una explicación del resultado fuera de especificación7 No analizar muestras y/o estándares si se está seguro de que hubo error en la preparación, por ejemplo algún derrame de la solución sea de la muestra o el estándar, etc7 Notificar al supervisor inmediatamente después de la detección de un resultado fuera de especificaciones7 Asegurarse de completar correctamente el formato de investigación de resultados fuera de especificaciones y toda la documentación necesaria para iniciar la investigación Someter el formato de investigación de resultados fuera de especificaciones a aprobación del Jefe inmediato Pasar el formato al responsable del sistema de Investigación de resultados fuera de especificaciones para la asignación del folio y registro del mismo Dar seguimiento a la investigación para que lleven a cabo las actividades derivadas de ella, compilando toda la información que se requiera para su investigación dictamen y cierre Dar seguimiento al plan de acción derivado de la investigación Administrador del sistema de investigación de resultados fuera de especificaciones Revisar que el formato de investigación de resultados fuera de especificaciones esté correctamente llenado y que la documentación necesaria para realizar su evaluación se encuentre anexa Asignar folio y registrar en la Bitácora de Investigación de Resultados Fuera de Especificaciones Mantener el registro de todas las investigaciones de resultados fuera de especificaciones y su estatus 34 Verificar que se anexe toda la información de soporte que se indique en el reporte de Investigación de laboratorio para proceder a cerrar el reporte Verificar que se hayan llevado las acciones indicadas en el plan de acción Elaborar un reporte mensual del estatus de las investigaciones de resultados fuera de especificaciones Gerencia de Calidad Dar cierre a las investigaciones de resultados fuera de especificaciones de acuerdo a los tiempos establecidos en este procedimiento. Dirección o Gerencia general Proporcionar los recursos necesarios para el adecuado funcionamiento del sistema de investigación de resultados fuera de especificaciones, permitiendo llevar a cabo de manera controlada la solicitud, evaluación, investigación y cierre de las investigaciones realizadas. Como puede observarse el listado de responsabilidades es muy amplio, de ahí la importancia de identificarlas y asignarlas a la persona adecuada para lograr que el sistema funcione adecuadamente. 7.3.2 Alcance Con base a la recomendación de la referencia 7, se establece el alcance de la guía como sigue: Alcance: Para la investigación de resultados fuera de especificaciones, atípicos o aberrantes obtenidos en el laboratorio. 7.3.3 Pasos para la investigación de resultados fuera de especificaciones y generación del plan de acción El siguiente diagrama muestra los pasos a seguir para realizar y documentar la investigación de resultados fuera de especificaciones, así como el plan de acción en caso que se requiera, los formatos mencionados en el diagrama se encuentran en la sección de anexos, así mismo el “Diagrama de flujo de Resultados Fuera de especificaciones” del Anexo 1, indica a detalle los pasos para realizar la investigación. 35 36 La propuesta de los pasos para documentar las investigación se basa en una selección de la información bibliohemerográfica, presentándola en etapas desde la detección del resultado, seguida por la investigación dividida