Logo Studenta

ArticuloAlamedasegundaronda2017

¡Estudia con miles de materiales!

Vista previa del material en texto

Rev Esp Patol. 2018;51(2):71---76
www.elsevier.es/patologia
Patologí a
R E V I S T A E S P A Ñ O L A D E
ORIGINAL
Control de calidad de la citología ginecológica:
programa de calidad de la Sociedad Española
de Citología. Resultados de la segunda ronda
Francesc Alameda a,∗, Sonsoles Asob, Inmaculada Catalina c, M. Dolores Comesd,
M. Carmen Gomez Mateoe, Rosario Granados f, Belén Lloveras a, Rosa Oncinsd,
Marta Rezola Bajinetae y Francesc Treserra g
a Servicio de Patología, Hospital del Mar, Barcelona, España
b Servicio de Patología, Hospital Virgen de la Salud, Toledo, España
c Servicio de Patología, Hospital del Perpetuo Socorro, Badajoz, España
d Servicio de Patología, Hospital de Barbastro, Barbastro, Huesca, España
e Servicio de Patología, Hospital Universitario Donostia, Donostia, Guipúzcoa, España
f Servicio de Patología, Hospital Universitario de Getafe, Getafe, Madrid, España
g Servicio de Patología, Hospital Universitari Dexeus, Barcelona, España
Recibido el 25 de septiembre de 2017; aceptado el 22 de noviembre de 2017
Disponible en Internet el 1 de febrero de 2018
PALABRAS CLAVE
Citología
ginecológica;
Control de calidad;
Cáncer de cérvix;
Cribado;
Escanear;
Acuerdo
interobservador
Resumen
Introducción: Las recomendaciones del cribado de cáncer de cérvix en España incluyen la parti-
cipación en programas de control de calidad externos a los laboratorios de citología. La Sociedad
Española de Citología (SEC) ha iniciado un programa de control de calidad de la citología
ginecológica (CG).
Objetivo: Presentar y analizar los resultados de la segunda ronda del control de calidad de la
SEC.
Material y métodos: Se incluyeron casos procesados mediante citología en medio líquido. Se
escanearon las laminillas mediante la plataforma Aperio. Se seleccionaron 23 muestras proce-
dentes de un banco de casos con al menos un 75% de acuerdo entre 4 expertos citopatólogos.
Los diagnósticos de los casos para estudio incluyeron: uno negativo, 15 lesiones de bajo grado
(4 ASCUS y 11 LSIL) y 7 lesiones de alto grado (uno ASCH y 6 HSIL). La CML correspondía a
ThinPrep
®
en 16 casos y a SurePath
®
en 7. Se realizó el estudio de la correlación diagnóstica
interobservador.
Resultados: Participaron 16 hospitales. Las concordancias medias fueron: global 70,6% y por
tipo de lesión 63,1%. En negativo 71,9%, en ASCUS 56,2%, en LSIL 69,5% y en HSIL 82,8%. Los
casos discordantes correspondían con mayor frecuencia a negativos y a ASCUS. Se observó
discordancia severa (HSIL/ASCH frente a negativo) en un 4,4% de los casos.
∗ Autor para correspondencia.
Correo electrónico: 86780@hospitaldelmar.cat (F. Alameda).
https://doi.org/10.1016/j.patol.2017.11.003
1699-8855/© 2017 Sociedad Española de Anatomı́a Patológica. Publicado por Elsevier España, S.L.U. Todos los derechos reservados.
https://doi.org/10.1016/j.patol.2017.11.003
http://www.elsevier.es/patologia
http://crossmark.crossref.org/dialog/?doi=10.1016/j.patol.2017.11.003&domain=pdf
mailto:86780@hospitaldelmar.cat
https://doi.org/10.1016/j.patol.2017.11.003
72 F. Alameda et al.
Conclusiones: Nuestros resultados son similares a los descritos en la literatura, encontrando
muy escasas discordancias severas.
© 2017 Sociedad Española de Anatomı́a Patológica. Publicado por Elsevier España, S.L.U. Todos
los derechos reservados.
KEYWORDS
Gynecological
cytology;
Quality control;
Cervical cancer;
Screening;
Scan;
Interobserver
agreement
The Spanish Society of Cytology: Quality control program of gynecological cytology
Abstract
Introduction: In Spain, the guidelines for cervical cancer screening include a recommendation
to enroll in external quality control programs. The Spanish Society of Cytology (SEC) has initiated
its own quality control program of gynecological cytology (QCPGC).
Aim: To describe and discuss the results of the second round of SECś QCPGC.
Material and method: The cases are selected by a group of expert cytologists. The cases with
an agreement of 75% of four cytopathologists were used. The cases were scanned with Aperio.
The scanned cases not available were excluded. We included a total of 23 cases, 1 negative, 15
low grade lesions (4 ASCUS and 11 LSIL) and 7 high grade lesions (1 ASCH and 6 HSIL). Sixteen
cases were studied with ThinPrepTM platform and in 7 cases the SurePathTM platform was used.
Results: Sixteen hospitals participated. The global mean concordance was 70.6%. The mean
concordance in the type of lesion was 63.1%. The concordance was 71.9% in negative diagnoses,
56.2% in ASCUS, 69.5% in LSIL and 82.8% in HSIL The discordant cases were diagnosed more
frequently as negative and ASCUS. 4.4% of cases had major discordances (HSIL or ASCH versus
negatives).
Conclusions: Our results are similar to those reported in the literature, with very few severe
discordances.
© 2017 Sociedad Española de Anatomı́a Patológica. Published by Elsevier España, S.L.U. All
rights reserved.
Introducción
El cáncer de cérvix en España ha disminuido en incidencia
debido a la práctica frecuente de la citología ginecológica
(CG), en contraste con otras neoplasias como las de mama,
colon y pulmón.
En el momento actual, las recomendaciones establecidas
en España respecto al cribado del cáncer de cérvix, orien-
tan hacia la determinación molecular de VPH por su alta
sensibilidad, sobrepasando la de la citología1.
Dichas recomendaciones incluyen la participación de los
centros diagnósticos en programas externos de control de
calidad de la CG. Es por ello que la Sociedad Española
de Citología (SEC) está desarrollando un programa de
control de calidad de la CG. Metodológicamente se trata
de un estudio comparativo entre 2 o más observadores
con dedicación asistencial a la CG, basados en diagnósti-
cos previamente estandarizados. De esta forma se pueden
determinar las discrepancias diagnósticas en términos simi-
lares a los establecidos en la literatura2. Una discrepancia
grave, que en este trabajo queda denominada como severa,
queda definida como un diagnóstico de lesión escamosa
de alto grado, cáncer o neoplasia glandular omitido en el
informe citológico2.
La primera ronda de este programa3 se realizó basada
en el intercambio de casos entre distintos hospitales que
utilizaban el mismo tipo de citología (CML con ThinPrep
®
o SurePath
®
, o bien triple toma clásica). Este método
planteaba 2 tipos de problemas, en primer lugar, aque-
llos derivados de la búsqueda y cesión de laminillas con
el consiguiente riesgo de rotura o extravío. En segundo
lugar, al faltar un diagnóstico de referencia establecido, la
comparación de los resultados obtenidos de cada hospital
participante ofrece lo que podría interpretarse como un sim-
ple intercambio de opiniones, no permitiendo establecer la
existencia de errores de interpretación diagnóstica.
Para implementar la segunda ronda nos hemos basado en
estudios ya publicados que desarrollan métodos de control
de calidad utilizando la digitalización4,5 y definiendo las dis-
crepancias de forma similar a la de la primera ronda1. Se
ha tenido en cuenta además la posibilidad de que la evalua-
ción de las preparaciones en esta ronda fuera utilizada como
un elemento más de la formación continuada tal y como se
recoge también en la literatura6, así como las dificultades
en el diagnósticode ASCUS5,7---11.
Objetivo
Nuestro objetivo en este trabajo es dar a conocer y analizar
los resultados de la segunda ronda del programa de control
de calidad de la CG que efectúa la SEC.
Material y métodos
La SEC puso a disposición de sus socios, anunciado en su
página web, el programa de calidad de la CG mediante una
Calidad citología ginecológica. Programa SEC. Resultados 2.a ronda 73
inscripción para participación voluntaria. En ella se solici-
taba, entre otros datos, la identidad del responsable del
control de calidad de cada centro participante para comu-
nicar la información y los resultados.
Los casos fueron escogidos a partir de una reevaluación
de los mismos entre 4 citopatólogos expertos en CG en mono-
capa (RG, BLL, IC y FA). Se utilizaron para control de calidad
aquellos casos en los cuales la concordancia diagnóstica fue
del 75%, es decir, al menos 3 de los 4 citopatólogos debían
estar de acuerdo con el diagnóstico establecido.
Los centros diagnósticos inscritos, recibían una memoria
USB con una colección de muestras citológicas escaneadas
(a 20 aumentos) mediante el sistema Aperio (Leica Wetzlar,
Alemania), así como un lector de Aperio y un informe con los
datos clínicos resumidos de cada caso a evaluar. Los centros
participantes contaron con 2 meses para evaluar las mues-
tras y enviar los resultados al «centro de coordinación» del
programa en la SEC.
No se establecieron normas exactas para la evaluación de
los casos en cuanto a quien debía evaluarlos y como se debía
proceder. Se sugería solamente que los casos se evaluaran tal
y como se procede de modo rutinario. Lo que se pretende en
esta segunda ronda es evaluar la institución o el laboratorio
de citopatología y no evaluar los profesionales uno a uno.
Tras la obtención de los resultados, se calculó la con-
cordancia interobservador para cada hospital y la media de
la concordancia interobservador global, es decir, la media
de todas las concordancias para cada hospital, datos que
se transmitieron a los hospitales participantes y que cons-
tituyen el sustrato de este trabajo. Las concordancias y
discordancias se calcularon comparando los diagnósticos de
cada centro participante con el diagnóstico estándar esta-
blecido para cada uno de los casos.
Se calculó también la concordancia interobservador
entre los casos negativos y por tipo de lesión (ASCUS, ASCH,
LSIL y HSIL).
Asimismo se analizaron las discordancias estratificándo-
las según su relevancia clínica en discordancias severas,
mayores, menores e intermedias.
Las discordancias severas se definieron como aquellas
con HSIL o ASCH frente a negativo. Las discordancias mayo-
res, se definieron como aquellas entre LSIL o ASCUS frente
a negativo. Las menores comprendían los diagnósticos de
HSIL frente a ASCH o de LSIL frente a ASCUS. El resto de las
discordancias se recogían como discordancias intermedias.
Resultados
Participaron un total de 16 centros diagnósticos de anatomía
patológica y citología hospitalarios procedentes de un total
de 7 comunidades autónomas.
Análisis de concordancias y discordancias
La concordancia media global fue del 70,6%, superior en el
grupo con CML del tipo SurePath
®
(tabla 1).
La concordancia media en diagnósticos negativos fue del
71,9%, y fue superior en el grupo con CML SurePath
®
. La
media de discordancias en casos negativos fue de un 28,1%
(falsos positivos). Todos los casos discordantes se agruparon
en el grupo de ASCUS. La concordancia en positivos (ASCUS+)
Tabla 1 Concordancia global
Concordancia Global (%)
SurePath
®
73,9
ThinPrep
®
67,3
Media 70,6
fue del 91,0% con un índice de falsos negativos del 9% (índice
kappa: 0,4796; IC 95%: 0,343-0,6153) (tabla 2).
La concordancia en ASCUS fue del 56,2%, mientras que las
discordancias alcanzaron un 43,8% de casos. El diagnóstico
inicial de ASCUS fue interpretado como negativo en un 35,9%
de casos, como ASCH en un 6,3% y como LSIL en un 1,6% de
casos (tabla 2).
En LSIL, la media de concordancia fue del 69,5%. Las
discordancias alcanzaron un 30,5% de casos. El diagnóstico
inicial de LSIL fue interpretado como ASCUS en un 12,6% de
casos (tabla 2).
La media de concordancia en ASCH fue la más baja, de
un 50%. Las discordancias alcanzaron un 50% de casos. El
diagnóstico inicial de ASCH fue como negativo o ASCUS en un
18,7% de casos, respectivamente, y como HSIL en un 12,5%
de casos (tabla 2).
La media de concordancia en el diagnóstico de HSIL fue
del 82,8%, y las discordancias alcanzaron un 17,2% de casos.
EL diagnóstico inicial de HSIL fue interpretado como nega-
tivo en un 0,8% de casos, como ASCUS en un 7% de casos,
como ASCH en un 0,8% de casos y como LSIL en un 8,6% de
casos (tabla 2).
En cuanto a la distribución de las discordancias según
estratificación por severidad, los resultados fueron los
siguientes: la media de discordancias severas (HSIL o ASCH
frente a negativo) fue de un 4,4%. La media de discordancias
mayores (LSIL o ASCUS frente a negativo) fue de un 16,7%, la
de discordancias menores (HSIL frente a ASCH o LSIL frente
a ASCUS) de un 21,2%, y la de las intermedias, del 21,9%
(tabla 3).
Discusión
El control de calidad de la CG es una de las recomendaciones
de las guías de cribado del cáncer de cérvix que efectúan las
distintas sociedades, entre ellas la SEAP, la SEGO, la AEPCC
y la SEC1.
Además se recomienda la implementación de controles
de calidad internos dentro de los servicios de anatomía
patológica y de los laboratorios de citología, dirigidos princi-
palmente a reducir la tasa de falsos negativos y a establecer
una correlación cito-histológica. Se han publicado diversos
sistemas y estrategias en la literatura12---17, pero el con-
trol de calidad interno no es objeto de este trabajo. Las
guías1 recomiendan también la participación en controles de
calidad externos a los propios servicios, dirigidos fundamen-
talmente a la reproducibilidad de la orientación diagnóstica
de la citología. Existen pocos trabajos publicados en relación
al control de calidad externo y hacen referencia a distin-
tas estrategias adoptadas por los organismos oficiales de
salud2,18. La SEC ha procedido a la implementación de un
programa de control de calidad de la CG, dirigido por la
propia sociedad y con participación voluntaria de distintas
74 F. Alameda et al.
Tabla 2 Estudio de concordancias-discordancias en negativos y por tipo de lesión
NEG (%) ASCUS (%) ASCH (%) LSIL (%) HSIL (%)
Negativos (N.◦)
SurePath
®
(16) 75 25 0 0 0
ThinPrep
®
(16) 68,7 31,2 0 0 0
Media 71,9 28,1 ---- 0 ----
ASCUS (N.◦)
SurePath
®
(16) 43,7 43,7 12,5 0 0
ThinPrep
®
(32) 28,1 68,7 0 3,1 0
Media 35,9 56,2 6,3 1,6 ----
ASCH (N.◦)
SurePath
®
(0) 0 0 0 0 0
ThinPrep
®
(16) 18,7 18,7 50 0 12,5
Media 9,4 9,4 25 ---- 6,2
LSIL (N.◦)
SurePath
®
(48) 4,2 4,2 4,2 81,2 6,2
ThinPrep
®
(128) 7 21,1 1,6 57,8 12,5
Media 5,6 12,6 2,9 69,5 9,4
HSIL (N.◦)
SurePath
®
(32) 0 6,2 0 12,5 81,2
ThinPrep
®
(64) 1,6 7,8 1,6 4,7 84,4
Media 0,8 7 0,8 8,6 82,8
Tabla 3 Estudio de discordancias
SEV (%) MAY (%) MED (%) MEN (%) GLOB (%)
SurePath
®
3,2 10,9 10,1 4,2 26,1
ThinPrep
®
5,6 22,5 33,7 38,2 32,7
Media 4,4 16,7 21,9 21,2 29,4
GLOB: discordancia global;MAY: discordancia mayor; MED: dis-
cordancia media; MEN: discordancia menor; SEV: discordancia
severa.
instituciones hospitalarias. En la segunda fase se ha proce-
dido al estudio de la reproducibilidad diagnóstica entre cada
una de las instituciones participantes mediante el acuerdo
previo del diagnóstico «verdadero» o de certeza por 4 espe-
cialistas, considerando únicamente aquellos casos en los que
el diagnóstico alcanzaba un acuerdo del 75%, es decir, de 3
de los 4 especialistas expertos.
Estudios publicados respecto al control de calidad
externo, evalúan la presencia de células endocervicales
y metaplásicas19, la calidad de la muestra, la calidad
tintorial18, así como el índice de falsos negativos en
carcinomas19. Rara vez se ha realizado en relación a la
correlación diagnóstica y en algunos estudios esta correla-
ción alcanza el 96%20. De Freitas y Thuler evaluaron cerca
de 16.000 casos procesados con SurePath
®
y observaron un
incremento de la correlación diagnóstica a lo largo de los
años21. Este dato aboga en favor de la participación sistemá-
tica en programas de control de calidad externos dado que
la participación en los mismos puede incrementar la calidad
diagnóstica al cumplir funciones de formación continuada
para los participantes.
Una discordancia seria o grave ha sido definida como
aquella en la que se observa una lesión de alto grado, cáncer
o neoplasia glandular no presente en el informe citológico2.
Es lo que ha sido llamado una discordancia severa en el pre-
sente trabajo. El resto de discordancias se ha definido con
objeto del presente estudio por los autores
Una posible limitación de nuestro estudio puede radicar
en la dificultad en la metodología utilizada en el programa
basada en la inexperiencia de los participantes en el manejo
y diagnóstico de los casos en material digitalizado pro-
yectado en una pantalla en vez de en la utilización del
microscopio.
Es importante también evaluar los aspectos de formación
continuada que ofrece el control de calidad. En general, se
establece una relación entre el esfuerzo de participación y
el beneficio obtenido. En el sistema de intercambio de pre-
paraciones no es posible revisar la preparación discordante,
dado que la misma se devuelve al hospital de origen. De esta
forma se realiza una revisión o evaluación de los resultados,
mermando el proceso de aprendizaje durante el proceso. En
consecuencia, este sistema tiene poco valor educativo como
observamos con experiencias previas2.
Nuestros porcentajes en concordancias son similares a
los ya expresados en la literatura y obtenidos en rondas
anteriores3. En el caso de diagnósticos negativos, nuestra
concordancia es del 70,6%, siendo del 77,6 y del 73,1%, por
lo tanto algo menor, en la literatura7,9.
La concordancia en ASCUS es del 56,2%, mayor a la
observada en otros estudios (36,4 al 42,9%). Existen algu-
nos trabajos que aportan concordancias interobservador en
ASCUS de aproximadamente un 95%,8 y otros de hasta un
97,2%12, pero este dato no se reproduce en nuestra casuís-
tica. La mayoría de casos discordantes se situaban en el
Calidad citología ginecológica. Programa SEC. Resultados 2.a ronda 75
grupo de negativos, de acuerdo también con los datos reco-
gidos en la literatura7,9.
La concordancia en LSIL es, en nuestro estudio, del 69,5%,
oscilando entre un 52,9 y un 68,1%7 según otros autores y,
por tanto, la concordancia en este estudio es algo mayor.
La mayoría de las discordancias se centraban en el grupo de
ASCUS como se ha citado en la literatura7, si bien en nues-
tros casos, las discordancias estaban muy dispersas (tabla 2).
Algunos autores10 muestran mayor incidencia de HSIL en el
grupo de discordantes.
La concordancia en HSIL, la más variable en la mayor
parte de estudios que la sitúan entre un 47,17 y un 83,4%19,
constituye un 82,8% en nuestro estudio. Los casos discor-
dantes se agrupan en LSIL tal y como se muestra también en
otros trabajos7,9.
Después de este análisis, cabría decir que la formación
continuada debería hacer énfasis en el diagnóstico citológico
de ASCUS para mejorar su reproducibilidad.
En cuanto a las discordancias con HSIL, este es un hecho
ya descrito en la literatura si bien nuestra concordancia
se encuentra entre las mayores publicadas. En un estu-
dio de 100 casos con CIN 3 diagnosticados con biopsia,
se valoró el diagnóstico citológico previo, hallando falsos
negativos en 26 casos. De estos se observó retrospectiva-
mente que en 16 casos el diagnóstico de HSIL habría sido
posible10.
Se ha estudiado también la frecuencia de concordancias
interobservador en los distintos tipos de muestras citológi-
cas, resultando bastante similares (tabla 2). Creemos que la
evaluación precisa de esta concordancia no es posible dada
la diferencia de experiencia entre los distintos observado-
res y el escaso número de participantes en algunas de las
categorías.
La tabla 3, muestra las discordancias agrupadas en seve-
ras, mayores, medias o menores. La crítica que procedería
en esta forma de agrupar las discordancias, es el con-
siderar como «mayor» a una discordancia entre ASCUS y
LSIL y negativa, aunque la definición de una discordancia
ASCUS-frente a negativo definida como «mayor» pudiera
parecer dudosa, cabe recordar que detrás del diagnóstico
de ASCUS existe un porcentaje variable (entre el 5 y el
10%) de HSIL según las publicaciones en este campo. Si
aplicamos las recomendaciones actuales en caso de usar
la citología como cribado inicial, ante un diagnóstico de
ASCUS está recomendado realizar un test de VPH, mientras
que el manejo clínico recomendado en una mujer con un
diagnóstico citológico negativo es el control citológico a los
3 años1.
La media de discordancias severas en nuestro estudio es
del 4,4% y la de las mayores, de un 16,7%. Incluyen las discor-
dancias ASCUS-negativo. Aunque las discordancias medias
pueden complicar el manejo de las pacientes, en principio
no se prevee que constituyan problemas diagnósticos serios.
Las discordancias menores deben informarse, fundamen-
talmente con un objetivo académico, pero probablemente
revisten poca importancia clínica.
Las principales debilidades de este estudio radican en
el escaso número de muestras a evaluar por cada diag-
nóstico, impidiendo un análisis profundo de su impacto y
en la limitación del estudio citológico mediante material
digitalizado.
Conclusiones
Los controles de calidad externos, si bien representan
un esfuerzo adicional para el personal del laboratorio de
citología, son necesarios para monitorizar el correcto fun-
cionamiento diagnóstico del centro. Los datos de nuestro
estudio son similares a los recogidos en la literatura, desta-
cando nuestro bajo porcentaje de discordancias «severas»
y los altos porcentajes de concordancias, especialmente en
lesiones de alto grado. Destaca el alto porcentaje de discre-
pancias «mayores», probablemente debido a la falta de rigor
en la aplicación de los criterios que definen el diagnóstico
de ASCUS. El método puede aportar beneficios adicionales
en formación continuada, precisando tiempo del personal
dedicado a la CG.
Conflicto de intereses
Los autores declaran no tener ningún conflicto de intereses.
AgradecimientosA los Dres. Iñaki Arias-Camison (Onkologikoa, Donostia),
Juan Ramón Camps (Hospital San Pedro de Alcántara, Cáce-
res), Rafael Cano (Hospital de la Ribera, Valencia), Miguel
Ángel Carrasco (Hospital General de Catalunya, Barcelona),
Ángel Concha (Hospital de La Coruña, La Coruña), Domingo
de Aguston (Hospital de la Defensa, Madrid), Carmen Dina-
res (Hospital Vall d’Hebrón, Barcelona), Beatriz Eizaguirre
(Hospital Miguel Servet, Zaragoza), Concepción Otal (Hos-
pital Virgen Macarena, Sevilla) Carmen López Varela y Julio
Rodríguez Costa (Hospital Gregorio Marañón, Madrid), por su
participación en el programa.
Bibliografía
1. Torné Bladé A, del Pino Saladrigues M, Cusidó Gimferrer M, Ala-
meda Quitllet F, Andia Ortiz D, Castellsagué Piqué X, et al. Guía
de cribado del cáncer de cuello de útero en España, 2014. Rev
Esp Patol. 2014;47 Supl:1---43.
2. Boon AP, Williamson P, Brown JM, Thomas GD. The Yorkshire
slide exchange external quality assessment (EQA) scheme. Cyto-
pathology. 1996;7:90---8.
3. Alameda F, Bernet L, cano R, Catalina I, Otal C, de Agustin D,
et al. Control de calidad de la citología ginecológica. Programa
de Calidad de la Sociedad Española de Citología. Resultados de
la primera ronda. Rev Esp Patol. 2017;50:154---60.
4. Kldiashvili E, Schrader T. Reproducibility of telecytology dia-
gnosis of cervical smears in a quality assurance program: The
Georgian experience. Telemed J E Health. 2016;17:565---8.
5. Lee ES, Kim IS, Choi JS, Yeom BW, Kim HK, Han JH, et al.
Accuracy and reproducibility of telecytopathology diagnosis of
cervical smears. Am J Clin Pathol. 2003;119:356---60.
6. Smith AE, Sherman ME, Scott DR, Tabbara SO, Dworkin L, Olson
J, et al. Review of the Bethesda Systrem atlas does not improve
reproducibility or accuracy in the classification of Atypical
Squamous Cells of Undetermined significance smears. Cancer
Cytopathol. 2000;90:201---6.
7. Stoler MH, Schiffman M. Interobserver reproducibility of
cervical cytology and histologic interpretations. Jama.
2001;285:1500---5.
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0110
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0110
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0110
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0110
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0110
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0110
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0110
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0110
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0110
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0110
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0110
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0110
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0110
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0110
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0110
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0110
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0110
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0110
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0110
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0110
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0110
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0110
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0110
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0110
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0110
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0110
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0110
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0110
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0110
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0110
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0110
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0110
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0110
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0110
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0110
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0110
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0110
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0110
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0110
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0110
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0110
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0110
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0110
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0110
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0110
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0110
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0110
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0110
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0110
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0110
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0110
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0115
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0115
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0115
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0115
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0115
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0115
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0115
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0115
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0115
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0115
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0115
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0115
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0115
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0115
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0115
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0115
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0115
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0115
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0115
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0115
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0115
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0115
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0115
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0115
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0115
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0115
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0115
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0115
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0115
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0120
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0120
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0120
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0120
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0120
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0120
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0120
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0120
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0120
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0120
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0120
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0120
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0120
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0120
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0120
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0120
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0120
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0120
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0120
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0120
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0120http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0120
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0120
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0120
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0120
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0120
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0120
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0120
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0120
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0120
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0120
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0120
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0120
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0120
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0120
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0120
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0120
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0120
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0120
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0120
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0120
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0120
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0120
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0120
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0120
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0120
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0120
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0120
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0120
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0120
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0120
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0125
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0125
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0125
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0125
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0125
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0125
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0125
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0125
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0125
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0125
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0125
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0125
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0125
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0125
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0125
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0125
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0125
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0125
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0125
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0125
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0125
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0125
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0125
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0125
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0125
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0125
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0125
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0125
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0125
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0125
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0125
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0125
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0130
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0130
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0130
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0130
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0130
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0130
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0130
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0130
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0130
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0130
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0130
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0130
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0130
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0130
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0130
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0130
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0130
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0130
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0130
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0130
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0130
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0130
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0130
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0130
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0130
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0130
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0130
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0130
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0130
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0130
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0130
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0130
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0130
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0130
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0130
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0130
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0130
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0135
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0135
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0135
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0135
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0135
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0135
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0135
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0135
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0135
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0135
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0135
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0135
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0135
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0135
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0135
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0135
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0135
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0135
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0135
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0135
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0135
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0135
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0135
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0135
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0135
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0135
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0135
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0135
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0135
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0135
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0135
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0135
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0135
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0135
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0135
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0135
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0135
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0135http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0135
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0135
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0135
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0135
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0135
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0135
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0135
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0135
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0140
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0140
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0140
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0140
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0140
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0140
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0140
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0140
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0140
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0140
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0140
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0140
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0140
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0140
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0140
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0140
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0140
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0140
76 F. Alameda et al.
8. Maksem JA, Berdossian CWM, Kurtycz D, Sewall S, Shalkham J,
Dhanwada V, et al. Resolving ASCUS without recourse of HPV
testing. Diagn Cytopathol. 2005;33:343---440.
9. Chhieng DC, Talley LI, Roberson J, Gatscha RM, Jhala NC, Elgert
PA. Interobserver variability: Comparison between liquid-based
and conventional preparations in gynecologic cytology. Cancer.
2002;96:67---73.
10. Gupta S, Sodhani P. Why is high grade squamous intraepithelial
neoplasia under-diagnosed on cytology in a quarter of cases?
Analysis of smear characteristics in discrepant cases. Indian J
Cancer. 2004;41:104---8.
11. Gatscha RM, Abadi M, Babore S, Chhieng D, Miller MJ, Saigo PE.
Smears diagnosed as ASCUS Interobserver variatins and follow-
up. Diagn Cytopathol. 2001;25:138---40.
12. Crasta JA, Chaitra V, Simi C, Correa M. An audit of cer-
vicovaginal cytology in a teaching hospital: Are atypical
glandular cells under-recognised on cytological screening? J
Cytol. 2009;26:69---73.
13. Sodhani P, Sinh V, Das DK, Bhambhani S. Cytohistological correla-
tion as a measure of quality assurance of a cytology laboratory.
Cytopathology. 1997;8:103---7.
14. Shield PW, Cox NC. The sensitivity or rapid (Partial) review of
cervical smears. Cytopathology. 1998;9:84---92.
15. Al-Nafussi A, Rebello G, al-Yusif R, McGoogan E. The borderline
cervical smear: Colposcopic and biopsy outcome. J Clin Pathol.
2000;53:439---44.
16. Feoli F, Renard C, Abouyahia M, de Wind R, Larismont D, Arbyn
M. Retrospective rescreening of negative cervical cytology sam-
ples preceding histologically proven CIN2-3 and squamous cell
carcinoma: An educational opportunity to understand and pre-
vent laboratory errors. Acta Cytologica. 2015;59:262---72.
17. Alves VA, Lima MA, Utagawa ML, Maeda MY. Program of qua-
lity control in gynecologic cytology at the Adolfo Lutz Institute:
Strategies and critical analysis of results of its pilot imple-
mentation. AMB Rev Assoc Med Bras. 1991;37:36---42 [Article in
Portuguese].
18. Boucher NA, Rose BG. Technical external quality assessment for
SurePath stained liquid-based cytology gynaecological cervical
samples using control material–a novel approach. Cytopatho-
logy. 2009;20:169---75.
19. Lazcano-Ponce EC, de Ruiz PA, Lopez-Carrillo L, Vazquez-
Manriquez ME, Hernandez-Avila M. Quality control study on
negative gynecological cytology in Mexico. Diagn Cytopathol.
1994;10:10---4.
20. Flisser A, García-Malo F, Canepa Mde L, Doncel S, Espinoza R,
Moreno R, et al. Implementation and evaluation of a national
external quality control program for cervical cytology in Mexico.
Salud Publica Mex. 2002;44:431---6.
21. de Freitas HG, Thuler LC. External quality control for cervi-
cal cytology exams performed in the Brazilian Public Health
System of Mato Grosso do Sul State. Rev Bras Ginecol Obstet.
2012;34:351---6 [Article in Portuguese].
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0145
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0145
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0145
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0145
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0145
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0145
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0145
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0145
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0145
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0145
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0145
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0145
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0145
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0145
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0145
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0145
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0145
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0145
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0145
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0145
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0145
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0145
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0145
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0145
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0145
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0145
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0145
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0145
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0145
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0145
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0145
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0150
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0150
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0150
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0150
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0150
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0150
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0150
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0150
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0150
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0150
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0150
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0150
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0150
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0150
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0150
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0150
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0150
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0150
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0150
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0150
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0150
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0150
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0150
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0150
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0150
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0150
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0150
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0150
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0150
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0150
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0150http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0150
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0150
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0150
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0155
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0155
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0155
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0155
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0155
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0155
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0155
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0155
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0155
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0155
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0155
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0155
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0155
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0155
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0155
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0155
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0155
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0155
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0155
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0155
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0155
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0155
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0155
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0155
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0155
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0155
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0155
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0155
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0155
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0155
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0155
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0155
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0155
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0155
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0155
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0155
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0160
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0160
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0160
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0160
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0160
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0160
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0160
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0160
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0160
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0160
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0160
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0160
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0160
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0160
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0160
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0160
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0160
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0160
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0160
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0160
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0160
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0160
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0160
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0160
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0160
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0160
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0160
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0160
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0165
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0165
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0165
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0165
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0165
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0165
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0165
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0165
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0165
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0165
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0165
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0165
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0165
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0165
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0165
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0165
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0165
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0165
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0165
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0165
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0165
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0165
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0165
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0165
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0165
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0165
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0165
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0165
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0165
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0165
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0165
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0165
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0165
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0165
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0170
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0170
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0170
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0170
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0170
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0170
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0170
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0170
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0170
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0170
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0170
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0170
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0170
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0170
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0170
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0170
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0170
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0170
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0170
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0170
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0170
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0170
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0170
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0170
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0170
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0170
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0170
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0170
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0170
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0170
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0170
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0175
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0175
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0175
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0175
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0175http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0175
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0175
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0175
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0175
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0175
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0175
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0175
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0175
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0175
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0175
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0175
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0175
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0175
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0175
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0175
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0175
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0175
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0180
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0180
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0180
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0180
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0180
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0180
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0180
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0180
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0180
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0180
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0180
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0180
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0180
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0180
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0180
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0180
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0180
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0180
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0180
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0180
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0180
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0180
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0180
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0180
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0180
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0180
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0180
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0185
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0185
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0185
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0185
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0185
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0185
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0185
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0185
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0185
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0185
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0185
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0185
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0185
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0185
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0185
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0185
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0185
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0185
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0185
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0185
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0185
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0185
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0185
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0185
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0185
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0185
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0185
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0185
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0185
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0185
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0185
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0185
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0185
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0185
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0185
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0185
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0185
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0185
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0185
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0185
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0185
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0185
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0185
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0185
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0185
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0185
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0185
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0185
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0185
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0185
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0190
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0190
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0190
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0190
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0190
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0190
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0190
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0190
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0190
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0190
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0190
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0190
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0190
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0190
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0190
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0190
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0190
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0190
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0190
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0190
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0190
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0190
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0190
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0190
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0190
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0190
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0190
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0190
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0190
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0190
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0190
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0190
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0190
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0190
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0190
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0190
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0190
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0190
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0190
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0190
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0190
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0190
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0190http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0190
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0190
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0190
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0190
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0190
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0190
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0190
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0195
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0195
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0195
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0195
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0195
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0195
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0195
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0195
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0195
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0195
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0195
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0195
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0195
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0195
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0195
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0195
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0195
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0195
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0195
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0195
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0195
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0195
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0195
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0195
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0195
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0195
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0195
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0195
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0195
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0195
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0195
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0195
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0200
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0200
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0200
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0200
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0200
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0200
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0200
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0200
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0200
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0200
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0200
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0200
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0200
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0200
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0200
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0200
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0200
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0200
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0200
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0200
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0200
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0200
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0200
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0200
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0200
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0200
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0200
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0200
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0200
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0200
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0200
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0200
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0200
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0205
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0205
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0205
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0205
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0205
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0205
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0205
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0205
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0205
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0205
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0205
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0205
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0205
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0205
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0205
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0205
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0205
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0205
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0205
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0205
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0205
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0205
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0205
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0205
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0205
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0205
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0205
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0205
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0205
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0205
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0205
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0205
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0205
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0205
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0205
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0205
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0205
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0205
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0205
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0210
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0210
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0210
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0210
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0210
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0210
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0210
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0210
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0210
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0210
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0210
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0210
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0210
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0210
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0210
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0210
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0210
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0210
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0210
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0210
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0210
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0210
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0210
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0210
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0210
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0210http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0210
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0210
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0210
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0210
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0210
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0210
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0210
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0210
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0210
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0210
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0210
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0210
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0210
http://refhub.elsevier.com/S1699-8855(17)30088-0/sbref0210
	Control de calidad de la citología ginecológica: programa de calidad de la Sociedad Española de Citología. Resultados de l...
	Introducción
	Objetivo
	Material y métodos
	Resultados
	Análisis de concordancias y discordancias
	Discusión
	Conclusiones
	Conflicto de intereses
	Agradecimientos
	Bibliografía

Continuar navegando