Descarga la aplicación para disfrutar aún más
Vista previa del material en texto
Experiencias recientes en nuestro país tratan de introducir los portafolios profesionales como herramientas de evaluación-aprendizaje, tanto a nivel de pregrado como en la formación especializada de posgrado. La aprobación del nuevo programa de la especialidad de Medicina Interna, en un esfuerzo de adaptación a las necesidades de la atención sanitaria actual, ofrece la oportunidad para la aplicación de estas metodologías docentes y de evaluación formativa del proceso de aprendizaje de los futuros internistas. Durante el curso 2005-2006, el Grupo de Formación de la Sociedad Española de Medicina Interna (SEMI) se propuso desarrollar una experiencia piloto demostrativa de la aplicación del portafolio como instrumento para la evaluación formativa y la tutorización. Este artículo describe dicha experiencia de diseño, desarrollo, implantación y evaluación de un portafolio en soporte electrónico para residentes de Medicina Interna de primer año de la especialidad, realiza un análisis de las fortalezas y las debilidades del Portafolio SEMI y, por último, propone recomendaciones para su futuro desarrollo. PALABRAS CLAVE: educación médica, tutores, portafolio, aprendizaje reflexivo, residentes de Medicina Interna, evaluación de las competencias clínicas. Arnau i Figueras J, Torán Monserrat P, Martínez Carretero JM, Forteza-Rey J, Pinilla Llorente B, Brailovsky CA. Introducción del portafolio formativo como instrumento de tutorización de residentes de Medicina Interna: revisión de una experiencia pilo- to, 2005-2006. Rev Clin Esp. 2008;208(9):447-54. Introducing formative portfolio as a tool for Internal Medicine residents mentoring: review of a pilot project, 2005-2006 Recent educational projects in our country have been trying to introduce professional portfolios as assessment/learning tools on the undergraduate and specialized post-graduate education levels. The approval of a new formative program for the Internal Medicine specialty in an effort to adapt to the present health care needs offers an opportunity to apply these formative and evaluative methodologies in the learning process of future internists. During the 2005-2006 academic year, the Formative Work Group of the Spanish Internal Medicine Society (SEMI) developed a pilot study on portfolio application as a tool for formative assessment and mentoring. This article describes the project of designing, developing, applying and assessing an electronic portfolio for first year Internal Medicine residents. It presents an analysis of the SEMI Portfolio strengths and weaknesses and finally makes suggestions for future development. KEY WORDS: medical education, mentors, portfolio, reflective learning, Internal Medicine residents, assessment of clinical competences. REVISIÓN Introducción del portafolio formativo como instrumento de tutorización de residentes de Medicina Interna: revisión de una experiencia piloto, 2005-2006 J. Arnau i Figuerasa, P. Torán Monserratb, J. M. Martínez-Carreteroc †, J. Forteza-Reyd, B. Pinilla Llorentee y C. A. Brailovskyf aServicios Territoriales en el Vallès Occidental. Departament d’Educació. Sabadell. España. bEquipo de Atención Primaria Mataró 6 (Gatassa). Institut Català de la Salut. Unitat de Suport a la Recerca del Barcelonès Nord i Maresme. IDIAP Jordi Gol. Mataró. España. cÁrea de Definición, Evaluación y Acreditación de las Competencias Profesionales. Institut d’Estudis de la Salut. Barcelona. España. dHospital Universitario Son Dureta. Palma de Mallorca. España. eMedicina Interna. Hospital General Universitario Gregorio Marañón. Madrid. España. fDepartamento de Medicina Familiar. Universidad Laval. Québec. Canadá. Introducción La necesidad de desarrollar instrumentos evaluativos capaces de evidenciar las competencias consolidadas y las áreas de mejora profesional, nace del compro- miso moral con los ciudadanos por asegurar las bue- nas prácticas de los profesionales de la salud a lo lar- go de toda su trayectoria1. En los últimos años se vienen desarrollando en nues- tro país diversas experiencias innovadoras en la intro- ducción y desarrollo de metodologías docentes y eva- luativas de la práctica clínica, tanto en los estudios de pregrado y posgrado como en el ejercicio profesional. No nos resultan extraños conceptos o términos como Correspondencia: B. Pinilla. C/ Doctor Esquerdo, 45. 28030 Madrid. España. Correo electrónico: blancapinilla@telefonica.net † Fallecido mientras se ha publicado el trabajo. Rev Clin Esp. 2008;208(9):447-54 447 08_Revision_09_447-54 10/10/08 19:48 Página 447 evaluación formativa, evaluación de la práctica clínica, competencia profesional, evaluación clínica objetiva estructurada (ECOE), que cada vez están más presen- tes en nuestro quehacer cotidiano, tanto en la esfera clínicoasistencial como en las tareas docentes y de tuto- rización de médicos especialistas en formación2,3. El portafolio, como construcción procedente de las artes plásticas, pretende recoger las pruebas demos- trativas de aquellas habilidades y técnicas que su autor ha ido desarrollando, en una área o período de tiem- po determinados, con la finalidad de dar a conocer su obra. Su aplicación para la evaluación formativa o suma- tiva en ciencias de la salud es relativamente recien- te4,5. Se trata de una herramienta basada en la obser- vación y el análisis reflexivo de la práctica real de los propios profesionales como fuente permanente de aprendizaje y de superación6,7. Esta posibilidad de ana- lizar aquello que el profesional hace (más que los cono- cimientos o aquello que «es capaz de hacer») en su práctica habitual, mostrando competencias consoli- dadas y áreas de mejora, nos permite situar el por- tafolio entre los instrumentos capaces de evidenciar competencias ubicadas en el vértice de la pirámide de Miller (fig. 1). Conceptualmente, un portafolio es la recopilación de evidencias o pruebas que demuestran que el apren- dizaje personal necesario ha sido realizado8. Según Challis4, es la colección longitudinal de la evidencia del aprendizaje, o de su consecución, reunida con un obje- tivo específico durante un tiempo determinado. El portafolio es un ejercicio de autodisciplina que con- siste en la práctica de una reflexión permanente sobre los problemas que surgen en nuestro trabajo diario. Se trata de anotar y de registrar de una forma estructu- rada estas situaciones que nos permiten aprender y, una vez anotadas, obligarnos a pensar qué podemos aprender, de qué manera y con qué mecanismos, a fin de resolver el problema de aprendizaje que haya sur- gido e incrementar así nuestra pericia profesional (Por- tafolio SEMI 2007)9. Experiencias recientes en nuestro país tratan de intro- ducir los portafolios como herramientas de evaluación- aprendizaje en la formación especializada de posgra- do10-13, y como elementos catalizadores del análisis reflexivo y de la autoevaluación de la propia práctica profesional. El objetivo del presente artículo ha sido analizar la expe- riencia de desarrollo e implantación demostrativa de un portafolio en soporte electrónico para residentes de Medicina Interna. Descripción de la experiencia Objetivo El Grupo de Formación de la Sociedad Española de Medicina Interna (SEMI) se planteó, para el curso 2005- 2006, introducir elementos de evaluación formativa de los residentes de primer año de Medicina Interna bajo el formato de un portafolio en soporte electrónico. Metodología Se constituyó un grupo de trabajo que, con el apoyo de técni- cos del Institut d’Estudis de la Salut (Departament de Salut de la Generalitat de Catalunya), definió, por un lado, los com- ponentes competenciales y, por otro, los elementos o tareas constitutivas del portafolio que debían desarrollar los residentes y tutores (tabla 1). Se realizó una experiencia piloto demostra- tiva a lo largo del curso 2005-2006 con residentes de primer año de Medicina Interna, acompañados por sus tutores, de diver- sos hospitales españoles. Se definieron también los elementos evaluativos quepermitirían demostrar la presencia de las com- petencias trabajadas en los elementos aportados al portafolio. ARNAU I FIGUERAS J ET AL. INTRODUCCIÓN DEL PORTAFOLIO FORMATIVO COMO INSTRUMENTO DE TUTORIZACIÓN DE RESIDENTES DE MEDICINA INTERNA: REVISIÓN DE UNA EXPERIENCIA PILOTO, 2005-2006 448 Rev Clin Esp. 2008;208(9):447-54 00 TABLA 1 Elementos competenciales y tareas definidas para su evaluación en el portafolio SEMI 2005-2006 de residentes de primer año Tareas propuestas Elementos competenciales Auditoría/autoauditoría ValoraciónIncidente crítico Resumen clínico de historias clínicas de 360º Anamnesis * * Exploración física * * Comunicación con el paciente e interprofesional * * * Manejo diagnóstico * * * * Manejo terapéutico * * * * Manejo psicosocial * * * Fig. 1. Pirámide de Miller. Adaptada de: Miller GE. The assess- ment of clinical skills/competence/performance. Academic Medi- cine. 1990;65 (Suppl):S63-7. ECOE: evaluación clínica objetiva estructurada. Sabe Sabe cómo Muestra cómo Hace (in vivo) Portafolio (in vitro) ECOE, pruebas basadas en pacientes simulados Preguntas de elección múltiple, preguntas abiertas, oral... 08_Revision_09_447-54 10/10/08 19:48 Página 448 Tabla de selección de competencias (tabla 1). Se seleccionaron los elementos o componentes competencia- les sobre los que trabajar con el portafolio formativo para los residentes de primer año, a partir de las competencias nuclea- res de la especialidad de Medicina Interna (anamnesis, explo- ración, comunicación y manejo), contempladas en el progra- ma oficial de la especialidad, y que el grupo de trabajo consideró como metas imprescindibles para un residente de primer año. De esta manera, en cada una de las competencias se conside- ró la capacidad del residente para: 1) Anamnesis: realizar y registrar la anamnesis estructurada para un proceso en un paciente concreto. 2) Exploración física: realizar y registrar una exploración física sis- tematizada de un paciente con un problema de salud concreto. 3) Comunicación: obtener y dar información, tanto en la rela- ción médico paciente como en la relación interprofesional. 4) Manejo diagnóstico: planificar y priorizar una secuencia diag- nóstica para un proceso concreto, realizando un diagnóstico diferencial según su nivel de responsabilidad. 5) Manejo terapéutico: establecer un plan terapéutico adecua- do para un proceso concreto valorando sus riesgos y beneficios según su nivel de responsabilidad. 6) Manejo psicosocial: incorporar elementos de la esfera psi- cológica y del entorno social-familiar de los pacientes en su abordaje asistencial. Tareas asociadas al portafolio: 1) Registro de incidentes críticos: entendiendo por inciden- tes críticos aquellos hechos de la práctica profesional que nos han trastornado, nos han creado dudas, nos han causado sor- presa, o nos han molestado o inquietado por su falta de cohe- rencia o por haber presentado resultados inesperados. Son aquellas situaciones en las cuales una intervención personal implicó una diferencia en los resultados para el paciente, un proceso se desarrolló particularmente bien, las cosas no ocurrie- ron tal como se había previsto, se aprehendió cuál es la esen- cia global de la práctica médica o se planteó un reto particu- larmente intenso para el profesional. En resumen, son episodios con un desarrollo particularmente positivo o negativo, que pro- porcionan la oportunidad de reflexionar sobre la propia prác- tica y, por ello, de mejorarla14-16. 2) Resumen narrativo del abordaje clínico de un paciente pluripatológico: resumen clínico del proceso de atención a pa- cientes con procesos patológicos múltiples e ingresos hospita- larios repetidos, con incorporación de elementos de reflexión sobre las intervenciones y abordajes efectuados en la atención del caso seleccionado a lo largo del tiempo. 3) Auditoría de historias clínicas y autoauditoría de regis- tros clínicos: se puede definir la auditoría médica como la evaluación retrospectiva de la práctica asistencial, mediante la revisión de las historias clínicas, realizada por los propios profesionales responsables de la asistencia y encaminada a encontrar soluciones prácticas de los déficits que se detectan. Puede ser externa o interna y, en el segundo caso, puede ser realizada por el propio médico (autoauditoría) o por sus colegas (revisión por pares)17,18. 4) Valoración de 360°: se trata de un instrumento que permite que el residente sea evaluado por todo su entorno profesio- nal, ya que recoge información obtenida de todas las personas, sanitarias o no, con las que el residente se relaciona en su prác- tica como médico en formación especializada (tutores, otros residentes, enfermería, pacientes o familiares)19-22. Se realizó mediante cuestionarios estandarizados, anónimos y confiden- ciales, en relación a dos competencias globales básicas que, para cada año de residencia, debían completar: el propio resi- dente, otro médico residente compañero, dos enfermeras o auxiliares de enfermería, ocho pacientes atendidos por el resi- dente (o sus familiares) y el adjunto de cada rotación por la que pasaba el residente. 5) Revisión global del aprendizaje: valoración global del ren- dimiento educativo de un período determinado a partir de la revisión de todos los elementos incorporados al portafolio duran- te ese período. Se propone un análisis crítico tanto de la con- secución de los objetivos de aprendizaje planteados como de las nuevas necesidades de aprendizaje detectadas y la planifi- cación de nuevos objetivos para el período siguiente. Es nece- sario trabajar alrededor de los siguientes ejes: a) Conocimientos adquiridos (¿Qué he aprendido?) b) Metodología y procedimientos utilizados (¿Cómo lo he apren- dido?) c) Detección de necesidades de aprendizaje (¿Qué me falta por aprender?) d) Planificación del aprendizaje (¿Qué haré para aprenderlo?) Una vez definidos los elementos competenciales sobre los que trabajar mediante el portafolio y las tareas asociadas al mis- mo, se establecieron las normas básicas de funcionamiento: 1) La participación era voluntaria y el objetivo del portafolio se centró en la evaluación formativa, esto es, se planteaba como un instrumento de apoyo al desarrollo competencial de los residentes que facilitara alcanzar los objetivos formativos del programa de la especialidad de Medicina Interna en el primer año de residencia. Interesaba, fundamentalmente, la identificación de áreas de aprendizaje consolidado y la detec- ción de áreas de mejora. No se utilizaría, en ningún momen- to, para una evaluación sumativa. Tampoco se trataba de un instrumento cuya finalidad fuera facilitar la valoración sumati- va del residente por parte de su tutor. 2) Confidencialidad. El material volcado en el portafolio debía gozar del mismo nivel de confidencialidad que la historia clíni- ca. Se procuraría no detallar información que permitiera la iden- tificación de los pacientes o situaciones clínicas analizadas y se aseguraba el tratamiento confidencial de las opiniones, jui- cios o comentarios expresados por el residente. El portafolio era visto únicamente por el tutor del residente y en el momen- to en que éste lo autorizaba informáticamente. 3) Acceso nominal, mediante un sistema informático de regis- tro previo y encriptamiento mediante contraseñas. El porta- folio de cada residente únicamente era accesible para el pro- pio residente y para su tutor. Al tratarse de una prueba piloto se solicitó a los residentes la autorización para que el admi- nistrador del sistema permitiera la extracción anónima de los datos con el fin de que pudieran ser utilizados por los eva- luadores externos con finalidades formativas, de análisis del conjunto de la experiencia piloto y de mejora del propio por- tafolio. 4) El portafolio era propiedad de cada residente y únicamente podían realizar anotaciones o comentarios el residente y su tutor. El tutor no podía modificar lo introducido por su residente, sino simplemente hacer los comentarios que considerara orientati-vos para cada uno de los elementos del portafolio completados por su residente. 5) El portafolio se realizaba en soporte electrónico, al que se accedía a través de un portal alojado en una página web del Departamento de Salud de la Generalitat de Catalunya, que cumplía los requisitos y garantías de seguridad y confidenciali- dad de la información. 6) Los cuestionarios de la valoración de 360° se editaban en papel y de su distribución entre los otros profesionales se encar- gaba el tutor, excepto los de los pacientes o familiares, de los cuales se encargaba el propio residente. El residente asumía la grabación de los cuestionarios referidos a él en el portal infor- mático. 7) Se consensuaron las funciones del tutor en el Portafolio SEMI (tabla 2) y se desarrollaron actividades formativas específicas de portafolio para los tutores con residentes de primer año a su cargo. 8) Compromiso de evaluación de la experiencia tanto a nivel global como a nivel individual de cada uno de los participantes ARNAU I FIGUERAS J ET AL. INTRODUCCIÓN DEL PORTAFOLIO FORMATIVO COMO INSTRUMENTO DE TUTORIZACIÓN DE RESIDENTES DE MEDICINA INTERNA: REVISIÓN DE UNA EXPERIENCIA PILOTO, 2005-2006 00 Rev Clin Esp. 2008;208(9):447-54 449 08_Revision_09_447-54 10/10/08 19:48 Página 449 en la prueba piloto. Se asumió también el compromiso de favo- recer el retorno de la evaluación a todos los que, de un modo u otro, participaran o contribuyeran al desarrollo de la misma. Desarrollo de la experiencia Durante el primer semestre de 2005 se trabajó en los elemen- tos de definición del Portafolio SEMI (priorización de compe- tencias, definición de tareas y criterios evaluativos), en la guía de trabajo y en el diseño de los contenidos de apoyo al des- pliegue de la experiencia. En paralelo se fue desarrollando el portal informático que permitiera alojar el portafolio, ya que se había tomado la decisión estratégica de desarrollar íntegramente el proyecto en soporte electrónico (e-portafolio). En junio y en noviembre de 2005 se realizaron sendos talleres formativos a los que se invitó a participar a los tutores que, de manera voluntaria, quisieran implicarse en la experiencia pilo- to de desarrollo del primer portafolio formativo para residentes de Medicina Interna en España. Esta formación en metodología evaluativa se centró en la definición y evaluación de competen- cias profesionales, así como en la necesidad de conocer los dis- tintos niveles e instrumentos de evaluación de las mismas. A cada edición del taller asistieron 15 tutores. En estos talleres forma- tivos se introdujo a los tutores en la filosofía y metodología del portafolio como instrumento para la formación de los residen- tes y se les presentaron los distintos elementos constitutivos del portafolio, así como el portal informático que lo alojaba. A par- tir de ese momento los tutores pudieron registrarse en el portal del proyecto y practicar en su manejo para poder detectar defi- ciencias, proponer mejoras de la aplicación informática y, pos- teriormente, explicar su funcionamiento a los residentes. A partir del 1 de septiembre de 2005 los residentes de primer año que voluntariamente quisieron utilizar el Portafolio SEMI, y que habían recibido formación por parte de sus tutores, pudie- ron empezar a registrarse como usuarios. Se realizaron reuniones de seguimiento por parte del Grupo de Formación de SEMI y de los técnicos docentes del portafolio con el objeto de analizar el desarrollo de la experiencia e imple- mentar elementos de mejora. El sistema de evaluación se planteó en dos ámbitos. Por un lado, se procedió a la valoración de los portafolios individuales de cada residente y, por otro, se diseñaron cuestionarios evalua- tivos de la experiencia para los tutores y residentes que parti- ciparon en ella. Para la valoración de los portafolios individuales se extrajo la información, sin datos identificativos, del material volcado en cada portafolio. Se diseñó un cuestionario evaluativo que con- tenía una parte cuantitativa (número de elementos incorpo- rados al portafolio) y una parte cualitativa, que valoraba la pre- sencia de las diferentes competencias que se pretendían observar con cada una de las tareas incorporadas al portafo- lio, así como la presencia de elementos de autoevaluación y planificación del propio aprendizaje. Finalmente, se emitía un informe global del portafolio con observaciones, comentarios y sugerencias de mejora por parte del evaluador. Esta valo- ración era realizada por evaluadores externos y el informe evaluativo era remitido al residente propietario del portafolio. Como evaluación global de la experiencia se realizó un vacia- do de la información obtenida con las encuestas a tutores y resi- dentes. Dicha encuesta planteaba a los usuarios que emitieran un juicio crítico (aspectos positivos, aspectos negativos y pro- puestas de mejora) de cada una de las tareas del portafolio, del portal on line que lo alojaba y de la experiencia global de su participación en el proyecto. El mecanismo de retroalimentación entre los participantes y el Grupo de Formación fue la presentación y discusión de la eva- luación. Esta parte del trabajo se realizó en la II Reunión de Tutores de Residentes de Medicina Interna organizada por la SEMI en Sevilla, el 25 de noviembre de 2006. A partir de las conclusiones obtenidas en esta reunión se abrió un foro virtual de debate en RedIRIS (www.rediris.es) que se mantuvo opera- tivo hasta finales de enero de 2007. Resultados Participaron 29 residentes y 19 tutores, distribuidos en 18 hospitales de España durante el curso 2005- 2006 (tabla 3). Todos los residentes realizaron al menos una tarea vinculada al portafolio. En cuanto a la utili- zación de las diferentes tareas propuestas en la prue- ba piloto del portafolio (tabla 4), observamos una cum- plimentación desigual. La tarea más aceptada fue el registro de incidentes críticos, utilizado por el 100% de los residentes. Las tareas con menos cumplimen- tación fueron la valoración de 360° (14% de los resi- dentes realizaron el análisis conjunto de los cuestio- ARNAU I FIGUERAS J ET AL. INTRODUCCIÓN DEL PORTAFOLIO FORMATIVO COMO INSTRUMENTO DE TUTORIZACIÓN DE RESIDENTES DE MEDICINA INTERNA: REVISIÓN DE UNA EXPERIENCIA PILOTO, 2005-2006 450 Rev Clin Esp. 2008;208(9):447-54 00 TABLA 2 Funciones del tutor del residente en el portafolio de la Sociedad Española de Medicina Interna (SEMI) Explicar al residente la filosofía del instrumento, el proyecto de Portafolio SEMI, su implementación práctica y el manejo del portal del proyecto Señalar elementos que se deben incorporar en el trabajo del portafolio, proveer feedback a los elementos y comentarios incorporados por el residente al portafolio Ayudar a elaborar el portafolio, a resolver dudas y dificultades y supervisar la construcción del mismo Apoyar en el proceso reflexivo del residente, registrar y transmitir al residente las consideraciones pertinentes (feedback) Hacer de interlocutor entre el residente y el Grupo de Evaluación Facilitar la participación de los distintos profesionales implicados en la valoración de 360° TABLA 3 Participantes y hospitales de procedencia Hospital Residentes Tutores Complejo Hospitalario de Albacete 3 1 Hospital de Cruces. Barakaldo 1 1 Hospital Universitario de Bellvitge. Hospitalet 1 1 Hospital Santa Creu i Sant Pau. Barcelona 3 1 Hospital del Sagrat Cor. Barcelona 1 1 Hospital Reina Sofía. Córdoba 1 1 Hospital Virgen de las Nieves. Granada 1 1 Hospital Insular de Gran Canaria 1 1 Complexo Hospitalario Xeral-Calde. Lugo 1 1 Hospital Gregorio Marañón. Madrid 5 2 Hospital Costa del Sol. Málaga 1 1 Hospital Son Dureta. Palma de Mallorca 2 1 Hospital Virgen del Camino. Pamplona 1 1 Hospital Sierrallana. Santander 1 1 Hospital Virgen del Rocío. Sevilla 2 1 Hospital General de Vic. Barcelona 2 1 Hospital Meixoeiro. Vigo 1 1 Hospital Virgen de la Concha. Zamora 1 1 TOTAL 29 19 08_Revision_09_447-54 10/10/08 19:48 Página 450 narios) y la revisión global del aprendizaje,sólo reali- zada por el 10% de los residentes. En cuanto a la valoración por parte de los dos evalua- dores externos, 2 portafolios (7%) fueron considerados de nivel muy bueno, 4 (14%) de un nivel claramente suficiente, 10 (34%) de nivel aceptable pero con algu- nos aspectos mejorables y 13 (45%) fueron considera- dos de nivel claramente insuficiente, por no aportar un mínimo de tareas que permitieran la valoración global del trabajo. De los 29 portafolios se emitió un informe evaluativo que era remitido a los residentes. Estos informes, ade- más de la valoración global, aportaban comentarios, observaciones y sugerencias del evaluador como guías de aprendizaje. Así, por ejemplo, el evaluador en relación al portafolio de uno de los 29 residentes comenta: «Se han aborda- do dos de los aspectos nucleares de la formación del residente de primer año (R1): la obtención y clarifi- cación del motivo de consulta mediante anamnesis y la exploración física. Como sugerencia: intentar con- cretar más (con tareas específicas) el plan de trabajo y las estrategias para implementarlo incluyendo los mecanismos de monitorización». O en la valoración del portafolio de otro de los resi- dentes: «Incidentes críticos bien planteados con temas que, además, permiten explorar múltiples dimen- siones: dilemas éticos (reanimación cardiopulmo- nar), replantear la propia práctica (fiebre de origen no infeccioso), implicación del entorno familiar (anal- gesia en paciente terminal). Sugerir una MAYOR CON- CRECIÓN en el momento de plantearse la cuestión de aprendizaje: diseñar estrategias y metodologías con- cretas para una pregunta concreta». Se obtuvieron 16 cuestionarios de evaluación de la experiencia procedentes de tutores y residentes («Encuesta para mejorar el Portafolio SEMI»). Las pro- puestas de mejora más generalizadas se articulaban en torno a los siguientes ejes: 1) Mejorar la página web y el funcionamiento del portal. 2) Hacer más comprensibles los apartados de las dife- rentes tareas propuestas. 3) Dar la posibilidad de una cumplimentación más libre de las diferentes tareas del portafolio. 4) Reservar espacios de tiempo no asistencial para que los tutores puedan dedicarse a la tutorización de los residentes. 5) Reconocer en el currículum de los residentes y de los tutores que participen en el portafolio su dedica- ción al mismo. Todas las encuestas plantearon elementos positivos que debían reforzarse y elementos negativos para mejo- rar; 6 expresaron un juicio global positivo y 4 emitie- ron un juicio global negativo; en las 6 restantes no se identificó claramente ninguno de estos dos posiciona- mientos. Durante el mes que estuvo abierto el foro en RedIris se produjeron 19 aportaciones o juicios críticos: 6 (31,5%) fueron claramente favorables a seguir y desa- rrollar la experiencia; otros tantos eran posiciona- mientos claramente en contra por no verle la utilidad y considerarla de excesiva dificultad y con escaso ren- dimiento formativo, y los 7 restantes (36,8%) no emi- tieron un juicio claramente favorable o desfavorable, pero aportaban propuestas concretas de mejora para avanzar en la aceptabilidad del Portafolio SEMI. Discusión No existe un método claro de cómo evaluar las expe- riencias formativas con portafolio. Se trata de un ins- trumento que maneja fundamentalmente información cualitativa, desde una aproximación holística al com- portamiento profesional de quien lo utiliza. Por tan- to, tenemos, inevitablemente, un importante compo- nente de subjetividad y el desarrollo de la evaluación en términos de fiabilidad, reproducibilidad y validez puede resultar complicado23,24, discusión que queda fue- ra del propósito del presente artículo. En general, la valoración del núcleo reflexivo del por- tafolio fue muy positiva, y la participación fue acep- table, ya que todos los residentes utilizaron al menos una de las tareas propuestas. Los mayores inconve- nientes identificados fueron la escasez de tiempo de los residentes y tutores para las actividades formati- vas específicas, la complejidad del instrumento y las deficiencias tecnológicas del portal informático que alojaba el Portafolio SEMI. Las tareas con mayor aceptación fueron, con dife- rencia, el registro de incidentes críticos y el desarrollo narrativo de un caso de paciente con pluripatología crónica. Seguramente esto sea atribuible a la mayor vinculación de estas dos actividades con el trabajo asistencial cotidiano, así como a su orientación a la resolución de «necesidades reales» sentidas por los residentes. Además, estas dos tareas fueron más inten- samente trabajadas durante los talleres formativos y son las que, en principio, aceptaban más libertad metodológica. Sin embargo, las críticas por el con- sumo de tiempo para la ejecución de estas tareas, la complejidad de los formularios excesivamente diri- gidos y las dudas en torno a la necesidad de escribir sobre la reflexión, son comunes a otras experien- cias publicadas25. La tarea menos utilizada fue el cuestionario de 360°, desarrollado en su totalidad por sólo 4 residentes, ARNAU I FIGUERAS J ET AL. INTRODUCCIÓN DEL PORTAFOLIO FORMATIVO COMO INSTRUMENTO DE TUTORIZACIÓN DE RESIDENTES DE MEDICINA INTERNA: REVISIÓN DE UNA EXPERIENCIA PILOTO, 2005-2006 00 Rev Clin Esp. 2008;208(9):447-54 451 TABLA 4 Utilización de las diferentes tareas propuestas en la prueba piloto del Portafolio SEMI Tareas asociadas N* % al Portafolio (rango) Incidente crítico 29 (1-5) 100% Resumen del caso clínico pluripatológico 19 (1-2) 65% Autoauditoría 11 (1-2) 38% Auditoría externa 4 (1) 14% Cuestionarios de 360° 11 (1-8) 39% Autoanálisis de cuestionarios de 360° 4 (1) 14% Valoración global del aprendizaje 3 (1) 10% *Número de residentes que cumplimentaron al menos una vez esa tarea pro- puesta. El rango se refiere al número de tareas aportadas en cada categoría. 08_Revision_09_447-54 10/10/08 19:48 Página 451 los cuales expresaron un elevado grado de satisfac- ción con la misma, ya que valoraban el feedback que les aportaba el análisis de las diversas perspectivas de la manera de actuar en su trabajo habitual. La varia- bilidad en la aceptación de esta tarea estaba en con- sonancia con la mostrada en otras experiencias20. De todas formas, creemos que habría que considerar la importancia de este tipo de tareas ya que parece ser que son instrumentos fiables para la evaluación de competencias del área de la comunicación, de las rela- ciones interpersonales en equipos multidisciplinares de trabajo y del profesionalismo26,27. De la experiencia piloto y del análisis de contenido de los portafolios examinados, extraemos ejemplos —transcritos de manera literal— que (siguiendo el esquema sugerido por Miriam Friedman5) ilustran algu- nas de las utilidades del portafolio como instrumen- to de tutorización: 1) Evaluar el progreso y los resultados del aprendiza- je, proporcionando pruebas de la práctica del residente a lo largo del tiempo: «Conocer la situación basal de un enfermo es una información básica que nos va a condicionar el llevar a cabo medidas más o menos agresivas, dependiendo de su calidad de vida previa. Dentro de unos meses volveré a realizar un nuevo self audit para ver si se han cumplido o no los objetivos marcados». 2) Orientar la formación en función de las caracterí- sitcas del que aprende: «Los nuevos conocimientos los he aplicado racionalizando mis decisiones de acuerdo a mi criterio clínico propio y mis conoci- mientos, a sabiendas de mis limitaciones como pro- fesional. Todavía me faltan por aprender las medi- das extraordinarias y/o agresivas de tratamiento en pacientes con....» 3) Mejorar las interacciones entre el tutor y el residente: «La labor quizá más difícil de un médico es “saber cuándo parar” en la utilización de pruebas diag- nósticas y actitudes terapéuticas “agresivas”. La dis- paridad de criterios obedece a consideraciones éti- cas personales, difíciles de analizar y criticar. En mi opinión, una vez probada la nula posibilidad de recu- peración clínicamente significativa, elaspecto que debe primar en la atención es el alivio del dolor y el sufrimiento...» (comentario del tutor al incidente crí- tico presentado por el residente). 4) Estimular la utilización de estrategias de reflexión y autoaprendizaje: «Tras una respuesta agresiva ines- perada conviene dejar hablar. Posteriormente, en frío, reflexionar sobre si mi actuación personal no ha sido del todo correcta. La prevención es impor- tante; crear un ambiente relajado, cordial, sin pri- sas. El paciente debe percibir que sus intereses se anteponen a cualquier otra cosa». 5) Expandir la comprensión de la competencia profe- sional: «Me falta aprender a manejarme en situacio- nes difíciles de características diferentes a ésta que seguro me encontraré a lo largo de los años de resi- dencia, y que me permitirán adquirir experiencia para manejar relaciones delicadas con pacientes». Son pequeñas pinceladas que muestran cómo el esfuerzo dedicado a la elaboración del portafolio per- sonal del residente puede ayudar en su proceso for- mativo y en la generación de ciclos de aprendizaje28 (experiencia-observación reflexiva-conceptualización abstracta-experimentación activa) centrados en la experiencia diaria y en la manera de aprender de los adultos29. También creemos que el trabajo con portafolio permite reflejar aspectos y valores vincu- lados al profesionalismo que están en el núcleo de algunas propuestas de renovación del aprendizaje de la Medicina30. En diversos talleres y foros de formación realizados sobre portafolio, tanto previos como posteriores a la experiencia piloto, una de las objeciones más genera- lizadas que hemos encontrado ha sido la concepción por parte de algunos profesionales de que la reflexión («que ya se hace cotidianamente») espontánea, infor- mal, sobre la marcha, comporta los mismos beneficios, a un coste mucho menor, que registrar por escrito el proceso de reflexión sobre nuestro aprendizaje. No hemos encontrado estudios publicados que contrasten estas dos estrategias («reflexión informal» frente a «refle- xión registrada»). Entendemos que los costes, en dedi- cación de tiempo y esfuerzo, de realizar el portafolio son inferiores a los que genera la redacción de un ar- tículo científico, y similares a lo que supone preparar una comunicación a un congreso o una sesión clínica o bibliográfica. Sin embargo, el rendimiento educati- vo, que no curricular, de estas actividades, sin estar tampoco contrastado, no es cuestionado con tanta intensidad ni por los residentes ni por los tutores. Otra divergencia común consiste en suponer que el portafolio es un instrumento que ha de servir para faci- litar al tutor la valoración del esfuerzo, del progreso y del nivel alcanzado por sus residentes. Sin negar que pueda aportar información complementaria a los tuto- res sobre estos aspectos, desde nuestra perspectiva, el portafolio es, básicamente, una herramienta de tra- bajo para ayudar a los residentes en su proceso for- mativo. El esfuerzo, el contenido, los resultados y los beneficios son del residente y para el residente, con el acompañamiento de sus tutores. En esta dialéctica entendemos que mientras no haya una experiencia suficientemente extensa que haya permitido verificar su validez formativa y su eficiencia, el portafolio sólo debería ser usado de forma voluntaria por aquéllos que, convencidos de su potencial e impacto educati- vos, se sientan cómodos y motivados con este méto- do de aprendizaje. Entendemos que el proceso ha generado algunas resis- tencias y cierto escepticismo en cuanto a su futuro desarrollo; sin embargo creemos que ha servido para generar una de las primeras experiencias de campo en el desarrollo de portafolios formativos para resi- dentes en España. Creemos, asimismo, que permite evidenciar algunos elementos clave en el proceso for- mativo y en el progreso profesional de los residentes, como pueden ser la generación y consolidación de hábitos de aprendizaje basados en el análisis de la pro- pia experiencia, la autorreflexión y el pensamiento crí- tico. Hay experiencias que muestran que estas resis- tencias pueden ser vencidas31, creemos que merece la pena intentarlo. ARNAU I FIGUERAS J ET AL. INTRODUCCIÓN DEL PORTAFOLIO FORMATIVO COMO INSTRUMENTO DE TUTORIZACIÓN DE RESIDENTES DE MEDICINA INTERNA: REVISIÓN DE UNA EXPERIENCIA PILOTO, 2005-2006 452 Rev Clin Esp. 2008;208(9):447-54 00 08_Revision_09_447-54 10/10/08 19:48 Página 452 Conclusiones y recomendaciones A partir de las diferentes fuentes de información gene- radas por la experiencia piloto con portafolio (valora- ción de los portafolios individuales, encuestas de mejo- ra, reuniones de tutores de residentes de Medicina Interna, foro virtual en RedIris y sesiones del Grupo de Formación de la SEMI), podemos concluir (tabla 5) que la introducción de este instrumento formativo en la tuto- rización de residentes puede ser considerada de interés para tutores y residentes, identificándose como una de sus principales fortalezas la sistematización de un apren- dizaje reflexivo a partir de la propia práctica y el ser un marco para la facilitación y fortalecimiento de la relación tutor-residente. Asimismo se han identificado aspectos mejorables tanto en el diseño del Portafolio SEMI (com- plejidad de las tareas propuestas, deficiencias en el fun- cionamiento del portal informático, poca concreción de objetivos docentes, formación a tutores y residentes en el manejo y filosofía educativa del portafolio) como en el propio entorno en el que se desarrolla la formación de los futuros internistas (sobrecarga asistencial, escasez de tiempo específicamente reservado para la tutoriza- ción, reconocimiento de la función del tutor, desarrollo profesional en metodología docente, etc.). Como recomendaciones para mejorar el desarrollo del Portafolio SEMI en un futuro habría que considerar: 1) Mejorar la formación sobre el instrumento: ofre- cer la formación conjuntamente a tutores y residentes, incorporar a residentes que hayan utilizado el porta- folio como formadores en los talleres, promover una estrategia de formación de formadores en cada cen- tro, incorporar a tutores con formación más avanza- da como dinamizadores de la utilización del portafo- lio en cada hospital. 2) Revisar el diseño y contenidos del portafolio: impres- cindible mejorar la correlación entre competencias y tareas o instrumentos propuestos para la valoración de dichas competencias, vincular las competencias sobre las que trabajar con el diseño del nuevo progra- ma de la especialidad32, mejorar y simplificar los for- mularios de registro de las diferentes tareas. 3) Mejorar elementos de ayuda para la realización del portafolio: completar la guía de trabajo del portafo- lio, poner a disposición de los usuarios varios ejemplos de cada una de las tareas, disponer de un espacio para las preguntas más frecuentes y disponer de una con- sultoría vía electrónica. 4) Mejorar y agilizar el funcionamiento del portal infor- mático: simplificar el diseño y mejorar la navegación en el portal, disponer de ayudas, mejorar la seguridad, inlcuir la posibilidad de anexar documentos, permitir la impresión de informes y memorias. 5) Dotar de valor añadido al Portafolio SEMI: certifi- car la participación con equivalencia en créditos de for- mación, optimizar la realización de las tareas incorpo- radas al portafolio (por ejemplo la memoria anual), asegurar la retroalimentación de una valoración exter- na a cada residente. BIBLIOGRAFÍA 1. General Practitioners Committee. Good medical practice for general prac- titioners. London: Royal College of General Practitioners; 2002. 2. Asociación de Redes de Comisiones de Docencia y Asesoras (AREDA). La evaluación de la formación especializada como garantía de la calidad del sis- tema de salud. Educ Méd. 2007;10(1):16-25. 3. Epstein RM. Assessment in Medical Education. N Engl J Med. 2007;356: 387-96. 4. Challis M. AMEE Medical Education Guide Nº 11 (revised): portfolio- based learning and assessment in medical education. Med Teacher. 1999;21:370-86. 5. Friedman Ben David M, Davis MH, Harden RM, Howie PW, Ker J, Pip- pard MJ. AMEE Medical Education Guide Nº 24: portfolios as a method of student assessment. Med Teacher. 2001;23:535-51. 6. Plack MM, Greenberg L. The reflective practitioner: reaching for exce- llence in practice. Pediatrics. 2005;116:1546-52. 7. Roma Millán J. La reflexión como eje central del desarrollo profesional. Educ Méd. 2006;9:30-6. 8. Working Group on Higher Professional Education. Portfolio-based lear- ning in general practice. Occasional Paper num. 63. London: Royal College of General Practitioners; 1993. 9. Grupo de Trabajo Portafolio SEMI. Guía de Trabajo Portafolio SEMI: Cur- so académico 2007-08. Sociedad Española de Medicina Interna-Institut d’Es- tudis de la Salut. Disponible en: http://www.fesemi.org/cuaderno/public/. 10. Torán Monserrat P, Arnau Figueras J. El portfolio como instrumento de valoración del residente. Aten Primaria. 2006;37(7):371-3. 11. Ruiz Moral R, Loayssa Lara JR. El portafolio de ética en la formación del médico de familia: argumentación teórica y ejemplificación práctica. Aten Primaria. 2007;39(9):491-4. 12. Arnau J, Torán P, Forés D, Cots JM, Fornells JM, Martínez-Carretero JM. Pilot portfolio project for final year Family and Community Medicine resi- dents. Catalonia 2004. Educ Méd. 2004;7(3):62. ARNAU I FIGUERAS J ET AL. INTRODUCCIÓN DEL PORTAFOLIO FORMATIVO COMO INSTRUMENTO DE TUTORIZACIÓN DE RESIDENTES DE MEDICINA INTERNA: REVISIÓN DE UNA EXPERIENCIA PILOTO, 2005-2006 00 Rev Clin Esp. 2008;208(9):447-54 453 TABLA 5 Fortalezas y debilidades del Portafolio SEMI como elemento de tutorización de residentes, identificadas en la prueba piloto Fortalezas Aspectos mejorables Debilidades del entorno Núcleo reflexivo: promoción de un aprendizaje reflexivo Sistematización de procesos de aprendizaje Promueve la observación de la propia práctica Facilitación de la relación tutor-residente Simplificar formularios, tareas y contenidos Formación recibida por tutores y residentes usuarios del portafolio Concreción de objetivos docentes Funcionamiento del portal informático Procurar valor añadido al portafolio: optimizar tareas, evidenciar o certificar formación Orientación a las necesidades reales de los residentes Poca disponibilidad de tiempo para la tutorización Escepticismo sobre la utilidad de registrar los procesos de aprendizaje y reflexión 08_Revision_09_447-54 10/10/08 19:48 Página 453 13. Arnau J, Torán P, Pujol R, Martínez-Carretero JM, Pinilla B. Portafolio de residentes de Medicina Interna, 2005-2006. Educ Méd. 2007;10(3): 169. 14. Flanagan JC. The critical incident technique. Psychol Bull. 1954;51: 327-58. 15. Caraccio C, Englander R. Evaluating competence using a portfolio: a lite- rature review and web-based application to the ACGME competencies. Teach Learn Med. 2004;16(4):381-7. 16. Challis M, Mathers NJ, Howe AC, Field NJ. Portfolio-based learning: continuing medical education for general practitioners –a mid-pont evalua- tion. Med Educ. 1997;31:22-6. 17. Ezquerra Lezcano M. El self audit como instrumento de valoración for- mativa. Aten Primaria. 2005;35(3):121. 18. Ogilvie G, Walsh A, Rice S. The problem-based medical audit program: influence on family practice residents’ knowledge and skills. Fam Med. 1998;30(6):417-20. 19. Joshi R, Ling FW, Jaeger J. Assessment of a 360-degree instrument to evaluate residents competency in interpersonal and communication skills. Acad Med. 2004;79(5):458-63. 20. Potter TB, Palmer RG. 360-degree assessment in a multidisciplinary team setting. Rheumatology. 2003;42(11):1404-7. 21. Sargeant JM, Mann KV, Ferrier SN, Langille DB, Muirhead PD, Hayes VM, et al. Responses of rural family physicians and their colleague and cowor- ker raters to a multi-source feedback process: a pilot study. Acad Med. 2003;78(10):S42-4. 22. Rees Ch. The acceptability of 360-degree judgements as a method of assessing undergraduate medical students’ personal and professional beha- viours. Med Educ. 2005;39:49-57. 23. Driessen E, van der Vleuten C, Schuwirth L, van Tartwijk J, Vermunt J. The use of qualitative research criteria for portfolio assessment as an alter- native to reliability evaluation: a case study. Med Educ. 2005;39:214-20. 24. Webb C, Endacott R, Gray MA, Jasper MA, McMullan M, Scholes J. Evaluating portfolio assessment systems: what are the appropriate criteria?. Nurse Educ Today. 2003;23:600-9. 25. Grant AJ, Vermunt JD, Kinnersley P, Houston H. Exploring student’s perceptions on the use of significant event analysis, as a part of a portfolio assessment process in general practice, as a tool for learning how to use reflec- tion in learning. BMC Med Educ. 2007;7:5. 26. Violato C, Lockyer J, Fidler H. Multisource feedback: a method of asses- sing surgical practice. BMJ. 2003;326:546-8. 27. Lockyer JM, Violato C, Fidler H. A multi source feedback program for anesthesiologists. Can J Anaesth. 2006;53:33-9. 28. Curry L. Cognitive and learning styles in medical education. Acad Med. 1999;74(4):409-13. 29. Schön DA. La formación de profesionales reflexivos. Hacia un nuevo diseño de la enseñanza y el aprendizaje en las profesiones. Barcelona: Pai- dós; 1992. 30. Weinberger SE, Smith LG, Collier VU. Redesigning Training for Inter- nal Medicine. Ann Intern Med. 2006;144:927-32. 31. Sprigge JS, Higgins J, Rice B, Tofield L, Graham D. Appraisal, assess- ment and career development for doctors in training: the Mersey Deanery personal development portfolio. J R Soc Med. 2006;99:521-6. 32. Orden SCO/227/2007, de 24 de enero, por la que se aprueba y publi- ca el programa formativo de la especialidad de Medicina Interna. (BOE nº 33 de 7 de febrero de 2007;5755-9). ARNAU I FIGUERAS J ET AL. INTRODUCCIÓN DEL PORTAFOLIO FORMATIVO COMO INSTRUMENTO DE TUTORIZACIÓN DE RESIDENTES DE MEDICINA INTERNA: REVISIÓN DE UNA EXPERIENCIA PILOTO, 2005-2006 454 Rev Clin Esp. 2008;208(9):447-54 00 08_Revision_09_447-54 10/10/08 19:48 Página 454
Compartir