TY - JOUR
T1 - Council of emergency medicine residency directors' standardized letter of recommendation
T2 - The program director's perspective
AU - Love, Jeffrey N.
AU - Smith, Jessica
AU - Weizberg, Moshe
AU - Doty, Christopher I.
AU - Garra, Greg
AU - Avegno, Jennifer
AU - Howell, John M.
PY - 2014/6
Y1 - 2014/6
N2 - Objectives The standardized letter of evaluation (SLOE) was created in 1997 to provide residency program directors (PDs) with a summative evaluation that incorporates normative grading (i.e., comparisons to peers applying to emergency medicine [EM] training). Although the standard letter of recommendation (SLOR) has become increasingly popular and important in decision-making, it has not been studied in the past 12 years. To assess the SLOR's effectiveness and limitations, the perspective of EM PDs was surveyed in this study. Methods After validation of the questionnaire by 10 retired PDs, the survey was sent to the PD of each of the 159 EM residencies that existed at that time. The survey was circulated via the Council of Emergency Medicine Residency Directors' (CORD) listserv from January 24, 2013, to February 13, 2013. Weekly e-mail reminders to all PDs served to increase participation. Results A total of 150 of 159 PDs (94.3%) completed the questionnaire. Nearly all respondents (149 of 150; 99.3%) agreed that the SLOR is an important evaluative tool and should continue to be used. In the application process, 91 of 150 (60.7%) programs require one or more SLORs, and an additional 55 (36.7%) recommend but do not require a SLOR to be considered for interview. When asked to identify the top three factors in deciding who should be interviewed, the SLOR was ranked first (139 of 150; 92.7%), with EM rotation grades ranked second (73 of 150; 48.7%). The factors that were most often identified as the top three that diminish the value of the SLOR in order were 1) "inflated evaluations" (121 of 146; 82.9%), 2) "inconsistency between comments and grades" (106 of 146; 72.6%), and 3) "inadequate perspective on candidate attributes in the written comments" and "inexperienced authors" (60 of 146; 41.1% each). Conclusions The SLOR appears to be the most important tool in the EM PD's armamentarium for determining which candidates should be interviewed for residency training. Although valuable, the SLOR's potential utility is hampered by a number of factors, the most important of which is inflated evaluations. Focused changes in the SLOR template should be mindful that it appears, in general, to be successful in its intended purpose. Resumen Objetivos La carta estandarizada de evaluaciõn se creõ en 1997 para proporcionar a los directores de los programas (DP) una evaluaciõn sumatoria para incorporar calificaciones normativas (ej: comparacion põr pares aplicada a la residencia de Medicina de Urgencias y Emergencias [MUE]). Aunque la actual carta estándar de recomendaciõn (CEDR) es cada vez más popular e importante en la toma de decisiones, no ha sido estudiada en los últimos 12 años. Con el fin de evaluar la efectividad y las limitaciones de las CEDR, se encuestaron los puntos de vista de los DP de MUE en este estudio. Metodología Tras la validaciõn del cuestionario por 10 DP jubilados, la encuesta se enviõ a cada uno de los DP de las 159 residencias de MUE que existían en ese momento. La encuesta se distribuyõ a través de la lista del Consejo de Directores de Residencia de MUE del 24 de enero al 13 de febrero de 2013. Los recordatorios semanales por correo electrõnico a todos los DP sirvieron para incrementar la participaciõn. Resultados Ciento cincuenta de 159 DP (94,3%) completaron el cuestionario. Casi todos los encuestados (149 de 150; 99,3%) coincidieron que la CEDR es una herramienta de evaluaciõn importante y que se debería continuar utilizando. En el proceso de solicitud, 91 de los 150 programas (60,7%) requieren una o más CEDR, y otros 55 (36,7%) recomiendan, pero no requieren, una CEDR para que al candidato sea considerado para una entrevista. Cuando se pidiõ identificar los tres factores principales a la hora de decidir quién debería ser entrevistado, la CEDR fue clasificada en primer lugar por 139 (92,7%), y las calificaciones de rotaciõn en MUE ocuparon el segundo lugar (73 de 150; 48,7%). Los factores que se identificaron con mayor frecuencia como los tres primeros que disminuyen el valor de la CEDR fueron, por orden: 1) las evaluaciones infladas (121 de 146; 82,9%), 2) la incoherencia entre los comentarios y las calificaciones (106 de 146; 72,6%), y 3) la perspectiva inadecuada en las características del candidato en las observaciones escritas (60 de 146; 41,1%). Conclusiones La CEDR parece ser la herramienta más importante en el arsenal de los DP de MUE para determinar qué candidatos deberían ser entrevistados para acceder a la formaciõn de la residencia. Aunque es valiosa, la utilidad potencial de la CEDR es obstaculizada por un número de factores, y el más importante de ellos es la evaluaciõn inflada. Los cambios centrados en el formulario de la CEDR deberían tener en cuenta que en general parecen ser exitosas para el propõsito fijado.
AB - Objectives The standardized letter of evaluation (SLOE) was created in 1997 to provide residency program directors (PDs) with a summative evaluation that incorporates normative grading (i.e., comparisons to peers applying to emergency medicine [EM] training). Although the standard letter of recommendation (SLOR) has become increasingly popular and important in decision-making, it has not been studied in the past 12 years. To assess the SLOR's effectiveness and limitations, the perspective of EM PDs was surveyed in this study. Methods After validation of the questionnaire by 10 retired PDs, the survey was sent to the PD of each of the 159 EM residencies that existed at that time. The survey was circulated via the Council of Emergency Medicine Residency Directors' (CORD) listserv from January 24, 2013, to February 13, 2013. Weekly e-mail reminders to all PDs served to increase participation. Results A total of 150 of 159 PDs (94.3%) completed the questionnaire. Nearly all respondents (149 of 150; 99.3%) agreed that the SLOR is an important evaluative tool and should continue to be used. In the application process, 91 of 150 (60.7%) programs require one or more SLORs, and an additional 55 (36.7%) recommend but do not require a SLOR to be considered for interview. When asked to identify the top three factors in deciding who should be interviewed, the SLOR was ranked first (139 of 150; 92.7%), with EM rotation grades ranked second (73 of 150; 48.7%). The factors that were most often identified as the top three that diminish the value of the SLOR in order were 1) "inflated evaluations" (121 of 146; 82.9%), 2) "inconsistency between comments and grades" (106 of 146; 72.6%), and 3) "inadequate perspective on candidate attributes in the written comments" and "inexperienced authors" (60 of 146; 41.1% each). Conclusions The SLOR appears to be the most important tool in the EM PD's armamentarium for determining which candidates should be interviewed for residency training. Although valuable, the SLOR's potential utility is hampered by a number of factors, the most important of which is inflated evaluations. Focused changes in the SLOR template should be mindful that it appears, in general, to be successful in its intended purpose. Resumen Objetivos La carta estandarizada de evaluaciõn se creõ en 1997 para proporcionar a los directores de los programas (DP) una evaluaciõn sumatoria para incorporar calificaciones normativas (ej: comparacion põr pares aplicada a la residencia de Medicina de Urgencias y Emergencias [MUE]). Aunque la actual carta estándar de recomendaciõn (CEDR) es cada vez más popular e importante en la toma de decisiones, no ha sido estudiada en los últimos 12 años. Con el fin de evaluar la efectividad y las limitaciones de las CEDR, se encuestaron los puntos de vista de los DP de MUE en este estudio. Metodología Tras la validaciõn del cuestionario por 10 DP jubilados, la encuesta se enviõ a cada uno de los DP de las 159 residencias de MUE que existían en ese momento. La encuesta se distribuyõ a través de la lista del Consejo de Directores de Residencia de MUE del 24 de enero al 13 de febrero de 2013. Los recordatorios semanales por correo electrõnico a todos los DP sirvieron para incrementar la participaciõn. Resultados Ciento cincuenta de 159 DP (94,3%) completaron el cuestionario. Casi todos los encuestados (149 de 150; 99,3%) coincidieron que la CEDR es una herramienta de evaluaciõn importante y que se debería continuar utilizando. En el proceso de solicitud, 91 de los 150 programas (60,7%) requieren una o más CEDR, y otros 55 (36,7%) recomiendan, pero no requieren, una CEDR para que al candidato sea considerado para una entrevista. Cuando se pidiõ identificar los tres factores principales a la hora de decidir quién debería ser entrevistado, la CEDR fue clasificada en primer lugar por 139 (92,7%), y las calificaciones de rotaciõn en MUE ocuparon el segundo lugar (73 de 150; 48,7%). Los factores que se identificaron con mayor frecuencia como los tres primeros que disminuyen el valor de la CEDR fueron, por orden: 1) las evaluaciones infladas (121 de 146; 82,9%), 2) la incoherencia entre los comentarios y las calificaciones (106 de 146; 72,6%), y 3) la perspectiva inadecuada en las características del candidato en las observaciones escritas (60 de 146; 41,1%). Conclusiones La CEDR parece ser la herramienta más importante en el arsenal de los DP de MUE para determinar qué candidatos deberían ser entrevistados para acceder a la formaciõn de la residencia. Aunque es valiosa, la utilidad potencial de la CEDR es obstaculizada por un número de factores, y el más importante de ellos es la evaluaciõn inflada. Los cambios centrados en el formulario de la CEDR deberían tener en cuenta que en general parecen ser exitosas para el propõsito fijado.
UR - http://www.scopus.com/inward/record.url?scp=84903948741&partnerID=8YFLogxK
UR - http://www.scopus.com/inward/citedby.url?scp=84903948741&partnerID=8YFLogxK
U2 - 10.1111/acem.12384
DO - 10.1111/acem.12384
M3 - Review article
C2 - 25039553
AN - SCOPUS:84903948741
SN - 1069-6563
VL - 21
SP - 680
EP - 687
JO - Academic Emergency Medicine
JF - Academic Emergency Medicine
IS - 6
ER -