Where can you find current best evidence?

Full text

(1)

Where can you find 

“current best evidence”? 

Advances in the quest for access to high  quality evidence, ready for clinical application. 

Brian Haynes  McMaster University 

EBCP W/S  June 2010

(2)

By the year 2020, 90% of clinical decisions  will be supported by accurate, timely, and 

up­to­date clinical information and will reflect  the best available evidence. 

IOM Roundtable on Evidence­Based Medicine  This can’t happen without excellent 

connections between best evidence and 

decisions for and by individual patients.

(3)

The Slippery Slope 

years since  graduation 

r = ­0.54  p<0.001 

...

...

. ..

. . .... .

....

....

...

..

knowledge  ... 

of current  best care 

100% 

0% 

50%  

Choudhry, Fletcher and Soumerai,  Ann Intern Med 2005;142:260‐73  94% of 62 studies found decreasing 

competence for at least some tasks, with 

increasing physician age.

(4)

Typical time to “standard” 

implementation of innovations 

17 to 20 years

(5)

E X KT2 = ROI 

Efficacy  Knowledge 

Translation  (type 2) 

Return on  Investment  Real 

Outcomes  of

Importance

(6)

E X KT2 = ROI 

Where: 

E is typically ≤ 0.25 

KT2 is typically ≤ 0.25 

Clinician  adherence 

~ 50% 

Patient  adherence 

~50% 

.25 X .25  = .06 

So: 

ROI is 

typically...

(7)

Objectives 

¨ 

To review the emerging hierarchy of  pre­appraised “best evidence” 

resources 

¨ 

To consider the complementary roles  of “push” and “pull” evidence 

services (and “prompt”) 

¨ 

To illustrate the use of current 

sources of “pre­appraised” evidence 

Finding current best evidence 

is becoming much easier!

(8)

Who makes regular use of… 

¨ 

an E­B “push” service? (eg  EvidenceUpdates, ACPJC+) 

¨ 

an E­B “pull” service? (eg UTD,  CE, Dynamed) 

¨ 

a “federated” E­B search service? 

(eg TRIP, SUMSearch)

(9)

Systems 

Summaries 

Synopses 

Syntheses 

Studies 

Examples 

Computerized decision  support 

Evidence­based  textbooks 

Evidence­based journal  abstracts 

Systematic reviews 

Original journal articles 

Olde School EBHC 

New  School 

EBHC 

Hierarchy of pre­appraised evidence  for clinical decisions 

All of these resources require that  clinicians link the evidence with  individual patient problems... 

Systems are needed to  link directly from patient 

problems to evidence

(10)

Examples 

Computerized decision support 

Evidence‐based textbooks  (eg, Clinical Evidence, UpToDate)  Evidence‐based journal abstracts 

(eg, ACP Journal Club) 

Systematic reviews  (eg, in Evidence Updates) 

Evidence‐based journal abstracts 

Original journal articles  (eg, in EvidenceUpdates) 

The 6S hierarchy of preappraised evidence

(11)

Evolution of EBM Info Resources 

¨ 

PreEBM: Passive diffusion (“publish it  and they will come”) 

¨ 

Early EBM: Pull diffusion (“teach them to 

read it and they will come”)

(12)

Evolution of EBM info resources 

¨ 

Current EBM info:  Push diffusion (“read  it for them and send it to them”) 

¨ 

Future EBM info: 

¤ 

Pull –  1­stop search for best evidence 

¤ 

Prompt  (“read it for them, connect it to 

their individual patients, prompt them 

and their patients”)

(13)

Finding best evidence for  healthcare decisions 

¨ 

Push, Pull, Prompt 

¤  of Pre­appraised 

evidence

(14)

Push:

(15)

50,000 articles/yr  from 120 journals 

~3,500 articles/yr 

meet critical appraisal  and content criteria  (93% ‘noise’ reduction) 

Evidence‐Based Journals 

Critical Appraisal Filters Reliability (kappa) 

>90% beyond chance 

Includes all Cochrane Reviews, 

CADTH Reviews, NHS HTA Reviews,  AHRQ Reviews

(16)

The McMaster PLUS project 

¨  only a tiny proportion of all research is 

“ready for application” 

¨  only a tiny fraction of the “ready” research  is “relevant” to the practice of a given 

clinician 

¨  only a tiny proportion of the “relevant” 

research for a given practitioner is 

“interesting” in the sense of being 

something new, important, and actionable.

(17)

McMaster Online Rating of Evidence: >5000 clinicians  RELEVANCE

(18)

To become a rater, e­mail us at  MORE@McMaster.CA 

(must be in current clinical practice)

(19)

~3,500 articles/y meet  critical appraisal and  content criteria 

McMaster PLUS Project 

Clinical Relevancy Filter (MORE

~20 articles/yr for  clinicians  (99.96% 

noise reduction) 

~5­50 articles/y for  authors of evidence­ 

based guidelines and  reviews 

Health Knowledge Refinery 

Predicts citation counts (p<0.001)

(20)

With biomedical research articles 

published @ 2,000,000/yr, a clinician  reading 2 articles/day will be 55 

centuries behind each year. 

Bernier & Yerkey, 1979  The evidence base for clinical 

effectiveness has become so vast that  it is essentially unmanageable for 

individual providers. 

Institute of Medicine, 2001

(21)

User End 

¨  Users sign up according to their discipline(s) 

¨  Users control relevance and flow 

¨  Users can change disciplines at any time, and  can sign up for as many as they wish 

¨  Searches according to discipline – or not 

¨  Users can access many fulltext articles for free 

¨  Users can access PubMed Clinical Queries

(22)

McMaster PLUS Trial Findings: % of 

participants using evidence­based resources by  month 

Percentage Using PLUS 

0.0% 

10.0% 

20.0% 

30.0% 

40.0% 

50.0% 

60.0% 

70.0% 

Nov Dec Jan Feb Mar Apr May Jun Jul Aug Sep Oct Nov Dec Jan Feb Mar Apr  May Jun  03    03    04   04   04   04    04   04   04   04   04   04  04  04    05   05   05   05   05    05 

Month  70

60 50 40 30 20 10 

Baseline (5 mo)  Self­serve vs Full­serve  Full­Serve 

Self­serve       Full­Serve 

Relative increase 58.7%, P=0.001 

RCT begins  Control cross­over begins

(23)

You can sign up for free at 

http://plus.mcmaster.ca/EvidenceUpdates

(24)
(25)

Free at: http://plus.mcmaster.ca/np/

(26)

PULL: Resources for finding 

evidence when you need it

(27)

…Doctor, do I really have to monitor my  blood sugars (I can’t afford the glucose  strips and my fingers hurt)? 

Patient: A 56 year old white woman 

with type 2 diabetes on metformin 

with stable A 

1c 

for 5 years asks...

(28)

Current guidelines 

Canadian Diabetes Association  Guidelines 2008 

“All people with diabetes who are  able should be taught how to self­ 

manage their diabetes, including 

SMBG [Grade A, Level 1A (5)].”

(29)

Current guidelines 

American Diabetes Association Guidelines 2010 

● For patients using…noninsulin therapies, or  medical nutrition therapy alone, SMBG may be  useful as a guide to the success of therapy.(E) 

“Several recent trials have called into question  the clinical utility and cost­effectiveness of  routine SMBG in non–insulin­treated patients  (40–42).”

(30)

Did I miss any  important 

evidence with  my search? 

Is there any way I  could have 

retrieved less 

“junk”? 

What is the best current evidence?

(31)

Systems  Summaries 

Synopses  Syntheses 

Studies 

Search for Evidence 

¨ 

Systems – one under development 

¨ 

Summaries – Dynamed, UpToDate 

¨ 

Synopses – ACPJC, DARE 

¨ 

Syntheses – Cochrane, ACPJC+, EU 

¨ 

Studies – pre­appraised: 

EvidenceUpdates, ACPJC+, Nursing+ 

¨ 

Studies – non­pre­appraised: Clinical 

Queries; Pubmed

(32)
(33)

http://medportal.ca

(34)

Clinical Connect 

(Hamilton Health Sciences EMR) 

MacPLUS

(35)

Search on “diabetes and self- monitoring”

Results for

“Summaries”

Results for

“Synopses of SRs”

Results for

“Syntheses”

Results for

“Studies”

Results for “Synopses of Studies”

http://plus.mcmaster.ca/macplusfs/Who.aspx

(36)

Last literature review version 18.1: January 2010 | This topic last updated: 

October 2, 2009 

Thus, self­monitoring of glucose may not be necessary at all,  or only in unusual circumstances, for patients with type 2 

diabetes who are treated with oral agents not associated with  hypoglycemia. 

SMBG may be useful for some type 2 diabetic patients 

who would take action to modify eating patterns or exercise,  as well as be willing to intensify pharmacotherapy, based on  SMBG results. 

The ADA recommends that patients with type 2 diabetes who  are treated with insulin or oral hypoglycemic drugs monitor  blood glucose daily [3,4]. 

Systems  Summaries 

Synopses  Syntheses 

Studies

(37)

Overview: 

¨ 

inconsistent evidence for  effectiveness of glucose 

monitoring on glycemic control in  type 2 diabetes 

Systems  Summaries 

Synopses  Syntheses 

Studies 

Evidence review

(38)

Conclusion: Intensive self­monitoring of blood glucose was  associated with higher cost and lower quality of life than usual  care in non–insulin­treated type 2 diabetes. 

Systems  Summaries 

Synopses  Syntheses 

Studies 

Glycemic control was not affected  by self­monitoring of blood 

glucose in type 2 diabetes 

O’Kane MJ, Bunting B, Copeland M,  Coates VE. Efficacy of self 

monitoring of blood glucose in 

patients with newly diagnosed type 2  diabetes (ESMON study): randomised  controlled trial. BMJ. 

2008;336:1174­7. 

Self­monitoring of blood glucose  was not cost­effective in non– 

insulin­treated type 2 diabetes 

Simon J, Gray A, Clarke P, et al. Cost  effectiveness of self monitoring of  blood glucose in patients with non­ 

insulin treated type 2 diabetes: 

economic evaluation of data from the  DiGEM trial. BMJ. 2008;336:1177­80.

(39)

Systems  Summaries 

Synopses  Syntheses 

Studies 

CONCLUSIONS: … SMBG is of  limited clinical effectiveness in  improving glycemic control in 

people with T2DM on oral agents,  or diet alone, and is therefore 

unlikely to be cost­effective.

(40)

Systems  Summaries 

Synopses  Syntheses 

Studies 

For type 2 DM on metformin, is 

glucose self­monitoring “worth it”? 

Systems: not yet (so far as I know)  Summaries: in UTD, Dynamed 

Synopses:  ACPJC 

Syntheses: EvidenceUpdates (via MacPLUS)  Studies: in UTD, Dynamed, ACPJC, 

EvidenceUpdates (and more, unappraised  studies in Clinical Queries)

(41)

To keep up with evidence 

¨  Pull 

¨  Push 

¨  Prompt…some labs and EMRs with a credible  evidence­based pedigree 

Systems 

Summaries 

Synopses 

Syntheses 

Studies

(42)
(43)

Free at www.tripdatabase.com 

(Pick One)

(44)

FREE AT www.sumsearch.uthscsa.edu

Figure

Updating...

References

Updating...

Related subjects : Find Where You Are with pwd