公衆衛生におけるFrontiers
はじめに
普及と実施(D&I)研究は、適合性と実現可能性が対処されていない場合には、エビデンスに基づく介入の採用を促進するには有効性のエビデンスが不十分であることを実証している(1,2)。 研究の成長ボディはまた、組織の要求が市場の力に関連している場合でも、実現可能な介入が完全に採用されたり、持続されない可能性があることを または他の戦略的要請(例えば、患者の欲求およびニーズ)は考慮されない(3、4)。
D&I RE-AIM(Reach,Effectiveness,Adoption,Implementation,Maintenance)(5,6)などのフレームワークは、実施計画(7)の際に、エビデンスに基づく介入の成功に関連する主要指標に対する介入の選択、適応、評価 介入(Reach)から誰の健康または健康行動が利益を得るかを定義し、介入のどの成分が所望の影響(有効性)に必要な”有効成分”とみなされるかを特定し、送達設定の関連する特性を記述し、介入(採用)を提供することに関与するものであるかを記述することによって、介入の実施に関与するものであるかを記述することによって、介入の実施に関与するものであるかを記述することによって、; 有効成分が確立されたプロトコルに忠実に送達される程度を評価し(実施)、研究が完了した後に介入を維持するための組織の決定に影響を与える可能性のあるファシリテーターと障壁を記述する(維持)、RE-AIMは、エビデンスに基づく介入の実践への翻訳とその公衆衛生への影響を改善することができる実用的な情報を提供する(8)。 厳密さと関連性のバランスをとることに重点を置いたフレームワークは、採用、実装、および保守にとって明らかに重要です(9)。 実装の成功(すなわち(10)組織が内部能力を持ち、設定システム、プロトコル、および/または役割を変更することによって介入に対応する意思がある程度(11)、および研究者が介入を適応させて長期的に維持することが可能であるように喜んでいる程度(3)に依存する可能性がある。
しかし、RE-AIMは実装の成功に影響を与える条件を説明していません(12)。 慢性ケアモデル(CCM)(13)や実践的、堅牢な実装と持続可能性モデル(PRISM)(14)などの他のフレームワークは、介入のための外部および内部のサポート、内部の準備/準備、内部システムとの互換性、および介入の観察された有効性など、介入の設計と受け入れに重要な改善科学からのコンストラクトが含まれています。 しかし、計画チームが結果を理解または改善するのを支援するための明確な定義、ガイダンス、または措置が欠けています(15)。 実施の障壁を特定するために利害関係者に質問したり、プロセスを観察したりするなどの定性的な方法の使用は、実施者が結果を得た理由の理解を 障壁を予測することは重要ですが、成果の期待、行動、意思決定に対する個々の、状況的および構造的な影響を理解することは、実施計画中に評価され、対処され得る具体的なメカニズムを特定することができます4、15)。 改善科学に加えて、顧客を理解することを含む市場原則(すなわち 介入のための競争(すなわち、他の優先順位、プログラム)は、成功を改善する(または失敗を理解する)のに有用であり得る(17)。 マーケティング科学からの教訓は、研究者が潜在的な採用者に私たちの介入(すなわち、普及)の価値を納得させるための体系的な努力として定義された”プッシュ”と、潜在的な採用者に本質的に変化(すなわち、拡散)を促す既存の好み、ニーズ、または要求として定義された”プル”に依存する傾向があることを説明しています(3)。 介入を採用する受容性を向上させるには、組織内の意思決定者の欲求、ニーズ、懸念に対処するために普及を調整することにより、プルを引き出すためにプ
実装研究のための統合フレームワーク(CFIR)は、効果的な実装に関連する構成要素で構成される包括的なフレームワークです(19)。 CFIRの39の構築物は、介入特性、外側の設定、内側の設定、個人の特性、およびプロセス(20)の五つのドメインに編成されています。 CCMやPRISMと同様に、CFIRは行動変化、改善科学、拡散理論の理論に基づいていますが、説明モデルとしての有用性を容易にするために、定義、コードブック、インタビ どのコンストラクト、またはコンストラクトのセットが採用、実装、およびメンテナンスを促進または阻害するかを理解することは、内部と外部の妥当性のバランスをとるために調整されたテスト可能な実装戦略(22)の計画中に開発を知らせることができます(4)だけでなく、プッシュとプル(3)。 言い換えれば、CFIR構造の有無を調べることで、「なぜ」実装が成功したのか、成功しなかったのかを説明することができ、RE-AIMは「誰が、何を、どこで、どのように、いつ」(12)の観点から結果を説明します(図1参照)。
図1. 実装計画概念的なフレームワーク:RE-AIMとCFIRを使用して、実装を成功させるために計画します。
を併用すると、RE-AIMとCFIRは、強調された(または逃した)要因間の関係を解明することにより、実装計画の有効性を高めることができ、実装の忠実性と採用を促進し、試験後の最適なメンテナンス結果につながる可能性がある。 RE-AIMとCFIRのドメイン、定義、構成、および計画チームの「誰が、何を、どこで、どのように、いつ、なぜ」の質問を表1にまとめました。
表1. 再AIMとCFIRドメイン、計画の質問、および定義/構成。
本論文の目的は、RE-AIM評価フレームワークとCFIR説明フレームワークを補完的に使用して、リストの障壁を超えて、実装の成功に影響を与える可能性のあるテスト可能なメカニズムを特定し、実装科学の前進に貢献することである。 最近の技術ベースの喘息の介在を使用して、Breathewellの調査は、例として、私達:(1)実施の成功に貢献する変数の存在か不在を識別します; (2)実施計画プロセスの包括性を向上させる可能性のある実施戦略を策定し、(3)将来の研究のための領域を推奨する。
材料と方法
コンテキスト
設定特性とブレスウェル研究の説明
ブレスウェル研究の設定は、デンバー-ボルダー地域で600,000人のメンバーを提供する統合医療機関であるKaiser Permanente Colorado(KPCO)であった。 Breathewellの調査は実験的に可能性としては吸い込まれたベータアゴニスト(喘息の救済者の薬物)を過剰に使用している喘息と診断される患者に目標とされた技術可能にされたアウトリーチの介在をテストする実用的な無作為化された比較試験である。 潜在的な過剰使用は、(1)患者が60日ごとよりも頻繁に吸入ベータアゴニスト(喘息緩和剤)薬の補充を要求するか、または(2)最後の4ヶ月以内に喘息コントローラ薬(吸入コルチコステロイドなど)を充填せずにベータアゴニストの補充を要求する場合に識別される。 技術ベースの介入は、KPCOの対話型音声応答(IVR)システムを使用し、電子健康記録(EHR)、患者、および提供者(看護師および薬剤師)の間でインターフェースされました。 この研究の焦点である2015年から2017年にかけて、ベータアゴニストリフィル介入を実施するための計画を実施しました。 試験の参加者は、ランダム化時に喘息の診断を受けた18歳以上のKaiser Permanente Coloradoの現在のメンバーでした。 2017年2月から2018年2月まで放送された。 参加者は、テキスト/電話介入、電子メール、または通常のケアの1つの3つのグループに無作為化されました。 参加者は、登録日に応じて、6-18ヶ月のために続いた。 この研究は、National Jewish Health and Kaiser Permanente Coloradoの機関審査委員会によって承認されました。 研究デザインの詳細は、他の場所に記載されています(23、24)。
練習変更を実施する理由-喘息ケアの効率を高める
KPCOの通常の喘息ケアでは、喘息ケアマネージャー(ACMs)として知られる看護師のグループが、頻繁なリフィルが喘息制御不良の指標となる可能性があるため、喘息リリーフ剤のリフィルが頻繁にあると特定された患者をフォローアップした。 ACMsは患者の徴候を査定し、exacerbationを防ぐために患者への電話、EHRの電子メールの入口、または郵便接触と共に患者の健康の記録の時間のかかる検討を含んでいた標準的な臨床議定書に続いた。 ACMsはBreathewellの調査のチームに喘息の救済者の薬物の酷使であるようであるものがに関して連絡した多くの患者が実際に薬物を酷使していなかったが、むしろ彼らの体育館袋で保つために余分喘息の救済者の吸入器を要求するか、または旅行、等のために薬物を早く補充することのような状態を有したことを示した。 その結果、ACMsは、彼らが記録を見直し、貧しい喘息コントロールを持っていなかったし、ACMの専門知識を必要としなかった患者に連絡するのに多大な時間 技術対応のBreathewell研究アウトリーチは、患者が現在、ACMの接触を導くための症状を持っていたかどうかを判断するために設計されました。
実装チームの構成
13人の学際的な計画と実装チームは、主にKPCOの研究者と医療専門家で構成されていました(ただし、排他的ではありません)。 実装チームの構成には、医師、心理学者、PharmDの共同研究者、ACM、二人の生物統計学者、データマネージャー、データアナリスト/情報学の専門家、行動科学者、経済学者、二人のプロ 喘息患者は実施チームメンバーとして参加しなかったが、患者は研究アウトリーチで使用する前に介入メッセージの内容と文言をレビューおよび編集した。
アプローチ
私たちは、14ヶ月の計画期間中に実施チームが行った優先順位、課題、意思決定を記述し、評価するために、将来のデータと遡及的なデータのミッ まず、すべての会議の議題と議事録をまとめ、RE-AIMドメインアライメントのコーディングによって分析しました。 第二に、我々は、サービス提供の効率を向上させるために設計された技術ベースの介入の実施のための計画に重要な設定レベルの構造の理解を深めるためにCFIRのインタビューの質問のサブセットを適応させました。 第三に、私たちは、率直を奨励するために、プライベートオフィスや会議室で個別に実装計画チームのメンバーにインタビューし、再AIMドメインとCFIRコンストラ 第四に、これらの調査結果を実装計画チームと検証しました。 最後に、学んだ教訓を要約し、将来の実装計画と実装の成功を改善するための実装戦略を開発するためのプロセスを策定しました。
データ
データには、(1)会議の議題と、研究助手によって記録され、プロジェクトマネージャーと共同主任研究者によって正確さのために各会議の後にレビューされた隔月のチーム会議の詳細な議事録からなる実施チームの文書、および(2)実施チームのメンバーとの遡及的インタビューからの逐語的な転写物が含まれていた。
分析
文書レビュー
過去の文書レビュー方法(25)を使用して、実施計画中に優先順位が付けられたRE-AIMフレームワークのコンポーネントを特定し、記述しました。 これらの文書を分析するために、我々は最初に独立して、計画段階で議論されたトピックやテーマを識別するために帰納的符号化を使用して会議の分 第二に、会議の分のコンテンツに五つの再AIMドメインが適用されました。 計画中のチームによる再AIMドメインの相対的な適用を比較するために、Glasgowらによって提案された重み付け法を用いて、1から10ポイントを各ドメインに割:1-4=低アプリケーション、5-6=中アプリケーション、7-8=高アプリケーション、および9-10=フレームワークの非常に高いアプリケーション(7)。
インタビュー
会議の議題と議事録のRE-AIMコーディングを完了した後、計画チームとのインタビューを行い、RE-AIMのA、I、Mドメインによって組織されたCFIRフ インタビューガイドは、CFIRのウェブサイト(20)で利用可能なインタビューガイドツールを使用して、日々のプロジェクト運営から削除された外部の共同調査官と、内部のプロジェクトマネージャーによって開発されました。 両方の開発者は、RE-AIM(6、26)と他の実装フレームワーク(2、10)を適用した経験がありました。 彼らは、社内で開発された技術ベースの介入の採用、実装、および試験後の保守に関連する質問を特定するために、CFIRインタビューガイドツールを見直しました。 質問は、設定レベルでの介入の適合性、実現可能性、忠実性を最大化するために行われた問題や決定についての反省を導き、持続可能性の可能性を説 私たちは設定レベルに焦点を当てていたので、ReachまたはEffectivenessの個々のレベルのドメインを再目標に焦点を当てた質問は含まれていませんでした。 また、介入が技術を用いたサービス提供の効率を向上させるために内部的に開発されたことを考えると、外部設定のCFIRドメインと個人の特性に直接関 二十から五の質問は、インタビューガイドツールから開発または適応されました(表2を参照)。 13人の実装チームメンバーのうち11人がインタビューを受けました(インタビューツールを開発した2人のチームメンバーはインタビューを受けませんでした)。 インタビューは平均して45分(範囲30-75分)続き、デジタル記録され、専門的に転写されました。
表2. インタビューガイドと先験的な再目的とCFIRコード。
二人のチームメンバーは、すべてのインタビュー転写産物を独立して分析し、まず、設定レベルの再目標ドメイン(採用、実装、メンテナンス)、選択されたCFIRドメイン(介入特性、内部設定、およびプロセス)、および特定のインタビュー質問(8、20)によって標的とされたドメイン内の特定のCFIR構造を含む先験的コードを適用した。 転写物は、その後、参加者の応答から出現した任意の関連するCFIR構築物またはサブ構造を追加し、二度目にコード化されました。 三つのインタビューをコーディングした後、コーダーはコーディングを比較し、不一致を議論し、コードの解釈にコンセンサスに達しました。 すべてのインタビューが分析された後、コーダーは、各インタビューの質問を一覧表示されたExcelワークシートを完了し、それぞれのRE-AIMとCFIRドメインコード、CFIRコンストラクトコード、新興テーマ、および割り当てられたコードとテーマを例示したインタビュー引用符を完了しました。 その後、コーダーはワークシートを比較し、矛盾を議論し、コードとテーマについて最終的なコンセンサスに達しました。
最終的なワークシートに基づいて、ある評価者は、採用、実装、および/または保守の再目的カテゴリの下に関連するCFIR構造をグループ化した行列を作成しました。 記載されているCFIR構造は、潜在的に”AIM”ドメインの一つ以上に影響を与えるとみなされたものであったため、いくつかの構造が複数回記載されていた(例えば、組織文化の構造は採用と実装の下に記載されていた)。 各評価者は、独立してCFIR構造と計画チーム活動のアライメントを確認および/または否定した代表的な引用符を抽出しました。 各評価者は、これらの引用符に基づいてCFIR構成と弱い(一点)、中程度(二点)、または強い(三点)アライメントの予備的な評価を割り当て、それらの評価を支持する証拠を要約した。 評価者は、その後、2つの行列全体で引用符と評価を比較し、違いを議論し、評価と証拠についてコンセンサスに達しました。 実装チームの会議では、結果、評価、引用の定性的なマトリックスを組み合わせたものが提示され、完全なチームはデータ解釈と主要なテーマについてコンセンサスに達しました。
結果
履歴文書レビュー
計画中の再目標ドメインの適用はドメインによって異なり、割り当てられたポイントは3から9までで、平均は6であり、フレームワークの中程度の全体的な適用を示している(表3参照)。 リーチと実装のための非常に高い(九点)と高い(八点)フレームワークのアプリケーションを示す評価は、介入計画中のチームのチーフ焦点を反映しています。 介入を設計するためのパラメータには、喘息の危険因子に対処することによって通常のケアを強化する技術を使用することが含まれていました。 会議の議事録には、EHRからのリスク要因データ出力とACMsからの利害関係者の入力に焦点を当て、プロセスと強化の可能性のある機会を特定しました。 忠実度を監視するためのプロセス指標は、実施中に使用される計画中に確立された、例えば、ACMによって連絡された特定された患者の割合、彼らが時間 さらに、技術関連の課題を解決するためにシステムに技術を統合することについての複数の会話が計画プロセス全体にわたって行われました。
表3. 時間の経過とともに計画チームの優先順位を記述するためにRE-AIMaを使用した分析からの知見。
有効性のための中等度のフレームワーク適用(六つのポイント)は、適切な介入を特定するために喘息ケアパフォーマンス指標と患者の健康データを見直した計画の初期段階での議論によって証明された。 最後に、採用とメンテナンスは、ルーチンケアの一環として、研究期間を超えて技術的介入が持続するために必要なものについての限られた議論によって証明される、低いフレームワークの適用(それぞれ四点と三点)を有していた。 直接サービス提供に関与するAcmと医師へのBreathewellの受容性を考慮した採用の議論は、相対的な頻度で行われましたが、戦略的および財政的意思決定者は、計画中に特定されたり議論されたりしませんでした。 例えば、医療システムレベルでの採用と保守の決定に非常に関連すると認識されているトピックであるコストをキャプチャすることの重要性(12)は、別の医療システムがそれを採用したい場合に、Breathewellの設計と継続的な保守に関連するコストの観点から断続的に議論された。 チームはまた、悪化のリスクが高い患者にACM時間を再割り当てすることの価値を定量化し、チャートの見直しに費やされた時間を短縮し、ベータアゴニスト補充要求のみに基づいて無症候性の適切に管理された患者にアウトリーチを提供することについても議論した。 研究終了後の継続には、Breathewellの付加価値をどのように伝えることが必要であることが認められました。
インタビュー
インタビュー転写物のre-AIMとCFIRを組み合わせた分析の結果は、実装、採用、および保守の設定レベルのRE-AIMドメイン内の最強から最弱のアライメントによって編成されています。
実装
チームの反射は、プロセスドメインに関連付けられたCFIR構築物との中等度から強いアライメントを確認しました。 可能であれば、Breathewellの介在は確立された議定書と一直線に並び、部門間の既存の情報の流れへの変更を最小にするように設計されていた。 ある人が確認したように、”プロジェクトが本当に焦点を当てていた場所は薬局と喘息ケアマネージャーの間の接合部にあったので、薬局部門内には何も変わっていませんでした…”また、チームメンバーは、すべての患者が適切なケアを受けていることを保証するために患者の手動毎日の監視が制定され、患者が見逃されていないことを説明しました”データプル部分は、時々出てくるIT問題を除いて本質的に自動化されています。 だから、その部分は自動化されていますが、手動チェック—それは毎朝数分かかります。”
チームメンバーは、彼らのバイインと確立されたワークフロー内の介入の適合を促進するために利害関係者の関与が必要であることに同意した。
早期に主要なステークホルダーを実装計画チームのメンバーとして正式に任命することは、いくつかの人々によって批判的であると強調されました。”…喘息ケアマネージャーの一人であった看護師は、私たちが会うたびに会い、彼女は私たちのチームと私たちのチームの間の行きの間になり、私たちのチームの非常に多くの部分になったことを意味しました。”
一方、係合チャンピオンは、計画チームのメンバーとして正式に任命された利害関係者に限定されていました(すなわち、計画チームのメンバーとして任命された利害関係者に限定されていました)。、喘息の心配の医者、臨床薬学の専門家、およびACM)。 例えば、ある人は、グループが誤って介入プログラミングに影響を与えるEHR内で変更を加えたときに、研究の狭い意識が忠実性に脅威を与えたと指摘し、”…彼ら(薬剤師)が使用していたテンプレート内のいくつかの単語を変更することは、私たちが研究スペースで行っていたこのことに影響を与えるとは誰も考えていなかっただろう。「これに対応して、チームは予期しない問題を特定するために毎日の監視を実施しましたが、これは持続可能な解決策ではないことを認めました」と、私た”もう一つは、監視対プログラミングソリューションのためのセトリングは、研究の時間と予算の制約のために部分的にあったことを説明しました,”それはそんなに監督を行う研究者であることを持っていない方法を考え出す…それは本当のキャッチです-22あなたはいつ、どこでその努力を置くためにどのように決定するのですか?”
チームの活動と意思決定は、特に実装の忠実性を支持していました。すなわち、プロトコルに従って介入を計画し実行するのに時間を割くことは明らかでした。
…私の視点からは、変更する必要がある大きなものの道に沿って非常に、非常に少ないバンプがありました…それらのものは計画プロセスで特定されており、実装に到達するまで待っていません。
また、介入を設計する際のチームの明確な焦点は、患者の安全性とサービスの質を強調する組織の文化との整合の必要性、内部設定ドメインに関連する構…組織。
だから、いくつかのデータベースからデータを抽出する方法、それらを統合してまとめる方法、そして実際に実行して動作するように燃料を供給する方法、そして患者を従事させる方法について、潜在的な障壁があった。…
この複雑さは、順番に、適応と試行可能性を制約しました。 ある人は、”介入中の適応は、すでに”これが最初になるだろう”ということだったので、ちょっと難しかっただろうと思います。”
パイロットコンポーネントについて尋ねられたとき(すなわち”私たちは多くのことをしました…その患者集団がすべてが機能していることを確認するためにテストしましたが、100人のような実際のパイロットはありませんでした。”
採用
上記のように、採用に関連する二つの内部設定ドメインに強い焦点がありました: 組織文化との介入の一貫性とBreathewellがすでに使用されている技術対応のコミュニケーションツールやシステムと互換性があることを保証します。 ある人は、”技術革新の目標を見て、良いケアの、私たちの利点に技術を使用して…”別の人は、”私たちはすでに喘息ケアマネージャーとしてアウトリーチをやっていた。 だから、それは私たちがすでにやっていたことの一部でした。”
一方、介入を採用することに向けた”プル”を示唆する二つの内部設定CFIR構造、すなわち。,それは変化のための緊張によって駆動されたこと,それは戦略的な優先順位であったこと,チームの反射によってサポートされていませんでした. ある人が述べたように、「人々は必然的に介入を求めていませんでした。”
チームがBreathewellを実装する決定が研究、運用、または組織のリーダーによって駆動されたかどうか、および実装計画におけるリーダーシップの関与の量について尋ねられたときに、明確なプルの欠如がさらに確認された。 チームメンバーは、介入は主にケアの効率を向上させるための機会の彼らの識別に基づいていたことに同意した、”私は正直なところ、私たちはこれが私たちの製品であると言わなければならないすべてで推測します。 私たちがここで見ている調整を推進しています…”
介入の特性は、介入がサービス提供を合理化し、Acmの負担を軽減することにより、通常のケアに相対的な利点を提供するとチームメンバーが確信していることを考えると、介入の潜在的な試行後の採用可能性にも関連していました。 しかし、チームメンバーはまた、それが競争上の優位性を提供したことを実証することによって、リーダーシップに介入を”プッシュ”するのは彼ら次第である “これは、システムの有効性に違いを生むために設計されました。 …部分的に他の人が私たちが充填しているニッチを理解するのを助けるために私たちまで。”
Maintenance
プロセスの観点から見ると、既存のインフラストラクチャと互換性があり、”適切な患者が適切なタイミングで適切なケアを受ける”という文化的価値観に合わせて介入を設計する際のチームのケアにもかかわらず、介入を既存のシステムに完全に統合するために必要ないくつかの”回避策”がありました。 試験後の修正とBreathewellの継続的なメンテナンスのための計画は弱かった。 チームのメンバーは、介入が既存のシステムに完全に統合するために組織による投資が必要であることを認めたが、まだコストを評価していなかった。 ある人は、”それが現在構造化されている方法は、技術的な観点からはそれほど移植性がなく、それを翻訳するという点でおそらく私が持っている最大の関心事であり、通常のケアでそれを維持している”と述べました。”
内部設定の観点からは、前述のように、喘息ケア管理に直接関与するプロバイダーとスタッフは、計画を通じて従事していましたが、より高いレベルの組織 試験後に利用可能なリソースをブレスウェルを維持するために割り当てるというオペレーションリーダーシップからの事前のコミットメントがなかったため、通常のケアとしてブレスウェルを継続するためにどの個人または承認レベルが必要であるかについて不確実性が表明された。
介入特性の観点から、Breathewellは効率を向上させるために設計された技術ベースの介入であることを考えると、チームは品質を犠牲にすることなく効率を最適化するという組織の優先順位との整合性を実証することによって、試験後のメンテナンスを促進する可能性を表明しました。
通常のケアに費用対効果が高いことを実証できれば、まだ翻訳することができるかもしれませんが、実際にはコストへの影響がないことが判明した場合、短期的には…それを行うことで考えています。
図2は、インタビューの質問に対するチームの回答と、採用、実装、および保守の設定レベルの再目標ドメインに関連すると考えられるCFIR構造のサブセット
図2. CFIR構造体との弱い、中程度の、または強いアライメントによって説明される、採用、実装、および保守の結果。 CFIR構造は、理論とコンセンサスに基づいて、”AIM”ドメイン内にグループ化され、計画中の相対的な重点を示すためにポイントが割り当てられました(weak=1; 中程度=2;強い=3)。 次に、介入特性(Char)、内部設定、およびプロセスのCFIRドメインについて平均「スコア」を計算して、図中に積み重ねられた列を作成しました。 AIMアウトカム折れ線グラフは、Glasgow et al.によって推奨された方法に基づいて生成されました。 (7)次のようにそれらをスコアリングすることにより、再AIMドメインの相対的なアプリケーションを重み付けするために:1-4=低アプリケーション,5-6=中
ディスカッション
“それは一種のようなものです–あなたはこの方向に行く、あなたは壁に遭遇し、あなたはバックアップし、あなたはその方向に行 あなたは道を見つけるまで行き続けるだけです。”
喘息ケア管理を強化した技術の効果的な介入の実施のための計画のこの定性的評価では、計画チームメンバーとして主要な利害関係者を正式に任命し、ワークフローとシステムの複雑さに対処し、組織文化との互換性を保証することが、非常に高い実装の忠実性を促進する上で重要な要因であることがわかりました。 我々はまた、変化の緊張を特定し、介入を相対的な優先順位と整列させ、計画にリーダーシップを従事させるなど、介入に対するリーダーシップの受容性を促進する内部設定CFIR構造と計画活動の弱いアラインメント、可能性が高い裁判後の採用と介入の維持が制限されていることを発見した。 さらに、外部設定および個々の特性ドメインに関連するCFIR構築物を除外することにより、計画の分析は、組織に対する競争的圧力などの計画活動にさら
これは、RE-AIMとCFIRフレームワークを使用して計画活動とチームの反省を包括的に評価した最初の研究です。 フレームワークを組み合わせることで、テスト可能で理論的な実装戦略を開発する能力が賢明に強化されました(27)。 RE-AIMを客観的かつ将来的に文書化された会議の議題と議事録に適用すると、チームの計画全体を通して、目標人口の最大のリーチを確保し、既存のワークフローの混乱を最小限に抑えながら、介入が患者サービスを効果的に提供し、高い実装忠実度を確保するための問題と解決策を特定することに焦点を当てていたことが観察されました。 技術ベースの介入を複数の電子通信システムに統合する複雑さに関連するシステムレベルの障壁についての議論は、研究を超えた介入を維持する しかし、議題と議事録から欠落しているのは、最終的にBreathewellを維持するために組織リソースを承認し、割り当てる必要がある人についての議論でした。 結果は比較的高い範囲の介在でした(すなわち、1080人の患者(84.5%)可能性としてはベータアゴニストを過剰使用するそれらのEHRの査定のために、達されました); そして高い忠実度(すなわち、Breathewellの介在は少数の例外を除いて設計されているように完了した)。 あまりにも頻繁な喘息緩和吸入器要求の41%がIVR介入によって解決された(すなわち、ACMアウトリーチを必要としなかった)ので、介入はまた、効果的にケア しかし、リーチ、有効性(すなわち、効率の向上)、および実装の成功にもかかわらず、チームはBreathewellが採用され、維持される可能性は低いことに同意しました。 再照準の部分的な使用(すなわち フレームワークの最近のレビュー(6、12)では、実装の成功のためには、計画中のすべての五つの再目的ドメインに注意が必要です。 組織の優先順位に影響を与える可能性のある外部および/または内部の設定ドメインの予期しない変更を特定するために、複数年のプロジェクトに
フレームワークを組み合わせるときは、補完的な情報を提供し、過度に複雑な、競合する、または冗長な構成要素のセットを避けることが重要です(27)。 異なる目的のために最も適切なフレームワークを選択するための推奨事項とツールは開発中であり(28、29)、将来的には、実装科学者が特定のプロジェクトニーズに最も関連性の高いフレームワークを選択するのに役立つ可能性があります。 少なくとも、フレームワークまたはフレームワークの組み合わせが選択された理由の正当化が提供されるべきである(30)。
このプロジェクトでは、チームの反省を導くためにCFIRコンストラクトを使用して、もし参加すれば、採用と保守の可能性を改善する可能性のある動機付け的および構造的要因の有無を明らかにした。 介入自体の特徴は、組織文化と慎重に調整され、既存のインフラストラクチャとの互換性を保証したものでした。 制度的な気候と準備に関連するいくつかの指標は存在しないが、存在する場合、潜在的に動機を高めたり、介入を採用するために”引っ張る”可能性がある。 不在の要因には、変更のための既知の緊張の欠如、相対的な優先順位、または効果的であればBreathewellを完全に統合し維持するために利用可能なリソースをコミッ チームは、後知恵では、リーダーシップの関与や実装チームと喘息ケアマネージャーの外のチャンピオンの欠如、(例えば、IT、薬局、およびhealthplanと喘息のリーダーシップ)は、組織シ
それはCFIRレンズを通して私たちの計画プロセスを反映するために点灯していました。 しかし、5つのドメインすべてを検討することで、多様な介入(31)における実施と普及の成果を改善できるRE-AIMとは異なり、実施が成功したか失敗したかを説明するために使用されるCFIRドメインと構成要素の関連性は、介入と設定によって異なる可能性がある(32)。 例えば、自己効力感および個々の変化段階(33、34)などの行動変化に関連する構築物は、人間が送達する介入にとって重要であると認められるが、自動化された介入の成功のためにはあまり必要ではない可能性が高い。 一方、試験後の採用と内部的に開発された介入の維持は、依然として患者、競合他社または規制当局の観点からの相対的な優位性の実証を必要とする したがって、CFIRは柔軟であるように設計されていますが、すべてのCFIRドメインは、通常のケアへの介入の完全な統合に影響を与える可能性のあるコンストラクトのセット、および試行後の介入を採用して維持するための受容性または”プル”、およびプロジェクトに関連しないコンストラクトを積極的に特定するために、計画中に見直される必要があります。
practice changeの文献は、組織が介入が既存のシステム、構造、およびワークフロー(35、36)に適合し、高い忠実度で提供できることを保証するために、実装前の計画に時間を 私たちは、実装の成功のいくつかの重要な決定要因に焦点を当てていることがわかりました:彼らのワークフローの課題を理解するための主要な利害関係者の関与、組織の構造的複雑さの知識、その複雑なシステムとの互換性; そして、患者の経験とケアの質を優先するその文化の理解は、高い忠実度で実行された技術ベースの介入をもたらしました。 しかし、拡散文献(3、37)の”プル”に関連するいくつかの決定要因がないことを考えると、フィットと忠実度を最大化する計画は、試験後の採用と保守を保証 これらのプル要因の欠如は、介入を採用し、維持するために”プル”を引き出すために、ターゲットを絞った普及または”プッシュ”戦略を使用する必要性を示 したがって、私たちのBreathewell実装チームは、組織の文化との連携、既存のシステムやサービスとの互換性、現状に対する相対的な利点の証拠を促進することによ 重要な教訓は、計画全体を通して再目標とCFIR要因への積極的な注意が理想的であるが、これらのフレームワークを使用して、実装中のいつでも反映を導くことは、(1)介入が組織のリーダー、利害関係者、患者の要望やニーズを具体的にどのように満たすかを伝えること、(2)それを維持する組織能力があることを保証するために必要な投資を特定することによって、実装チームがプルを増やすのを助けることができるということである。 私たちが学んだ重要な教訓の概要は、表4に記載されています。
表4. 実装プランナーのための重要な教訓。
実装計画チームへの推奨事項実装の成功の確率を向上させる
計画中に特定の課題が予想されたかどうかを尋ねられたとき、実装チームのメンバーは、
何かが間違っているかどうかを判断しようとすると、それ自体が間違っていることは決してないので、座って何が間違っているかを把握しようとすることにはあまり根拠がないことを学びました…何かが間違っているとき、または何かが間違っているときに、どのように決定を下すかのプロセスを計画する必要があります。障壁に遭遇するが、その特定のものが何であるかではない。
外部および内部の文脈、構造、および介入の種類の極端な変化は、その有無が採用、実施、および保守の結果に影響を与えた可能性のある要因に関す また、変更のための張力および組織の優先順位のような要因はヘルスケアが作動する動的文脈を考えれば複数年の調査の間に移るかもしれない。 したがって、実装チームは、導入、実装、保守の関連するシステムおよび介入固有の決定要因のセットを特定し、その実装戦略を調整し、継続的な関連性のた そうすることで、問題が発生したときに問題を特定して解決するための継続的な方法が作成されます。 再目標の採用、保守、および実装の成功を高めるための具体的な戦略については、表5を参照してください。
表5. CFIRの構成に対処し、再目標の成果を改善するために推奨される実装戦略の例。
制限
二つのフレームワークを組み合わせて使用することで、誰が、何を、どこで、いつ、どのように(再目的)評価するだけでなく、なぜ(CFIR)実装が成功したか失敗したかを説明することができた。 PRISMのような他のフレームワークには、介入の適合性および実現可能性を改善するために介入を適応させるのに有用な文脈変数が含まれる(38)。 また、設定レベルの維持に焦点を当てたプログラム持続可能性評価ツール(39)のような成果固有のフレームワークを使用して、練習の変化を維持するために
我々はまた、どのCFIR構造が特定の再目的ドメインに影響を与える可能性が最も高いかを特定するために、理論に基づいた決定を行った。 しかし、いくつかの構成要素は、特定のドメイン内での成功の重要な決定要因としてよく理解されていたが(例えば、採用のための変化の緊張、保守のための利用可能なリソースのコミットメント)(41)、他のものは、複数の再目標ドメイン上のパフォーマンスに関連する可能性があることを発見した(例えば、採用と保守のためのリーダーシップの関与、採用と実装のための文化)(1)。 CFIR構築物を正式に測定し、それらを定量的にモデル化することは、個々の再AIMドメイン結果を緩和または媒介する特定の構築物の程度を決定するのに有用であり得る(42)。 一方、CFIR構成のいくつかは重複するため(例えば、リーダー、利害関係者、またはチャンピオンは、実装における役割に応じて、同じまたは異なる人々であってもよい)、特定の設定および介入のために何をまたは誰を測定する必要があるかを定義する必要がある(43)。 仮定された決定要因の広い範囲で組織を測定することは実用的ではなく、どのCFIR因子がどの再目的領域の決定要因であるかを一般化することは非現実的である可能性がある。
私たちの研究は、将来の研究のためのいくつかの分野を明らかにします。 第一に、他の実装研究へのRE-AIMとCFIRの補完的な適用は、RE-AIMドメイン上のパフォーマンスを説明し、改善するためにCFIR構築物を使用することの有用性を確 第二に、定性的比較分析(10)などの分析的方法を適用して、実施の成功に十分または必要な要因または条件のセットを比較することは、適切な実施戦略 第三に、定量的にCFIR因子が中moderate(プル)またはmediate(プッシュ)再目的の結果は、それらの相補的な使用を改善する統合された概念モデルにつながる可能性が 最後に、表5で推奨されているような実施の成功に有利な条件を促進するように設計された実施戦略を実験的にテストすることは、実施計画の有効性
結論
私たちの研究は、評価(RE—AIM)と説明(CFIR)フレームワークの補完的な適用が、実装の成功に必要な変数の有無をどのように識別できるかを示す、実装科学 このアプローチは、医療システム内の介入の適合性を最大化し、最も適切なサービスの患者の受信を監視するために重要な要因への注意は、高いリーチと実 我々は、エビデンスに基づく介入を採用し、維持するために受容性を改善することができる変更可能なCFIR構築物を同定した。 我々は、実装の成功を最大化するための実装戦略の仕立てを知らせるために、これらの構造に早期の評価と注意をお勧めします。
データ利用可能性に関する声明
この研究のために生成されたデータセットは、対応する著者の要求に応じて利用可能です。
倫理声明
人間の参加者を含む研究は、Kaiser Permanente ColoradoのInstitutional Review Boardによって審査され、承認されました。 この研究には、国内の法律および制度上の要件に従って、参加のための書面によるインフォームドコンセントは必要ありませんでした。
著者の貢献
DKとJSは、設計計画、フレームワークの選択、分析的アプローチ、インタビュー質問の開発、および先験的コードを開発しました。 JSとCAは、歴史的な文書のコンパイルとコーディングを支援し、実装チームのインタビューを実施しました。 DKおよびJSは、BB、MR、DR、NW、およびC Aによって検証された、介入転写物をコード化および分析した。 すべての著者は、コンテンツに貢献し、テーブルと図にフィードバックを提供し、原稿を見直し、研究の概念とデザインに貢献しました。
資金調達
この記事の開発と出版は、国立アレルギー感染症研究所(R01HL126125)によって資金提供されました。
利益相反
著者らは、この研究は潜在的な利益相反と解釈される可能性のある商業的または財政的関係がない場合に行われたと宣言しています。
1. Huijg JM,クローン氏,Verheijden MW,ファン*デル*ズーウェN,Middelkoop BJ,Gebhardt WA. プライマリヘルスケアにおける身体活動介入の採用、実施、および継続に影響を与える要因:デルファイ研究。 BMCファム-プラクト (2013) 14:142. 土井: 10.1186/1471-2296-14-142
PubMed Abstract|CrossRef全文|Google Scholar
2. キングDK,Neander LL,Edwards AE,Barnett JD,Zold AL,Hanson BL. 適合と実現可能性:アルコールの誤用に対処するために、将来の医療専門家を準備するために標準化されたカリキュラムを適応させる。 教育学の健康のPromot。 (2019) 5:107–16. 土井:10.1177/2373379918785924
CrossRef全文/Google Scholar
3. Dearing JW,Kreuter MW. 拡散のための設計:どのように我々は癌のコミュニケーション技術革新の取り込みを増やすことができますか? 患者の教育Couns. ら(2 0 1 0)8 1(Suppl):S1 0 0−1 0. 土井:10.1016/j.pec.2010.10.013
Pubmed抄録/CrossRef全文/Google Scholar
4. ブラウンソンRC、フィールディングJE、グリーンLW。 エビデンスに基づく公衆衛生のための能力の構築:実践の牽引と研究の推進を調和させる。 アニュ-レヴュー-公衆衛生. (2018) 39:27–53. 土井:10.1146/annurev-publhealth-040617-014746
PubMed Abstract|CrossRef全文|Google Scholar
5. グラスゴー RE,Vogt TM,Boles SM. 健康増進介入の公衆衛生への影響を評価する:再目標の枠組み。 Am J公衆衛生. (1999) 89:1322–7. 土井:10.2105/AJPH.89.9.1322
Pubmed要約/CrossRef全文/Google Scholar
6. Gaglio B,Shoup JA,Glasgow RE. RE-AIMフレームワーク:時間の経過とともに使用の体系的なレビュー。 Am J公衆衛生. (2013)103:e38–46. 土井:10.2105/AJPH.2013.301299
Pubmed要約/CrossRef全文/Google Scholar
7. グラスゴー RE,Estabrooks PE. コミュニティおよび臨床設定のヘルスケアの率先のためのRE-AIMの実用的な適用。 前のブログ記事は””””です。 (2018)15:E02. doi:10.5888/pcd15.170271
PubMed要約/CrossRef全文/Google Scholar
8. 再エイム、ウェブサイト:www.re-aim.org (2019年6月1日閲覧)。
9. Peek CJ,Glasgow RE,Stange KC,Klesges LM,Purcell EP,Kessler RS. 5つのR’s: 変化する世界で関連する研究を行うための新たな大胆な基準。 アン-ファム-メド… (2014) 12:447–55. ドイ:10.1370/afm.1688
Pubmed要約/CrossRef全文/Google Scholar
10. キングDK、ゴンザレスSJ、Hartje JA、ハンソンBL、エドニー C、スネルH.三つのプライマリケアシステム内のアルコールスクリーニングと簡単な介入を統合するために、マルチ トランスルーセント-メド… (2018) 8:776–84. 土井:10.1093/tbm/ibx020
PubMed要約/CrossRef全文/Google Scholar
11. ヴァイナー-B-J 変更のための組織の準備の理論。 Sciを実装します。 (2009) 4:67. 土井: 10.1186/1748-5908-4-67
PubMed Abstract|CrossRef全文|Google Scholar
12. グラスゴー RE、ハーデンSM、Gaglio B、Rabin B、Smith ML、Porter GC、et al. 再目標の計画と評価の枠組み:20年のレビューで新しい科学と実践に適応する。 フロント公衆衛生。 (2019) 7:64. ドイ:10.3389/fpubh.2019.00064
Pubmed要約/CrossRef全文/Google Scholar
13. Wagner EH,Austin BT,Davis C,Hindmarsh M,Schaefer J,Bonomi A.慢性疾患ケアの改善:証拠を行動に翻訳する。 健康Aff. (2001) 20:64–78. ドイ:10.1377/hlthaff.20.6.64
PubMed要約/CrossRef全文/Google Scholar
14. Feldstein AC,Glasgow RE. 実用的で堅牢な実装と持続可能性モデル。 (PRISM)研究成果を実践に統合するためのものです。 Jt Comm J Qual患者Saf. (2008) 34:228–43. 土井:10.1016/1553-7250(08)34030-6
PubMed Abstract|CrossRef全文|Google Scholar
15. Kaplan HC,Brady PW,Dritz MC,Hooper DK,Linam WM,Froehle CM,et al. 医療における品質改善の成功に対する文脈の影響:文献の体系的なレビュー。 Milbank Q.(2 0 1 0)8 8:5 0 0−5 9. ドイ:10.1111/j.1468-0009.2010.00611.x
Pubmed要約/CrossRef全文|Google Scholar
16. Holtrop JS,Rabin BA,Glasgow RE. RE-AIMフレームワークの使用に対する定性的なアプローチ:理論的根拠と方法。 BMC H Ealth Serv Res.(2 0 1 8)1 8:1 7 7. ドイ:10.1186/s12913-018-2938-8
PubMed Abstract|CrossRef全文|Google Scholar
17. ああ、Gaysynsky A、Knott CL、Nock NL、Erwin DO、Vinson CA。 行動介入を市場に移すためのツールとしての顧客発見:NCI SPRINTプログラムからの洞察。 トランスルーセント-メド… (2019) 9:1139–50. doi:10.1093/tbm/ibz103
PubMed要約/CrossRef全文/Google Scholar
18. 矢野エム… エビデンスベースの実践を実施する上での組織研究の役割: QUERIシリーズ。 Sciを実装します。 (2008) 3:29. 土井: 10.1186/1748-5908-3-29
PubMed Abstract|CrossRef全文|Google Scholar
19. Damschroder LJ,Aron DC,Keith RE,Kirsh SR,Alexander JA,Lowery JC. 医療サービスの研究成果の実践への実施の促進:実施科学を進めるための統合された枠組み。 Sciを実装します。 (2009) 4:50. 土井: 10.1186/1748-5908-4-50
PubMed Abstract|CrossRef全文|Google Scholar
20. 統合、実装のためのフレームワーク研究ウェブサイト:www。cfirguide.org (2019年6月1日閲覧)。
21. Breimaier HE,Heckemann B,Halfens RJ,Lohrmann C.実装研究のための統合フレームワーク。 (CFIR):病院ベースの看護の練習の指針の実施プロセスを導き、評価するための有用な理論的なフレームワーク。 BMC Nurs. (2015) 14:43. ドイ:10.1186/s12912-015-0088-4
PubMed Abstract|CrossRef全文|Google Scholar
22. パウエルBJ,Beidas RS,ルイスCC,Aarons GA,McMillen JC,Proctor EK,et al. 実装戦略の選択と仕立てを改善するための方法。 (2017)44:177-94. 土井:10.1007/s11414-015-9475-6
PubMed Abstract|CrossRef全文|Google Scholar
23. Raebel MA,Shetterly SM,Goodrich GK,Anderson CB,Shoup JA,Wagner N,et al. 喘息患者の実用的な無作為化試験におけるベータアゴニストの過剰使用のための通信技術アウトリーチへの非応答。 J GenインターンMed. (2018) 33:809–11. 土井:10.1007/11606-018-4395-9
PubMed Abstract|CrossRef全文|Google Scholar
24. Bender BG,Wagner NM,Shoup JA,Goodrich GK,Shetterly SM,Cvietusa PJ,et al. 臨床医の作業負荷を相殺するために技術対応のコミュニケーションツールが採用されている場合、喘息の成人は喘息関連の悪化の増加を経験しない:実用的な無作為化試験。 Medケア。 (2019). ドイ:10.1097/MLR。0000000000001265. .
CrossRef全文/Google Scholar
25. ボーウェン-ガ… 定性調査方法としての文書分析。 Qual Res J. (2009) 9:27–40. doi:10.3316/QRJ0902027
CrossRef全文/Google Scholar
26. キングDK,グラスゴー RE,Leeman-Castillo BA. 再目標再目標:モデルを使用して、人口の健康を強化するための環境変化アプローチの影響を計画、実施、評価、および報告する。 Am J公衆衛生. (2010) 100:2076–84. 土井:10.2105/AJPH.2009.190959
クロスリファレンス全文/Google Scholar
27. Birken SA,Powell BJ,Presseau J,Kirk MA,Lorencatto F,Gould NJ,et al. 実装研究のための統合フレームワーク(CFIR)と理論的ドメインフレームワーク(TDF)の組み合わせ:体系的なレビュー。 Sciを実装します。 (2017) 12:2. ドイ:10.1186/s13012-016-0534-z
Pubmed要約/CrossRef全文|Google Scholar
28. Birken SA,Powell BJ,Shea CM,Haines ER,Alexis Kirk M,Leeman J,et al. 実施科学の理論と枠組みを選択するための基準:国際的な調査の結果。 Sciを実装します。 (2017) 12:124. 土井:10.1186/13012-017-0656-y
Pubmed要約/CrossRef全文/Google Scholar
29. Birken SA,Rohweder CL,Powell BJ,Shea CM,Scott J,Leeman J,et al. T-CaST:実装理論の比較と選択ツール。 Sciを実装します。 (2018) 13:143. ドイ:10.1186/s13012-018-0836-4
PubMed Abstract|CrossRef全文|Google Scholar
30. Nilsen P.実装理論、モデル、フレームワークの意味を理解する。 Sciを実装します。 (2015) 10:53. 土井:10.1186/13012-015-0242-0
PubMed Abstract|CrossRef全文|Google Scholar
31. Klesges LM,Estabrooks PA,Dzewaltowski DA,ブルSS,グラスゴー RE. 心の中でアプリケーションから始めて:普及を強化するために、健康行動の変化の介入を設計し、計画します。 アン-デ-ラ-ラ-ラ-ラ (2009)29-S:66-75. doi:10.1207/s15324796abm2902s_10
CrossRef全文/Google Scholar
32. キースRE,クロスソンJC,オマリー AS,クロンプD,テイラー EF: 実装研究のための統合フレームワーク(CFIR)を使用して実用的な調査結果を生成する:実装を改善するための迅速なサイクル評価アプローチ。 Sciを実装します。 (2017) 12:15. ドイ:10.1186/s13012-017-0550-7
CrossRef全文
33. Bandura A.自己効力感。 で:ラマチャードラン対、編集者。 人間の行動の百科事典、Vol. 4. ニューヨーク、ニューヨーク:アカデミックプレス(1994)。 71-81頁
34. Grol RP、Bosch MC、Hulscher ME、Eccles MP、Wensing M.患者ケアの改善を計画し、調査すること: 理論的な視点の使用。 Milbank Q.(2 0 0 7)8 5:9 3−1 3 8. ドイ:10.1111/j.1468-0009.2007.00478.x
Pubmed要約/CrossRef全文|Google Scholar
35. Kilbourne AM,Neumann MS,Pincus HA,Bauer MS,Stall R.医療における証拠に基づく介入の実装:複製効果的なプログラムの枠組みの適用. Sciを実装します。 (2007) 2:42. 土井: 10.1186/1748-5908-2-42
PubMed Abstract|CrossRef全文|Google Scholar
36. Huynh AK,Hamilton AB,Farmer MM,Bean-Mayberry B,Stirman SW,Moin T,et al. 実装評価研究を導くための実用的なアプローチ:複雑な介入のための戦略マッピング。 フロント公衆衛生。 (2018) 6:134. ドイ:10.3389/fpubh.2018.00134
PubMed要約/CrossRef全文/Google Scholar
37. グリーンLW、オットソンJM、ガルシアC、ハイアットRA。 公衆衛生における拡散理論と知識の普及、利用、および統合。 アニュ-レヴュー-公衆衛生. (2009) 30:151–74. ドイ:10.1146/annurev.出版社…031308.100049
Pubmed要約/CrossRef全文/Google Scholar
38. McCreight MS,Rabin BA,Glasgow RE,Ayele RA,Leonard CA,Gilmartin HM,et al. 実用的で堅牢な実装と持続可能性モデルを使用して。 (PRISM)質的に計画、実施、評価、および保健サービスプログラムを普及させるのに役立つマルチレベルの文脈要因を評価する。 トランスルーセント-メド… (2019) 9:1002–11. doi:10.1093/tbm/ibz085
PubMed要約/CrossRef全文/Google Scholar
39. カルフーンA、マイナー A、モアランド-ラッセルS、マイアー RC、ブロッサートL、ルークDA。 プログラムの持続可能性評価ツールを使用して、持続可能性を評価し、計画する。 前のブログ記事は””””です。 (2014) 11:130185. doi:10.5888/pcd11.130185
PubMed要約/CrossRef全文/Google Scholar
40. Luke DA、Calhoun A、Robichaux CB、Elliott MB、Moreland-Russell S.プログラムの持続可能性評価ツール:公衆衛生プログラムのための新しい手段。 前のブログ記事は””””です。 (2014) 11:130184. ドイ:10.5888/pcd11.130184
Pubmed要約/CrossRef全文/Google Scholar
41. Weiner BJ,Belden CM,Bergmire DM,Johnston M.実装気候の意味と測定. Sciを実装します。 (2011) 6:78. 土井: 10.1186/1748-5908-6-78
PubMed Abstract|CrossRef全文|Google Scholar
42. Fernandez ME,Walker TJ,Weiner BJ,Calo WA,Liang S,Risendal B,et al. 実施研究のための統合フレームワークの内部設定ドメインから構築物を評価するための措置を開発する。 Sciを実装します。 (2018) 13:52. 土井:10.1186/13012-018-0736-7
PubMed Abstract|CrossRef全文|Google Scholar
43. プロクター E、Silmere H、Raghavan R、Hovmand P、Aarons G、Bunger A、et al. 実装研究のための成果:概念的な区別、測定課題、および研究アジェンダ。 Admの方針のMentの健康。 (2011) 38:65–76. ドイ:10.1007/s10488-010-0319-7
PubMed Abstract/CrossRef Full Text/Google Scholar