Establishing an evaluation index system of data management for investigator-initiated trial

doi:10.3877/cma.j.issn.2095-5820.2025.02.001

Abstract

Abstract:

Objective

To develop an evaluation index system of assessing data management for investigator-initiated trial (IIT), so as to provide an objective and operable basis for scientific evaluation.

Methods

Using the Delphi method, 23 experts were invited to conduct 2 rounds of correspondence to rate the importance of each proposed indicator in the evaluation system. The index system was assessed based on expert's response rate, authority coefficient and opinion coordination degree, with final modifications incorporating experts feedback.

Results

In the 2 rounds of consultation, the positive coefficient of experts were both 100%, the credibility ratio were 0.899 and 0.890 respectively, and the Kendall's W coefficient were 0.247 and 0.375, respectively. The finalized evaluation system comprises 3 first-level indicators, 14 secondlevel indicators and 52 third-level indicators.

Conclusion

The evaluation index system based on Delphi method in this study demonstrates good reliability and practicality for assessing IIT data management.

Key words: Delphi method, investigator-initiated trial, data management, evaluation index

Jian Li, Xinxin Zhang, Tiebing Zhu. Establishing an evaluation index system of data management for investigator-initiated trial[J]. Chinese Journal of Clinical Laboratory Management(Electronic Edition), 2025, 13(02): 65-71.

/ / Recommend

Add to citation manager EndNote|Ris|BibTeX

URL: https://zhlcsysgldzzz.cma-cmc.com.cn/EN/10.3877/cma.j.issn.2095-5820.2025.02.001

https://zhlcsysgldzzz.cma-cmc.com.cn/EN/Y2025/V13/I02/65

Figures/Tables 4

References 27

1	潘岳松. 临床研究的数据管理与质量控制[J]. 协和医学杂志, 2018,9(5): 458-462.
2	吴泰相, 卞兆祥, 李幼平, 等. 促进我国临床试验数据管理规范化[J].中国循证医学杂志, 2018, 18(6): 532-537.
3	International Council for Harmonisation of Technical Requirements for Pharmaceuticals for Human Use (ICH). Integrated addendum to ICH E6(R1): Guideline for good clinical practice E6(R2)[DB/OL].(2016-11-9)[2025-4-28]. https://database.ich.org/sites/default/files/E6_R2_Addendum.pdf.
4	Society for Clinical Data Management. Good clinical data management practices[DB/OL]. [2024-12-23]. https://scdm.org/wpcontent/uploads/2024/04/Full-GCDMP-Oct-2013.pdf.
5	CDISC CDASH Team. Clinical data acquisition standards harmonization(CDASH)[EB/OL]. (2011-1-18)[2025-4-28]. https://www.cdisc.org/system/files/members/standard/foundational/cdash/cdash_std_1_1_2011_01_18.pdf.
6	Food and Drug Administration. Guidance for industry: Part 11,electronic records; electronic signatures-scope and application[EB/OL]. [2024-12-20]. https://www.fda.gov/regulatory-information/search-fda-guidance-documents/part-11-electronic-records-electronicsignatures-scope-and-application.
7	Food and Drug Administration. Guidance for industry-Computerized systems used in clinical trials[EB/OL]. [2024-12-20]. https://www.fda.gov/inspections-compliance-enforcement-and-criminal-investigations/fda-bioresearch-monitoring-information/guidance-industrycomputerized-systems-used-clinical-trials.
8	Food and Drug Administration. Guidance for industry: Electronic source data in clinical investigations[DB/OL]. [2024-12-20]. https://www.fda.gov/media/85183/download.
9	European Medicines Agency. Guideline on computerised systems and electronic data in clinical trials[DB/OL]. (2021-3-4)[2025-4-28].https://www.ema.europa.eu/en/documents/regulatory-proceduralguideline/guideline-computerised-systems-and-electronic-dataclinical-trials_en.pdf.
10	国家食品药品监督管理局药品审评中心. 临床试验数据管理工作技术指南[EB/OL]. (2016-1-29)[2025-4-27]. https://www.cde.org.cn/main/news/viewInfoCommon/2b0fb93301334fd4f8cdae3c7ef3d082.
11	郭作兵, 昝莹. 新形势下临床试验数据管理系统的构建[J]. 中国当代医药, 2020, 27(18): 187-190.
12	陈琳, 李俊南, 魏丽荣, 等. 基于德尔菲法的医院重大疫情应急能力评价指标体系构建研究[J]. 中国医院管理, 2021, 41(6): 1-4.
13	李莉珊, 纪灏, 于佳, 等. 基于德尔菲法构建急诊应对新发传染病闭环管理的医院感染指标体系[J]. 国际病毒学杂志, 2023, 30(3): 228-232.
14	苏广全, 陈慧, 桂双英, 等. 基于德尔菲法构建医疗机构药品目录管理评价指标体系[J]. 药物流行病学杂志, 2023, 32(1): 30-35.
15	赵心田, 袁晓宁, 白易, 等. 基于德尔菲法门诊血液透析感染事件监测指标体系的构建[J]. 中华医院感染学杂志, 2025, 35(7): 1090-1095.
16	NASA P, JAIN R, JUNEJA D. Delphi methodology in healthcare research: How to decide its appropriateness[J]. World journal of methodology, 2021, 11(4): 116-129.
17	王秋颖, 李昂, 于钦明, 等. 公立中医医院医疗服务高质量发展指标体系构建研究[J]. 中国医院管理, 2023, 43(9): 36-39.
18	CRAMER C K, EPSTEIN J B, SHEPS S B, et al. Modified Delphi survey for decision analysis for prophylaxis of post-radiation osteonecrosis[J]. Oral oncology, 2002, 38(6): 574-583.
19	柯惠新, 沈浩. 调查研究中的统计分析法-基础篇[M]. 3版. 北京：中国传媒大学出版社, 2015: 67-73.
20	TETZLAFF J M, MOHER D, CHAN A W. Developing a guideline for clinical trial protocol content: Delphi consensus survey[J]. Trials,2012, 13: 176.
21	POWELL C. The Delphi technique: Myths and realities[J]. Journal of advanced nursing, 2003, 41(4): 376-382.
22	高洪阳, 李庆娜, 赵阳, 等. 数据管理质量对临床研究证据评价的影响[J]. 中国中西医结合杂志, 2015, 35(2): 239-242.
23	李皓琳, 姜勇. 临床研究数据管理与共享最新进展[J]. 中国卒中杂志, 2020, 15(6): 600-605.
24	高深甚, 王瑞平. 德尔菲专家会商法在定性研究中的应用[J]. 上海医药, 2024, 7(45): 41-44, 70.
25	郑妍, 梁兰静, 余贺杲, 等. 基于全科护理思维构建社区护士胜任力评价指标体系[J]. 循证护理, 2025, 11(4): 623-631.
26	陈彤丹, 高奇隆, 任晋文. 基于德尔菲法构建慢性病药物可及性评价指标体系[J]. 中国现代应用药学, 2022, 39(20): 2652-2657.
27	关克磊, 王彦芳, 聂春杰, 等. 基于德尔菲法和层次分析法构建医院药师人文关怀需求的指标体系[J]. 中国医院药学杂志, 2021, 41(9):953-958.

项目	Kendall's W 系数	χ² 值	P 值
第 1 轮	0.247	76.82	<0.01
第 2 轮	0.375	46.35	<0.01

项目	Kendall's W 系数	χ² 值	P 值
第 1 轮	0.247	76.82	<0.01
第 2 轮	0.375	46.35	<0.01

下级维度	三级条目	x̄ ± s	CV 值
机构设置	设置 IIT 管理职能部门	4.88±0.34	0.07
	设置机构学术委员会	4.85±0.35	0.07
	设置机构伦理委员会	4.82±0.40	0.08
制度规范	医疗机构具有开展 IIT 的资质（具备药物或医疗器械临床试验机构备案证明）	4.88±0.34	0.07
	审查工作程序标准操作规程（standard operating procedure，SOP）	4.82±0.40	0.08
	研究 SOP	4.82±0.39	0.08
	制定数据管理计划	4.75±0.44	0.09
	符合临床试验质量管理规范	4.95±0.25	0.05
立项管理	方案科学性审查	4.65±0.47	0.10
	伦理审查	4.90±0.27	0.06
	医学研究登记备案系统备案	4.52±0.65	0.14
	中国临床试验注册中心注册	4.87±0.34	0.07
	中国人类遗传资源行政审批	4.61±0.49	0.11
研究者资质	研究者具有开展 IIT 的专业能力（具有相应执业资格，职称履历符合要求）	4.94±0.26	0.05
	负责人接受药物或器械 GCP 培训	4.65±0.45	0.10
	配备专职数据管理人员	4.75±0.56	0.12
	研究团队成员组成合理	4.81±0.41	0.09
	研究团队分工职责及培训（分工授权表和培训记录清晰）	4.67±0.49	0.10
资源配置	CRF 设计满足收集方案规定的数据（比较研究方案与 CRF 数据收集内容）	4.81±0.40	0.08
	电子数据收集（electronic date capture，EDC）系统完善并经过验证（EDC 有验证报告）	4.75±0.45	0.09
	研究使用的产品信息与研究方案一致	4.93±0.25	0.05
	数据库运行环境稳定可靠（运行环境经测试合格并保留记录）	4.74±0.45	0.09

下级维度	三级条目	x̄ ± s	CV 值
机构设置	设置 IIT 管理职能部门	4.88±0.34	0.07
	设置机构学术委员会	4.85±0.35	0.07
	设置机构伦理委员会	4.82±0.40	0.08
制度规范	医疗机构具有开展 IIT 的资质（具备药物或医疗器械临床试验机构备案证明）	4.88±0.34	0.07
	审查工作程序标准操作规程（standard operating procedure，SOP）	4.82±0.40	0.08
	研究 SOP	4.82±0.39	0.08
	制定数据管理计划	4.75±0.44	0.09
	符合临床试验质量管理规范	4.95±0.25	0.05
立项管理	方案科学性审查	4.65±0.47	0.10
	伦理审查	4.90±0.27	0.06
	医学研究登记备案系统备案	4.52±0.65	0.14
	中国临床试验注册中心注册	4.87±0.34	0.07
	中国人类遗传资源行政审批	4.61±0.49	0.11
研究者资质	研究者具有开展 IIT 的专业能力（具有相应执业资格，职称履历符合要求）	4.94±0.26	0.05
	负责人接受药物或器械 GCP 培训	4.65±0.45	0.10
	配备专职数据管理人员	4.75±0.56	0.12
	研究团队成员组成合理	4.81±0.41	0.09
	研究团队分工职责及培训（分工授权表和培训记录清晰）	4.67±0.49	0.10
资源配置	CRF 设计满足收集方案规定的数据（比较研究方案与 CRF 数据收集内容）	4.81±0.40	0.08
	电子数据收集（electronic date capture，EDC）系统完善并经过验证（EDC 有验证报告）	4.75±0.45	0.09
	研究使用的产品信息与研究方案一致	4.93±0.25	0.05
	数据库运行环境稳定可靠（运行环境经测试合格并保留记录）	4.74±0.45	0.09

下级维度	三级条目	x̄ ± s	CV 值
数据采集	制订医学编码计划	4.48±0.72	0.16
	CRF 填写规范性（按照 CRF 填写指南填写，符合 GCP 及研究方案要求）	4.90±0.34	0.07
	外部源数据信息化采集	4.42±0.61	0.14
	经转录数据的准确性（纸质 CRF 与 EDC 不一致比例，低于 0.2%）	4.62±0.50	0.11
质量控制	配备专职质量控制人员	4.69±0.48	0.10
	明确质量控制方式	4.72±0.46	0.10
	CRF 数据可溯源	5.00±0.00	0.00
	数据库定期备份	4.74±0.45	0.09
数据核查	数据核查轨迹记录完整	4.94±0.25	0.05
	锁库前数据审核错误率（低于 0.2%，重要数据 0%）	4.88±0.34	0.07
	设盲研究揭盲前盲态数据审核	4.88±0.34	0.07
	数据库锁定（锁定时，待处理、未编码、未确认的数据数目）	4.89±0.34	0.07
数据质疑	无需数据修改质疑比例（所有质疑答复中无需修改的质疑数量与质疑总数的比例）	4.42±0.71	0.16
	无效质疑比例（质疑无效或错误数占质疑总数的比例）	4.45±0.60	0.13
	重复质疑比例（因答复不满意再次发出相同质疑的数量与质疑总数的比例）	4.30±0.79	0.18
	质疑完成比例（质疑满意答复与质疑总数的比例）	4.50±0.50	0.11

Please choose a citation manager

Content to export