Benchmarking Large Language Models Against Tumour Boards for Oncology Treatment Recommendations

MI-összefoglaló

A vizsgálat saját részvételi feltételeiből. Gép olvasta ki az oldalon álló regiszterszövegből, ezért tévedhet. Hogy ki vehet részt, azt a lenti regiszterszöveg és a vizsgálat csapata dönti el.

A vizsgálat kitalált (szintetikus) daganatos eseteket használ, nem valódi betegeket. Összehasonlítja a mesterséges intelligencia nyelvi modelljeinek és a tumorbizottságoknak a kezelési terveit. Az esetek emlő-, tüdő-, urológiai, emésztőrendszeri és nőgyógyászati daganatokat fednek le.

Életkor

18 éves vagy idősebb.

Nem

Minden nem.

A betegség stádiuma

Az esetnek UICC 8. kiadás szerinti stádiummal kell rendelkeznie, és öt daganatcsoport egyikébe kell tartoznia: emlő, tüdő, urológiai, emésztőrendszeri vagy nőgyógyászati.

Biomarker vagy leletérték

Minden esetnél meg kell adni a biomarkereket, az ECOG általános állapotot és az egyéb betegségeket egységes formában.

A részvétel fő kizáró okai

• Az öt daganatcsoporton kívüli eset
• Hiányos, ellentmondásos vagy nem egyértelmű esetleírás
• Egy másik eset másolata vagy ahhoz nagyon hasonló eset
• Olyan kérdés, amelyre a jelenlegi irányelvek nem adnak választ

A regiszter feltételei, szó szerint

Mit akar kideríteni a vizsgálat

BEACON (Benchmarking AI for Clinical Oncology decisioNmaking) is a prospective, multicentre, comparative, blinded, non-interventional benchmark comparing the treatment recommendations of six frontier large language models (LLMs) with those of multidisciplinary tumour boards (RCP) in oncology treatment planning. One hundred standardised synthetic cases (20 per localisation, across breast, lung, urological, digestive and gynaecological cancers) are submitted as identical structured input to two independent tumour boards per localisation and to six frontier LLMs. Every recommendation, human or model, is decomposed into five predefined decision domains (intent, surgery, radiotherapy, systemic therapy with its line, work-up and biomarkers). For each domain, concordance between two recommendations is scored 2 when the same options are selected, 1 when at least one option is shared, and 0 when none is shared; the score is computed automatically from the recommendation forms, without human scoring. The primary endpoint is the mean domain score between each LLM and each tumour board, read against the same score computed between the two tumour boards of the same case, so that humans and models are measured by an identical rule and no respondent contributes to its own reference. A co-primary safety endpoint captures the proportion of recommendations carrying serious harm potential, because concordance alone can conceal dangerous errors. Where the two boards select different options, the case-domain is classified EQUIPOISE and, like every discordance, is adjudicated by an independent panel blinded to the source of the recommendation. Tumour boards record their recommendations during the meeting itself, on a dedicated platform (https://etude-beacon.fr) that reveals a case only once it is presented and time-stamps that reveal, so that no board can read a case in advance. BEACON is designed as reusable, openly licensed, pre-registered infrastructure: all synthetic cases, evaluation rubrics, scoring algorithms, verbatim prompts and raw model outputs are released for full reproducibility.

A vizsgálat 5 csoportja

• Breast cancers

  Kezelés: Multidisciplinary tumour boards és Frontier large language models

• Lung cancers

  Kezelés: Multidisciplinary tumour boards és Frontier large language models

• Urological cancers

  Kezelés: Multidisciplinary tumour boards és Frontier large language models

• Digestive cancers

  Kezelés: Multidisciplinary tumour boards és Frontier large language models

• Gynaecological cancers

  Kezelés: Multidisciplinary tumour boards és Frontier large language models