Mô-đun Chấm điểm AI

Mô-đun Chấm điểm AI

AI đọc ảnh võng mạc trong chưa đến hai giây — giúp các bác sĩ nhãn khoa phát hiện bệnh mắt do tiểu đường trước khi gây tổn thương vĩnh viễn.

Mô-đun Chấm điểm AI Deneye phân tích ảnh quỹ đáy mắt và gán một trong năm mức độ nghiêm trọng DR được tiêu chuẩn hóa quốc tế. Điều này cung cấp cho bác sĩ nhãn khoa đang xem xét một điểm khởi đầu dựa trên bằng chứng ngay lập tức — giảm khối lượng công việc trong khi duy trì trách nhiệm lâm sàng đầy đủ.

AI không bao giờ hoạt động độc lập. Mọi mức độ được xem xét và xác nhận bởi một bác sĩ nhãn khoa có chứng chỉ trước khi thực hiện bất kỳ hành động lâm sàng nào.

An toàn nơi dữ liệu quen thuộc. Trên tập hợp được giữ lại của mô hình và cả hai tập đánh giá IDRiD (1.249 ảnh), không có một trường hợp DR nặng hoặc sinh sản nào được phân loại là “Không có DR”. Trên các tập dữ liệu có sự thay đổi miền mạnh, biên độ này giảm — một lý do chính tại sao mọi mức độ AI được xem xét bởi một bác sĩ nhãn khoa và mỗi trang web triển khai mới được đánh giá trên các ảnh của riêng nó trước tiên.

Cách hoạt động

Ba bước từ ảnh đến kết quả chấm điểm

1

Ảnh được chụp

Một nhân viên sàng lọc chụp ảnh võng mạc của bệnh nhân bằng bất kỳ camera quỹ đáy mắt tiêu chuẩn nào. Ảnh được tải lên nền tảng Deneye — ngay cả từ một vị trí từ xa mà không có kết nối internet vĩnh viễn.

2

AI chấm điểm trong <2 giây

Mô hình AI tiền xử lý ảnh và dự đoán mức độ nghiêm trọng DR trên Thang Điểm DR Lâm sàng Quốc tế 5 điểm. Kết quả xuất hiện ngay lập tức trên danh sách công việc của bác sĩ nhãn khoa.

3

Bác sĩ nhãn khoa xác nhận

Một bác sĩ nhãn khoa có chứng chỉ xem xét ảnh và gợi ý của AI. Họ xác nhận, điều chỉnh hoặc ghi đè mức độ. Chỉ sau khi con người xem xét, kết quả mới đến bệnh nhân.

Năm mức độ nghiêm trọng DR

Dựa trên Thang Điểm Mức độ Nghiêm trọng Bệnh Võng mạc Tiểu đường Lâm sàng Quốc tế

Mức độ Tên Điều này có nghĩa là gì Tái khám được khuyến cáo
0 Không có DR Không có dấu hiệu tổn thương võng mạc do tiểu đường Sàng lọc thường niên định kỳ
1 NPDR nhẹ Thay đổi sớm: vi phình mạch (các phồng nhỏ trong mạch máu võng mạc) Xem xét của bác sĩ nhãn khoa
2 NPDR trung bình Những thay đổi rộng hơn: chảy máu, tích mỡ cứng, các nốt bông gòn Xem xét của bác sĩ nhãn khoa
3 NPDR nặng Tổn thương mạch máu đáng kể, nguy cơ cao tiến triển thành DR sinh sản Chuyển tiếp khẩn cấp đến chuyên gia võng mạc
4 DR sinh sản Giai đoạn nâng cao: sự phát triển của các mạch máu mới yếu ớt, nguy cơ cao mất thị lực nặng Chuyển tiếp khẩn cấp để điều trị (ví dụ: laser, tiêm chích)

Xác thực độc lập trên 37.368 ảnh

Được kiểm tra trên bốn tập dữ liệu độc lập từ bốn quốc gia — không có tập nào được sử dụng trong quá trình đào tạo

Thước đo hiệu suất tiêu chuẩn trong chấm điểm DR là Kappa Có trọng số Bậc hai (QWK) — một thống kê so sánh các mức độ của AI với các mức độ của bác sĩ nhãn khoa chuyên gia, với các hình phạt nặng hơn cho những bất đồng lớn hơn. Nó có phạm vi từ 0 (không tốt hơn may mắn) đến 1,0 (thỏa thuận hoàn hảo). Một kappa trên 0,80 thường được coi là “xuất sắc” trong tài liệu chấm điểm DR.

Tập dữ liệuẢnhQuốc giaQW KappaĐộ chính xác kề
APTOS 2019 (hold-out)733Ấn Độ0.89697.5%
IDRiD Training413Ấn Độ0.71090.8%
IDRiD Testing103Ấn Độ0.60785.4%
Messidor-21,744Pháp0.49989.1%
EyePACS35,108Hoa Kỳ0.42087.4%
Tổng cộng (bên ngoài)37,3684 quốc gia0.44087.6%

Hàng được giữ lại của APTOS bao gồm các ảnh được giữ lại từ tập dữ liệu đào tạo của mô hình; bốn tập khác hoàn toàn bên ngoài — mô hình không bao giờ thấy chúng dưới bất kỳ hình thức nào.

Ghi chú về sự thay đổi miền (Messidor-2 kappa 0,499, EyePACS 0,420). Mô hình được đào tạo trên các ảnh võng mạc Ấn Độ (APTOS 2019). Các ảnh Messidor-2 và EyePACS đến từ các phòng khám Pháp và Hoa Kỳ với các camera khác nhau, điều kiện chiếu sáng và nhân khẩu học bệnh nhân, và độ chính xác chấm điểm giảm tương ứng — trên hai tập dữ liệu này, lần lượt 2 trong 110 và 111 trong 1.580 trường hợp nặng hoặc sinh sản được chấm “Không có DR”. Sự thay đổi miền là một thách thức được ghi chép tốt trong tài liệu DR AI. Đó là lý do tại sao AI chỉ là một công cụ phân loại dưới sự xem xét bắt buộc của bác sĩ nhãn khoa, và tại sao mỗi trang web triển khai được đánh giá trên các ảnh của riêng nó trước khi sử dụng lâm sàng.

Đường cong đào tạo & ma trận nhầm lẫn

Tập đào tạo APTOS 2019 (2.929 ảnh), xác thực được giữ lại 20% (733 ảnh). QWK tốt nhất đạt được: 0,896.

Mất mát đào tạo và QW kappa theo kỷ nguyên trong 20 kỷ nguyên
Mất mát đào tạo và xác thực & QWK theo kỷ nguyên. Sự hội tụ xảy ra sau giai đoạn chỉ có đầu (3 kỷ nguyên đầu tiên). Mô hình đạt QWK ổn định 0,896 vào kỷ nguyên 20.
Ma trận nhầm lẫn 5x5: Mức độ AI so với mức độ chuyên gia trên tập được giữ lại của APTOS
Ma trận nhầm lẫn trên tập được giữ lại của APTOS 733 ảnh. Các lỗi ngoài đường chéo gần như hoàn toàn là kề (một bước). Không có trường hợp nặng hoặc sinh sản (mức độ 3–4) nào xuất hiện trong cột Mức độ 0 “Không có DR”.
Báo cáo Chấm điểm AI chi tiết có sẵn khi yêu cầu. Báo cáo bao gồm các số liệu xác thực đầy đủ trên tất cả các tập dữ liệu, ma trận nhầm lẫn cho từng tập dữ liệu, so sánh phân phối mức độ và tài liệu phương pháp hoàn chỉnh.