医疗保健中的生成式人工智能

简介

生成式人工智能在过去几年中获得了突然的关注。医疗保健和生成式人工智能之间的强烈吸引力也并不令人意外。人工智能（AI）已经迅速改变了各个行业，医疗保健领域也不例外。人工智能的一个特定子集，生成式人工智能，在医疗保健领域已经成为一个改变者。

生成式人工智能系统可以生成新的数据、图像，甚至完整的艺术作品。在医疗保健领域，这项技术对于改进诊断、药物研发、患者护理和医学研究具有巨大的潜力。本文探讨了生成式人工智能在医疗保健领域的潜在应用和好处，并讨论了其实施挑战和道德考虑。

学习目标

• 生成式人工智能及其在医疗保健中的应用。
• 生成式人工智能在医疗保健中的潜在好处。
• 在医疗保健中实施生成式人工智能的挑战和限制。
• 生成式人工智能在医疗保健中的未来趋势。

本文作为Data Science Blogathon的一部分发表。

生成式人工智能在医疗保健中的潜在应用

已经在几个领域进行了研究，以了解生成式人工智能如何融入医疗保健。它对药物的分子结构和化合物的生成产生了影响，促进了潜在药物候选物的鉴定和发现。这可以节省时间和成本，同时利用尖端技术。其中一些潜在的应用包括：

增强医学成像和诊断

医学成像在诊断和治疗计划中起着至关重要的作用。生成式人工智能算法，如生成式对抗网络（GAN）和变分自动编码器（VAE），已经显著改进了医学图像分析。这些算法可以生成类似真实患者数据的合成医学图像，有助于机器学习模型的训练和验证。它们还可以通过生成额外的样本来增强有限的数据集，提高基于图像的诊断的准确性和可靠性。

促进药物发现和开发

发现和开发新药物是复杂、耗时和昂贵的。生成式人工智能可以通过生成具有所需特性的虚拟化合物和分子，显著加快这个过程。研究人员可以利用生成模型来探索广阔的化学空间，实现新药候选物的发现。这些模型可以从现有数据集中学习，包括已知的药物结构和相关属性，生成具有理想特性的新分子。

个性化医学和治疗

生成式人工智能有潜力通过利用患者数据来改变个性化医学，创建量身定制的治疗计划。通过分析大量的患者信息，包括电子健康记录、基因组信息和临床结果，生成式人工智能模型可以生成个性化的治疗建议。这些模型可以识别模式，预测疾病进展，并估计患者对干预措施的反应，使医疗保健提供者能够做出明智的决策。

医学研究和知识生成

生成式人工智能模型可以通过生成符合特定特征和约束的合成数据来促进医学研究。合成数据可以解决与共享敏感患者信息相关的隐私问题，同时允许研究人员提取有价值的见解并发展新的假设。

生成式人工智能还可以为临床试验生成合成患者队列，在进行昂贵且耗时的实际患者试验之前，使研究人员能够模拟各种场景并评估治疗效果。这项技术有潜力加速医学研究，推动创新，并扩大对复杂疾病的理解。

案例研究：CPPE-5医疗个人防护装备数据集

CPPE-5（医疗个人防护装备）是Hugging Face平台上的一个新数据集。它为在医学中进行生成式人工智能提供了强有力的背景。您可以通过对医疗个人防护装备进行分类来将其纳入计算机视觉任务中。这也解决了其他流行数据集关注广泛类别的问题，因为它专为医学目的而设计。利用这个新的医学数据集可以培养新的生成式人工智能模型。

CPPE-5 数据集的特点

• 每个图像约有 4.6 个边界框注释，使其成为一个高质量的数据集。
• 原始图像来自真实生活。
• 可轻松部署到现实环境中。

如何使用 CPPE-5 医学数据集？

它托管在 Hugginface 上，可以按照以下方式使用：

我们使用 Datasets 来安装数据集

# Transformers 安装
! pip install -q datasets 

加载 CPPE-5 数据集

# 导入加载数据集的必要函数
from datasets import load_dataset

# 使用 load_dataset 函数加载 "cppe-5" 数据集
cppe5 = load_dataset("cppe-5")

# 显示加载的数据集的信息
cppe5

让我们查看此数据集的一个样本。

# 访问 "cppe-5" 数据集中 "train" 数据划分的第一个元素
first_train_sample = cppe5["train"][0]

# 显示第一个训练样本的内容
print(first_train_sample)

上述代码显示了一组图像字段。我们可以通过以下方式更好地查看数据集。

# 导入必要的库
import numpy as np
import os
from PIL import Image, ImageDraw

# 访问 "cppe-5" 数据集中 "train" 数据划分的第一个样本的图像和注释
image = cppe5["train"][0]["image"]
annotations = cppe5["train"][0]["objects"]

# 创建一个 ImageDraw 对象以在图像上绘制
draw = ImageDraw.Draw(image)

# 获取类别（类标签）并创建类索引与标签之间的映射
categories = cppe5["train"].features["objects"].feature["category"].names
id2label = {index: x for index, x in enumerate(categories, start=0)}
label2id = {v: k for k, v in id2label.items()}

# 遍历注释并在图像上绘制带有类标签的边界框
for i in range(len(annotations["id"])):
    box = annotations["bbox"][i - 1]
    class_idx = annotations["category"][i - 1]
    x, y, w, h = tuple(box)
    draw.rectangle((x, y, x + w, y + h), outline="red", width=1)
    draw.text((x, y), id2label[class_idx], fill="white")

# 显示带有注释的图像
image

有了这样的数据集，我们可以利用其开发用于医疗专业人员和活动的生成 AI 模型。在此处找到有关 CPPE-5 医学数据集的完整 Github。

训练目标检测模型

让我们看一个手动训练目标检测流程的示例。下面我们使用预训练的 AutoImageProcessor 对输入图像进行预处理，并使用 AutoModelForObjectDetection 进行目标检测。

# 加载用于图像预处理的预训练 AutoImageProcessor
image_processor = AutoImageProcessor.from_pretrained("MariaK/detr-resnet-50_finetuned_cppe5")

# 加载用于目标检测的预训练 AutoModelForObjectDetection
model = AutoModelForObjectDetection.from_pretrained("MariaK/detr-resnet-50_finetuned_cppe5")

# 对输入图像进行推断
with torch.no_grad():
    # 使用图像处理器对图像进行预处理并将其转换为 PyTorch 张量
    inputs = image_processor(images=image, return_tensors="pt")
    
    # 通过模型进行前向传播以获得预测结果
    outputs = model(**inputs)
    
    # 计算用于后处理的目标大小（图像尺寸）
    target_sizes = torch.tensor([image.size[::-1]])
    
    # 对目标检测结果进行后处理以获得结果
    results = image_processor.post_process_object_detection(outputs, threshold=0.5, target_sizes=target_sizes)[0]

# 遍历检测到的对象并打印其详细信息
for score, label, box in zip(results["scores"], results["labels"], results["boxes"]):
    # 将边界框坐标四舍五入到小数点后两位，以便更好地阅读
    box = [round(i, 2) for i in box.tolist()]
    
    # 打印检测结果的详细信息
    print(
        f"在位置 {box} 检测到 {model.config.id2label[label.item()]}，置信度为 "
        f"{round(score.item(), 3)}"
    )

绘图结果

我们将在输入图像中添加边界框和标签以标识检测到的对象：

# 创建一个绘图对象来在图像上绘制
draw = ImageDraw.Draw(image)

# 遍历检测到的对象并绘制边界框和标签
for score, label, box in zip(results["scores"], results["labels"], results["boxes"]):
    # 将边界框坐标四舍五入到小数点后两位，以提高可读性
    box = [round(i, 2) for i in box.tolist()]
    
    # 提取边界框的坐标
    x, y, x2, y2 = tuple(box)
    
    # 用红色轮廓和宽度为1的线条绘制一个矩形框围绕检测到的对象
    draw.rectangle((x, y, x2, y2), outline="red", width=1)
    
    # 获取与检测到的对象对应的标签
    label_text = model.config.id2label[label.item()]
    
    # 用白色填充在图像上绘制标签文本
    draw.text((x, y), label_text, fill="white")

# 显示带有边界框和标签的图像
image.show()

在这里找到关于 CPPE-5 医疗数据集的完整 Github。

挑战和伦理考虑

尽管生成式人工智能具有巨大的潜力，但在医疗保健领域的实施必须解决一些挑战和伦理考虑。其中一些包括：

1. 可靠性与准确性：确保生成的输出可靠和准确至关重要。生成式人工智能模型中的偏见、错误或不确定性可能严重影响患者护理和治疗决策。
2. 隐私和数据安全：这是医疗保健领域的一个重要关注点。在敏感患者数据上训练的生成式人工智能模型必须遵守严格的数据保护法规，以保护患者隐私。实施匿名化技术和采用安全的数据共享框架对于维护患者的信任和保密性至关重要。
3. 模糊性和可解释性：生成式人工智能的复杂性和与医疗保健的融合造成了缺乏可解释性的问题，给医疗保健带来了挑战。了解这些模型生成输出的方式并使其决策过程透明化对于获得医疗保健专业人员和患者的信任至关重要。

生成式人工智能在医疗保健中的未来展望和新兴趋势

随着技术的不断进步，几个关键观点和新兴趋势正在塑造生成式人工智能在医疗保健领域的未来：

1. 增强诊断和精准医学：生成式人工智能在医疗保健领域的未来在于其增强诊断能力和实现精准医学。先进的模型可以生成高保真度的医学图像，有效地检测和表征疾病，具有前所未有的准确性。

2. 协作人工智能和人工智能与人类的互动：生成式人工智能在医疗保健领域的未来包括促进协作环境，其中人工智能和医疗保健专业人员共同工作。人工智能与人类之间的互动对于利用人类和人工智能算法的优势至关重要。

3. 与大数据和电子健康记录（EHR）的整合：将生成式人工智能与大数据和电子健康记录整合具有巨大的潜力。通过访问大量的患者数据，生成式人工智能模型可以从多样的来源中学习并生成有价值的见解。利用电子健康记录和其他医疗数据，生成式人工智能可以帮助识别模式，预测结果并优化治疗策略。

4. 多模态生成式人工智能：生成式人工智能未来的趋势包括探索多模态方法。生成式人工智能不仅仅关注单一的数据模态，例如图像或文本，还可以整合多种模态，包括基因数据、临床笔记、影像和传感器数据。

5. 持续学习和适应性系统：生成式人工智能系统必须持续适应和学习，以跟上快速发展的医疗保健领域。适应新数据、新兴疾病和变化的医疗保健实践至关重要。未来的生成式人工智能模型可能会采用持续学习技术，使其能够更新知识，并随着时间的推移生成更准确和相关的输出。

结论

生成式人工智能具有革命性的潜力，可以通过增强诊断、加速药物发现、个性化治疗和促进医学研究来改变医疗保健。通过利用生成式人工智能的力量，医疗专业人员可以进行更准确的诊断，发现新的治疗方法，并为患者提供个性化的护理。然而，在将生成式人工智能应用于医疗保健中时，必须注意挑战和伦理考虑。通过持续的研究和开发，生成式人工智能有望在未来几年改变医疗保健，并改善患者的治疗效果。

主要收获

• 生成式人工智能（AI）通过增强诊断、药物发现、个性化医学和医学研究等方面，具有改变医疗保健的巨大潜力。
• 生成式人工智能算法可以生成合成医学图像，用于训练和验证机器学习模型，提高医学成像和诊断的准确性和可靠性。
• 生成式人工智能模型可以通过生成符合特定特征的合成数据，解决隐私问题，并使研究人员能够开发新的假设和模拟临床试验，从而促进医学研究。

常见问题（FAQ）

参考链接

• 利用生成式人工智能的力量：机遇、风险和责任生成式人工智能工具如ChatGPT、Bard和DALL-E正在颠覆商业世界。领导者应如何优化这一过程…walton.uark.edu
• Dagli, R., & Shaikh, A. M. (2021). CPPE-5：医疗个人防护装备数据集. arXiv:2112.09569. [cs.CV]
• https://huggingface.co/datasets/cppe-5

本文中显示的媒体不归Analytics Vidhya所有，仅由作者自行决定使用。