我写这篇文章的动机不仅仅是为了不忘记，而且最好的方法是与他人分享你的笔记。此外，这些文章不会轻易消失。此外，您可以通过提供反馈来从中受益，我认为这对自我改进非常有用。非常感谢您的观点/评论。
使用虚拟机运行数据管道的好处
使用像Ubuntu这样的系统创建虚拟环境来运行数据管道对数据科学家和开发人员来说有很多好处。首先，它提供了一个沙盒和隔离的环境，确保依赖和软件包不冲突，从而产生稳定和可重复的结果。其次，虚拟环境可以方便地进行测试和调试，而不会影响系统的核心功能。第三，它们增强了可扩展性，可以在各种计算机和云平台上部署管道。最后，虚拟环境简化了协作，使团队能够共享一致的开发环境，并确保流畅的工作流集成。总的来说，利用虚拟环境可以帮助数据专业人员简化他们的管道开发，提高生产力，并加速数据驱动的洞察力。
在本地设置Ubuntu虚拟机
- 在本地计算机上搜索Windows Powershell。
2. 输入‘ssh’命令查看是否安装了SSH。SSH代表安全外壳，是一种用于安全远程访问和通信的加密网络协议。它在两个设备之间提供了一个安全通道，通常是客户端和服务器，允许它们安全地交换数据和执行命令。
3. 使用‘dir’命令可以查看文件目录，‘mkdir’命令用于在系统中创建文件夹。这些是Linux系统中最常用的命令。
4. 输入‘wsl’以查看是否已设置。安装时需要它。WSL代表Windows子系统，是Windows中的兼容性层，允许用户直接在Windows机器上运行Linux发行版。通过WSL，您可以访问和使用Linux终端，并在Windows应用程序旁边运行Linux命令行实用程序。
5. ‘wsl — list — online’将列出系统中安装的有效发行版。
6. 使用’wsl — install -d Ubuntu-22.04（您要安装的版本）’来安装所需的发行版。
7. 安装完成后，您可能需要重启笔记本电脑才能完成安装。但在此之前，如果这是您第一次使用，您还可能需要设置Unix用户名和密码。然后，过程应该完成。
8. 为确保安装成功，请输入‘uname -a’以确认安装详细信息。
9. 在powershell cli中输入‘wsl -l -v’以查看正在运行或停止的虚拟机。为了重新启动虚拟机，请输入’wsl -d Ubuntu-22.04（您要启动的机器）’
使用Docker
- 搜索Docker桌面并按照安装说明进行安装。它们非常简单明了。
使用PowerShell命令行在Windows上验证Docker
- 使用‘docker run hello-world’命令检查安装是否成功。
- ‘Docker images’命令将显示容器中的映像。
- ‘Docker ps -a’用于查看容器运行信息。
- ‘Docker rm container_id’用于停止正在运行的映像。
将它们整合在一起
- 通过运行‘docker run -i -t — rm ubuntu bash’命令，它将将资源设置为基于ubuntu的docker容器，并且由于’— rm’，一旦关闭它，容器将自动删除。
2. 在容器映像中运行‘free -h’将为您提供内存信息和其他有用信息，可以在本地工作时使用。
在Windows上使用wsl Ubuntu安装Python和distills
- 为了开发目的，将使用Python 3.9，我们在这里寻找的是Ubuntu上的Python 3.9版本。
- 当在Ubuntu环境中的Power Shell中时，请逐个复制并粘贴以下命令：
1. 更新软件包列表并安装先决条件：sudo apt updatesudo apt install software-properties-common 2. 将deadsnakes PPA添加到系统的源列表中：sudo add-apt-repository ppa:deadsnakes/ppa 3. 再次更新软件包列表：sudo apt update 4. 安装Python 3.9：sudo apt install python3.9 5. 输入以下命令验证安装是否成功：python3.9 --version 为了能够为此Python版本创建虚拟环境，您可以使用‘python3.9 -m venv <environment_name>’来检查是否能够执行此操作，如果不能，请运行以下命令以确保您已经为虚拟环境进行了必要的设置：‘sudo apt install python3-distutils -y’。然后重新运行上述命令以验证结果。
快速提示：如果您像我一样遇到以下错误：
Error: Command '['/home/home_folder/p39-venv/bin/python3.9', '-Im', 'ensurepip', '--upgrade', '--default-pip']' returned non-zero exit status 1.使用以下命令安装Python虚拟环境的剩余文件夹：
sudo apt-get install python3.9-dev python3.9-venv接下来，继续创建虚拟环境：
python3.9 -m venv p39-venv然后激活：
source p39-venv/bin/activate通过运行‘python — version’确保您在虚拟环境中获得了正确的Python版本。
使用以下命令取消激活和删除您创建的虚拟环境。
deactivaterm -rf <venv_name>