vscode连接 服务器进行 RD/DL 研发

ooooop——❤️

插件：code runner,DataBase Clientcode-style
还有特定语言的 去 特定的 快速开始——插件网站
修改：rules,comate设置
下载依赖，跑通代码，可以不用跑通，可以先看懂！如果没时间的话 ——> 询问Zulu，实际讲解一个例子，看懂主要涉及到的文件——> 注释加上之后，git commit——> 分解需求为n个阶段，思考详细完整的prompt，询问Ducc

自己思考的原则：
使用英语 书写 markdown 的格式 更省token
阶段划分，详细prompt
更新逻辑：1️⃣ 2️⃣ 3️⃣ … 就像解释黑马到课程流程图一样，需要自己脑子里面想好流程图，然后详细描述给
指令结合代码，指出引用的函数，就像你自己思考写入代码的过程
把自己能写出来的 代码写出来，比如查询条件
及时保存！！再去问ducc ，每次改完之后对比！，问ducc中途别动代码

Prompt 附上：
附上已有的控制台的输出
要求不要删除已有的函数定义，可以增加函数定义
要求每一个步骤完成，需要打印控制台日志，并做好分割线到处理，以便清晰可见
要求做好 鲁棒性的处理，如果没有查询到正确的数据，需要打印 出详细的原因
要求循序渐进的处理，先完成第一阶段的内容，然后停止，我自己去检查，之后还会再次找您完成后续阶段的任务，以及补充更多的内容，谢谢您

查看当前IP

前置工作

MobaXterm 连接服务器

和XShell区别

• XShell
  • Xshell收费，个人版又有限制（只能打开四个窗口），但是感觉很稳定
  • Xshell 以简洁高效著称，启动速度和连接速度都非常快，特别适合需要频繁操作 SSH 的用户
  • 相较于 MobaXterm，Xshell 的界面设计较为传统，UI 自定义选项较少
• moba
  • maboxterm功能齐全，ssh sftp都自带，还自带Linux游戏哦
  • XShell也自带了ssh，但是 sftp并不一定需要安装sftp工具
  • 由于集成了众多功能，MobaXterm 相较于 Xshell 更占用内存和 CPU 资源

下载安装

• 家庭版的区别

  • 最多12个会话
  • 最多2个SSH隧道
  • 最多4个宏
  • Tftp、Nfs和Cron的最大时长为360秒
    

• 两个下载方法

  • 便携式，适合安装在U盘，双击即可运行，这样你的服务器账号密码什么的就很方便的管理了，出门在外只需要一个U盘就可以连接你的服务器了。像有系统洁癖的人绿色版真的是很爽。而且，其密码配置什么的都放在程序应用的同一文件夹
  • 安装式，普通安装，就是下载了 setup程序 然后去一路 next式 的安装

使用技巧

• 进入终端页面，在这里你就可以使用常用的Linux命令进行操作了，你再也不需要安装一个Ubuntu或者虚拟机去熟悉Linux命令了
• 汉化版的下载，需要把没有汉化的删除干净
• 可以创建一个桌面快捷方式，以便在MobaXterm启动时自动启动一个会话或一组会话
• 多重执行允许你同时显示所有终端，并一次向所有人编写命令
• MobaXterm 包管理器 (MobApt / apt-get) 允许您直接在 MobaXterm 终端中下载和使用更多 Unix 工具
• 如果用 SSH 连接远程主机，则左侧就会自动启动 SFTP 连接，列出服务器上的文件列表，无需任何配置。可以直接上传下载，更方便的是，还可以让文件列表的当前目录，直接跟随终端当前目录同步切换！
• 宏录制：选择macro ，然后点击，就会进行录制，然后你在终端的操作就会被录制下来，再点击一下，就会终止，保存到制定文件名。下次使用重复的操作你只需要点击一下宏脚本，就可以了，省去了重复的步骤
• 在MobaXterm打开状态下，使用快捷键Ctrl+Alt+M可以在底部快速弹出终端，无需点击MobaXterm，此终端为半透明的
• 选中复制，右键粘贴
  • 默认关闭了，需要设置一下
  • 菜单栏点击 Settings --> Configuration --> Terminal , 然后打勾选中

XFTP 去传送代码/数据

• 建议从本地上传时，先进行压缩，然后在vscode中询问Copilot命令，最后执行在Mobaxterm进行解压，这样会快一点
  • 远程的终端需要安装解压包，比如unrar 、unzip、tar命令等
• 现在MobaXterm的sftp不是很方便，所以传送文件还是用了Xftp

下载安装

• 有免费用户现在都可以通过下载下面的最新版本来访问无限的标签。当前用户必须下载最新版本并在现有安装上进行安装
• 记得修改 安装的位置，不要是默认的c盘

sftp和scp区别

• SCP 和 SFTP都建立在 SSH 协议之上，该协议通过在传输过程中加密数据来保护文件传输。
• 虽然 SCP 主要在基于 Unix 的系统上受支持，但SFTP 与更广泛的作系统兼容，包括 Windows、macOS 和 Linux
• SCP 针对快速、直接的传输进行了优化，非常适合快速、一次性的文件移动，无需额外的管理功能
• SFTP 提供了更大的灵活性。它支持安全的文件传输和文件管理任务，例如查看、重命名、删除和修改远程服务器上的文件和目录
  • 它还支持恢复中断的传输和压缩文件以节省带宽，使其成为复杂任务的更通用的选择

sftp和ftp区别

• sftp 与 ftp 有着几乎一样的语法和功能
• FTP是TCP/IP协议组中的协议之一，TP协议由两个部分组成：
  • FTP服务器(用来存储文件)
  • FTP客户端(用户可以使用FTP客户端通过FTP协议访问位于FTP服务器上的资源)
• SFTP 为 SSH的其中一部分，是一种传输档案至 Blogger 伺服器的安全方式
• FTP通过TCP端口21建立控制连接，而SFTP通过SSH协议（TCP端口22）建立安全连接

vscode 插件连接

打开VSCode侧边栏中的扩展，在扩展商店中输入Remote-SSH，安装Remote-SSH

• 登录指令格式为ssh -p {端口号} {用户}@{主机名}
  • 如登录指令为ssh -p 18435 root@connect.yza1.seetacloud.com，则端口号填写为18435，主机为connect.yza1.seetacloud.com，用户为root / 实验室为你创建的开发机，密码就是密码

守护进程的使用

• 进行远程执行程序时，那么请注意开守护进程来执行程序，避免因为SSH连接中断导致程序终止，遭受不必要的损失
• 文章参考这里
  screen进入后台终端之后+pyhton日志重定向式 的启动

重定向命令是什么？

screen命令的使用

• 每一个screen会话都能拥有很多的子窗口，而我们的电脑能同时拥有很多不同的screen会话
• 用户可以在会话中通过快捷键在不同的窗口下切换，并可以自由的重定向各个窗口的输入和输出
• 窗口还可以被分区和命名，还可以监视后台窗口的活动
• Screen可以让一个或多个用户从不同终端多次登录一个会话，并共享会话的所有特性

-A 将所有的视窗都调整为目前终端机的大小。-d <作业名称> 将指定的screen作业 离线 ！！！-h <行数> 指定视窗的缓冲区行数-m 即使目前已在作业中的screen作业，仍强制建立新的screen作业。-r <作业名称> 恢复离线的screen作业 ！！！-R 先试图恢复离线的作业。若找不到离线的作业，即建立新的screen作业。-s 指定建立新视窗时，所要执行的shell。-S <作业名称> 指定screen作业的名称 ！！！-v 显示版本信息。-x 恢复之前离线的screen作业。-ls或--list 显示目前所有的screen作业。-wipe 检查目前所有的screen作业，并删除已经无法使用的screen作业 screen-S mysession#新建screen会话screen-ls#查看所建立的所有会话

screen里面无法在终端使用鼠标滚轮进行上下翻页拉动

参考这里哦

nohup、screen、tmux命令区别

nohub

• nohup是 “no hang up” 的缩写，允许在后台运行命令，并确保进程不会因为终端关闭而中断 。通常，nohup与&一起使用，将任务发送到后台

nohupcommand&

• nohup的输出（包括标准输出和错误输出）默认会重定向 到nohup.out文件中，除非手动指定其他文件。
• 缺点是进程启动后无法回到交互式控制台，无法动态监控任务输出

screen

screen是一款经典的终端复用工具，允许你在一个终端会话中运行多个进程，并支持会话分离和恢复功能。即便终端断开，后台服务也会继续运行，适合需要交互管理的长期任务

基本使用：

1. 启动新的screen会话：

   screen-Smy_session

   使用-S参数可以给会话命名，便于后续管理
2. 在screen会话中执行命令后，可以按Ctrl+A，然后按D（Ctrl+A+D）来分离会话，进程依然在后台继续运行。
3. 恢复会话：

   screen-rmy_session

tmux

tmux是一个功能强大、现代化的终端复用器，类似于screen，但其更灵活和高效，尤其在并发管理多个会话和窗口时表现突出。它支持分屏操作、快捷键自定义等功能，非常适合并 行处理多个任务

基本使用：

1. 启动新的tmux会话：

   tmux new-smy_session

2. 分离会话：按Ctrl+B然后按D
3. 恢复会话：

   tmux attach-tmy_session

tmux命令的使用

• 有时间的话，还是建议把上述的视频都看一下，Git部分讲解的很好的
• 在 Linux 系统中，screen、tmux和nohup是三种常用的后台运行工具

相关概念的快速 了解

GPU

了解GPU的相关概念以及选型

Linux

• Linux 的目录结构 以及 常见的Shell命令

• Linux中提供了三种显示服务器协议。X11和Wayland是其中两个。第三个是Mir

  • Wayland是作为一个免费的开源社区驱动的项目而开发的，目的是用现代，安全和简单的窗口系统代替X Window System（也称为X11或Xorg）
  • Mir 2.9 旨在为基于 Wayland 的 Shell 提供稳定、高性能的平台。

• 什么是X11-Forwarding

  • Linux 的图形化界面，底层都是基于 X 协议
  • X 协议由 X server 和 X client 组成
  • 在本地显示 (X server)运行在服务器上的 GUI 程序 (X client)。这样的操作可以通过SSH X11 Forwarding来实现。X11 中的 X 指的就是 X 协议，11 指的是采用 X 协议的第 11 个版本
  • 有了X11 Forwarding，通过SSH连接并运行Linux上有GUI的程序，就像是在Windows下运行GUI程序一样方便
  • 要实现X11 Forwording，需要具备X Server的SSH客户端，推荐使用MobaXTerm软件，默认就带X Server程序，免费的非常好用
  • X Client部分，要安装一下软件包，要打开SSH的配置文件，将X11Forwarding修改为Yes

Python 环境管理工具——⭐

使用pyenv + pip + venv管理虚拟环境和依赖

使用 uv 管理虚拟环境和依赖

使用 conda 管理虚拟环境和依赖

连接autodl平台实例

Tips

1. 首先需要 学术认证的，这样花费少一点的
2. 还有包月/包年一个 实例去，一天的可能刚用完，然后就抢不到后续的机子了
3. 默认是 开机状态，关机之后选择无卡模式开机去配置，配置完之后再开机

autodl的磁盘目录

• 容器实例是使用Docker技术进行资源划分与隔离的Container，拥有相比虚机实例性能损失少，效率高等优点
• 在实例中查看磁盘使用情况请在终端中执行：source /root/.bashrc
  根据图片内容，已将表格信息转化为Markdown格式如下：

• 在AutoDL实例中安装的系统软件以及用内置的miniconda安装的python依赖，都是安装在了系统盘中
• JupyerLab的工作路径是/root，数据盘、网盘、公共数据目录都在/root目录下
• 支持将容器实例的系统盘（即系统环境）保存为镜像，供其他实例使用，避免重复配置系统环境

autodl中修改下载源

autodl里面自动配置了channel：：：pip和conda使用国内的源能加速下载依赖包，但是网络高峰时如果某个源较慢，那么可以切换其他源提高下载速度，特别是阿里云的源高峰时有限速，可以通过autopannel查看修改

AutoDL-VScode联动教程

arc解压缩工具的命令

• arc 不是 Linux 原生工具，也不是 Linux 系统自带的标准工具（比如 unzip/tar 才是原生的），而是 AutoDL 平台为了简化用户操作定制的扩展工具
  • 但这个工具本质是一个可执行文件，普通 Linux 系统（只要能连接这个地址）一般也能下载使用，不需要依赖 AutoDL 平台的连接
• AutoDL 封装 arc 的目的是简化解压操作—— 不管是.zip/.tar.gz/.7z等格式，都能用arc decompress 文件名一键解压，不用记不同格式的解压命令
  • arc 会默认将文件解压到当前终端所在的目录（即 pwd 显示的目录），且解压后的文件结构和压缩包内一致
  • 支持解压格式：.tar， .zip， .rar， .7z，支持压缩/打包格式：.zip，.tar
• 如果你的普通 Linux 系统无法下载arc，用 Linux 原生的unzip/tar/7z等工具也能完成所有解压操作
  • Linux 很少使用.rar的，忘记把！
  • 处理.zip：unzip（需安装 unzip 包）
  • 处理.tar.gz/.tar.bz2：tar（系统默认自带）
  • 处理.7z：7z（需安装 p7zip-full 包）

# 下载 arc 工具到 /usr/bin 目录（系统全局可执行）curl-L-o/usr/bin/arc http://autodl-public.ks3-cn-beijing.ksyun.com/tool/arc# 赋予可执行权限chmod+x/usr/bin/arc# 验证是否安装成功arc--help# 若能输出帮助信息，说明可用# 压缩/打包arc compress xxx.zip path/to/directory# 统一解压arc decompress 文件名# 或者解压到指定目录arc decompress xxx.zip path/to/directory

连接实验室机房 进行深度学习

安装Anaconda

• 在自己的账号下跑实验，不会和其他人的实验发送资源冲突的，因为不是root用户没有权限更改其他用户的文件
• 一般都会在服务器下载 Anaconda 的，就像modelScope、autodl 都会内置的！！！
  • Windows 的下载安装指引：点击这里
• 本地开发使用vscode的，但是服务器会下载Anaconda，因为内存大但是内置了包而且可以用来管理虚拟环境
  • jupyter notebook：设置——注意+语言；查看——显示行号

可以先看看 小土堆 理论这块

看GPU和CUDA准备工作 以及之后的内容
结合自己之前的 判断cuda版本

安装版本的选择

AutoDl 已有的Python版本以及packeges
Anaconda 已有的Python版本以及packeges

连接教程

• 【研0小白暑期准备】实验室的深度学习服务器环境配置

• 研一小白记录第一次在实验室服务器上跑深度学习的代码全过程（实验室服务器上跑代码详细全过程哦）

• 安装Anaconda并用conda启动环境

• 如果看不了去xianyu 一天的

有时间再去看：性能提升/压榨

连接公司内网进行 开发

如何判断一个IP是否是内网？

• 这个时候的SSH 连接的话，需要成功 连接内网的前提下的

• 连接自己 手机数据 的热点 之后，ping一下，看能否 通

创建虚拟环境

• 一般不需要在你本机下载重模型依赖，因为代码库的重部分已经部署到 AMD Server，你本机主要做两件事就够了：
  • 用 SSH 本地端口转发，比如ssh -N -L 5173:127.0.0.1:5173 root@192.168.3.178
  • 必要时改代码后推到服务器调试
• 核心就是：只是“浏览器访问远程系统”
• 如果想要创建 虚拟环境 可以点击这里！

vscode 通过 Remote-SSH 连接

• 保存之后，会将刚才的连接信息存储在C:\Users\chaxun\.ssh\config
• 点左下角绿色的地方，断开远程连接
  • Host:这是一个用户定义的别名，用于指代远程主机。可以在在终端中执行ssh 别名替代ssh name@ip
  • HostName:指定远程主机的实际地址或主机名
  • Port:指定 SSH 连接使用的端口号
  • User:指定连接到远程主机时使用的用户名
• 可以通过MobaXterm进行远程命令的便捷操作，通过XFTP更稳定的传输文件

如何免密连接？

• 一台机器想要免密访问其他机器，需要把自己的公钥内容发送到别的机器的authorized_keys中去，并在本机config文件中配置私钥文件位置
  • 需要手动复制公钥文件 (id_rsa_windows.pub) 的内容，然后登录到远程服务器，并将内容粘贴到authorized_keys文件
  • 就是类似于 Git 的SSH 通过公钥连接啦！
• 默认的私钥和公钥文件叫做id_rsa 和id_rsa.pub，如果生成的文件不一样了，则需要在config文件里面指定私钥路径，否则识别不到

可选：win-sshpass 可以用于指定密码和自动执行脚本

• sshpass的定义：ssh 登陆不能在命令行中指定密码，sshpass 的出现则解决了这一问题。它允许你用 -p 参数指定明文密码，然后直接登录远程服务器，它支持密码从命令行、文件、环境变量 中读取
• 我们使用sshpass来进行远程批量操作，批量修改、添加日志清理工具的配置内容，特别适合脚本化和自动化场景
• 在 github 上已有大神做了相关实现，项目 为 sshpass-win32，但是是 win32 版本的，下载后安装即可实现 sshpass 功能

sshpass-p 12345 ssh xhcoding@192.168.139.128lssshpass-p 12345 rsync-avz-e'c:/Users/xhcoding/scoop/apps/cwrsync/current/bin/ssh.exe'README.md xhcoding@192.168.139.128:/home/xhcoding/

如何让codex/claude连接远程环境

• 让 Codex 自己去git提交了