Conda环境库安装的几个实践
  Cai 14天前 79 0

一般投研写代码开始,环境会固定下来,生产时的环境更是如此。但是一旦需要新建更新迁移环境,添加删除更新相关的库,还是会耗费不少时间精力。我写几个目前为止可能有用的实践经验。

管理工具
conda 用于环境创建管理是最好,对库的安装管理就未必(确实比较慢)。pip 的资源最全面,较新mamba的管理也很全面,逻辑更优化速度会快很多。

库源
就我们金融量化领域最重的几个库源:-c conda-forge -c pytorch 还有英伟达。
添加到默认路径里 conda config --add channels -conda-forge
如果慢,可以把清华和阿里的也添加进去,但优先级设置低一点。

安装更新
确定本次针对环境的安装删除升级的目的是什么(调整某个库版本以使用另一个库。配置能应用就可以,免得花太多时间精力)。

  1. 最关键几个使用的库优先安装,依据需求先写明库的版本。numpy pandas scipy pytroch 这些一起安装。甚至可以在创建环境时就一次性尝试安装,例如:

    mamba create -n mynewenv python=3.12 scikit-learn statsmodels matplotlib tqdm prophet holidays lightgbm xgboost seaborn pytorch torchvision torchaudio -c conda-forge -c pytorch

    库管理工具自己会考虑他们的依赖和兼容情况,以取交集的情况安装,但有指定版本也需要注明。

  2. 多使用强制重新下载安装和更新,即时清除库缓存,免得依赖库老是用缓存,具体语法找deepseek/bing,例如:force-reinstall ignore-installed。

  3. 多建几个环境,特别是生产环境要有备份,留requirement文档,以及每个成功配置的环境用到的具体安装命令可以用文档记下来,以便下次又要重新来一遍。

有的东西的安装和环境配置有时成功有时不成功,我现在还没找到原因,很诡异(例如cuda)。在多个环境上多试几次,有能用的就可以,然后clone几个备份。

还有一个重要的,minicoda的安装多用默认设置(用户权限这些),默认c盘可以的,c盘要设置得足够大。

大致就是这些,大家有疑问或者什么好的实践,欢迎评论区留言。

最后一次编辑于 13天前 0

暂无评论

推荐阅读