nixpkgs-cuda-ci

本项目已停止维护，转而支持 Nixpkgs 树内发布的 CUDA 支持版本，构建于 "community Hydra" 并缓存于 nix-community.cachix.org 属于 nix-community 基础设施团队的工作。 Nix-Community 的基础设施通过 OpenCollective 项目获得资助：请考虑承诺每月捐款，以确保其持续可用。

原始描述

首先，一个警告：这只是一个开发仓库，日后应当被可持续的替代品所取代。关于 nixpkgs 中 CUDA 的最新信息，请查阅：

#cuda:nixos.org

https://nixos.wiki/wiki/CUDA

https://nixos.org/manual/nixpkgs/unstable/#cuda

discourse.nixos.org

考虑到上述情况，让我们继续。

最新警告

2024-08-15: 自 https://github.com/SomeoneSerge/nixpkgs-cuda-ci/pull/33 起，本仓库不再维护任何 jobsets，而是转而使用在 Nixpkgs 中维护的新 release-cuda.nix

2024-06-09: 我遇到了 Hercules CI 的 "effects" 队列堵塞的问题，这实际上关闭了 "flake-update" 效果。这些效果已被禁用，并替换为一个 flake-update github action，该 action 会触发 HCI 针对新的 master 重新构建 "default" job。其他 job 有时可能会构建过时的 nixpgs 修订版... 这一切相当不稳定，我还没有时间调试这个问题。

2023-03-05: 该仓库不再试图成为 nixpkgs 的直接替代品。我们只是进行构建。flake 现在用于跟踪所有 nixpkgs 分支（-> flake.lock 变得大得多），并且使用 hercules CI 的 onSchedule，而不是 GitHub workflow，来触发构建。关于 nixpkgs 的直接替代品参见 numtide/nixpkgs-unfree

我们以不同的频率为不同的 cuda 架构进行构建，这意味着要利用缓存，你可能需要导入 nixpkgs，例如 import <nixpkgs> { ...; config.cudaCapabilities = [ "8.6" ]; }。详见 flake

这是什么

该仓库用于构建并缓存 nixpkgs 世界，使用 cudaSupport = true。参见仪表板：https://hercules-ci.com/github/SomeoneSerge/nixpkgs-cuda-ci

这意味着你可以使用 Nix 预构建的 pytorch、tensorflow、jax 和 blender

这也意味着当开发分支出现问题时，我们会注意到并可以采取措施。我们构建：

master，

nixos-unstable，

nixpkgs-unstable，

以及撰写本文时的最新发行版 - nixos-23.05

我们可能会以不同的频率构建不同的分支。我们也可能优先处理某些 cudaCapabilities。

cachix 的空间有限且启用了垃圾回收。这意味着你需要保持最新状态才能从缓存中受益（随着我们构建更新的软件包，旧缓存最终会被丢弃）

构建目前运行在志愿者的机器上。我们计划很快在 wiki 上创建并维护确切的列表。每台机器使用自己的密钥将构建结果推送到 cachix，并且这些密钥可以被撤销而不会破坏整个链条。你只需使用一个列在 https://cuda-maintainers.cachix.org/ 的公钥。 cachix cuda-maintainers 缓存和 cachix 密钥目前由 @samuela 管理。我们的 cachix 空间由 @domenkozar 提供。

我们希望有一天能找到一个更可持续且更值得信赖的解决方案，但目前我们将其作为一个概念验证来开发。

如何使用
要使用缓存，请获取 cachix，并执行：
cachix use cuda-maintainers
要在 NixOS 上使用缓存，请检查您的 configuration.nix 模块中的以下代码片段：
  nix.binaryCachePublicKeys = [
    "cuda-maintainers.cachix.org-1:0dq3bujKpuEPMCX6U4WylrUDZ9JyUG0VpVZa7CNfq5E="
  ];
  nix.binaryCaches = [
    "https://cuda-maintainers.cachix.org"
  ];
请验证公钥来自 https://cuda-maintainers.cachix.org
您还可以向您的 flake 用户建议使用该缓存，方法如下
  # ...

  nixConfig = {
    extra-substituters = [
      "https://cuda-maintainers.cachix.org"
    ];
    extra-trusted-public-keys = [
      "cuda-maintainers.cachix.org-1:0dq3bujKpuEPMCX6U4WylrUDZ9JyUG0VpVZa7CNfq5E="
    ];
  };

  outputs = { ... }: {
    # ...
  };
当用户与您的 flake 交互时，系统会询问他们是否希望使用该缓存并信任该密钥。
从 nixpkgs 使用 cuda 支持包的最一致但也是最昂贵的方式，是通过全局 config.cudaSupport 导入它们：
pkgs = import nixpkgs { config.allowUnfree = true; config.cudaSupport = true; }
有了这个，pkgs.python3Packages.jax、pkgs.python3Packages.pytorch 等将评估为带有 cuda 支持的包。
此 flake 试图作为 nixpkgs 的即插即用替代品（更准确地说，是一个代理）。以下用法预计可以正常工作：
执行 nix run github:SomeoneSerge/nixpkgs-unfree/nixpkgs-unstable#blender 以运行带有 cuda 支持的 blender
在 flake 输入中使用：
inputs.nixpkgs.url = github:NixOS/nixpkgs/nixpkgs-unstable;
inputs.nixpkgs-unfree.url = github:SomeoneSerge/nixpkgs-unfree;
inputs.nixpkgs-unfree.inputs.nixpkgs.follows = "nixpkgs";
已弃用：在 flake 输入中作为 nixpkgs 的即插即用替代品使用（除非有人做了特殊处理）
inputs.nixpkgs.url = github:SomeoneSerge/nixpkgs-unfree/nixpkgs-unstable;
inputs.home-manager.inputs.nixpkgs.follows = "nixpkgs";
已弃用：作为 nixpkgs 导入：
inputs.nixpkgs = github:SomeoneSerge/nixpkgs-unfree/nixpkgs-unstable;
outputs = { nixpkgs }:
let
  system = "x86_64-linux";
  overlay = final: prev: { };
  pkgs = import nixpkgs { overlays = [ overlay ]; };
in
{
  # ...
}
请注意，如果您在参数中传递 config，您必须再次包含 cudaSupport 和 allowUnfree
注意：将 <nixpkgs> 指向此仓库已被证明是一种相当痛苦的体验。大多数问题集中在使用 import <nixpkgs/lib>. 目前 ./lib 中有一个代理，使这些导入能够正常工作，但几乎肯定是以再下载一份 nixpkgs 为代价的...

如果你仅在项目级别或用户级别启用缓存，可能需要在 /etc/nix/nix.conf 中设置 trusted-users = ${yourName}。