Switch to 8 gpus

Author: Jacob-Chmura

benchmarks/cppo/accelerate_configs/deepspeed_zero2.yaml

@@ -12,7 +12,7 @@ machine_rank: 0
 main_training_function: main
 mixed_precision: 'bf16'
 num_machines: 1
-num_processes: 2
+num_processes: 8
 rdzv_backend: static
 same_network: true
 tpu_env: []

jobs/ccpo/ccpo_ccpo_multi_gpu.sh

@@ -2,7 +2,7 @@
 #SBATCH --job-name=aif-gen-cppo-cppo
 #SBATCH --partition=main
 #SBATCH --cpus-per-task=6
-#SBATCH --gres=gpu:4
+#SBATCH --gres=gpu:8
 #SBATCH --mem=32G
 #SBATCH --time=24:00:00
 #SBATCH --output=out/%j.out

jobs/ccpo/ccpo_domain_shift_multi_gpu.sh

@@ -2,7 +2,7 @@
 #SBATCH --job-name=aif-gen-cppo-domain-shift
 #SBATCH --partition=main
 #SBATCH --cpus-per-task=6
-#SBATCH --gres=gpu:4
+#SBATCH --gres=gpu:8
 #SBATCH --mem=32G
 #SBATCH --time=24:00:00
 #SBATCH --output=out/%j.out

jobs/ccpo/ccpo_lipschitz_multi_gpu.sh

@@ -2,7 +2,7 @@
 #SBATCH --job-name=aif-gen-cppo-lipschitz
 #SBATCH --partition=main
 #SBATCH --cpus-per-task=6
-#SBATCH --gres=gpu:4
+#SBATCH --gres=gpu:8
 #SBATCH --mem=32G
 #SBATCH --time=24:00:00
 #SBATCH --output=out/%j.out

jobs/ccpo/ccpo_long_piecewise_multi_gpu.sh

@@ -2,7 +2,7 @@
 #SBATCH --job-name=aif-gen-cppo-long-piecewise
 #SBATCH --partition=main
 #SBATCH --cpus-per-task=6
-#SBATCH --gres=gpu:4
+#SBATCH --gres=gpu:8
 #SBATCH --mem=32G
 #SBATCH --time=24:00:00
 #SBATCH --output=out/%j.out

jobs/ccpo/ccpo_piecewise_multi_gpu.sh

@@ -2,7 +2,7 @@
 #SBATCH --job-name=aif-gen-cppo-piecewise-preference-shift
 #SBATCH --partition=main
 #SBATCH --cpus-per-task=6
-#SBATCH --gres=gpu:4
+#SBATCH --gres=gpu:8
 #SBATCH --mem=32G
 #SBATCH --time=24:00:00
 #SBATCH --output=out/%j.out

jobs/ccpo/ccpo_short_piecewise_multi_gpu.sh

@@ -2,7 +2,7 @@
 #SBATCH --job-name=aif-gen-cppo-short-piecewise
 #SBATCH --partition=main
 #SBATCH --cpus-per-task=6
-#SBATCH --gres=gpu:4
+#SBATCH --gres=gpu:8
 #SBATCH --mem=32G
 #SBATCH --time=24:00:00
 #SBATCH --output=out/%j.out