45 replies to this topic

[giga300]

Tutoriel - Redimensionner la partition USER d'un dump de NAND (pour emuMMC Atmosphère) - OBSELETE

Utiliser NXNANDMANAGER A PLACE (https://github.com/e.../NxNandManager)

Attention: Les manipulations décrites sont parfois assez complexes mais tout le monde peut y arriver en suivant bien les explications, si vous avez une question n’hésitez pas à la poser
Attention: Même si les manipulations décrites ne vont pas affecter directement votre Nintendo Switch, elles vont affecter votre dump de NAND donc veillez à bien à en avoir une copie de côté
  
Introduction:
 
Ce tutoriel va intéresser les amateurs de l'emuMMC intégré dernièrement au CFW Atmosphère. En effet, vous avez maintenant la possibilité sur AMS de lancer une NAND "alternatif" stockée sur votre carte SD (au lieu d'utiliser celle sur la puce mémoire de votre switch appellé sysNAND). Le redimensionnement de la partition USER (qui contient vos données utilisateur) est utile dans le cas d'un emuMMC/emuNAND pour récupérer une partie du stockage perdu (en moyenne 20Go), en effet il est inutile d'avoir un emuMMC de 32Go puisque vous installez tous vos jeux dans la SD et le dossier Nintendo.
 
Ancienne méthode (présente des problèmes de démarrage, longue, uniquement sur système Linux, déconseillé)
 

Spoiler

 
Pour se faire nous allons avoir besoin d'un dump de NAND que vous pouvez réaliser de différentes manières (les tutoriels ne manquent pas sur le forum), j'ai personnellement utiliser la méthode Hekate. Mais à la fin vous obtenez tous les fichiers RAWNAND.bin BOOT0 et BOOT1, pour la méthode que je vais vous expliquez ci-dessous il nous faut fusionner les fichiers du dump en un seul fichier qu'on appellera EMUMMC.bin. Vous pourrez obtenir de nouveaux les trois fichiers avec le BONUS ci-dessous.
Je tiens tout de même à préciser que c'est une méthode que j'ai trouvé sur internet (https://pastebin.com/vPY4HLdV), il doit peut-être en exister une meilleure mais en tout cas ça fonctionne !
 
Pré-requis:

Spoiler

- Un ordinateur avec un système GNU/Linux car nous allons utiliser des outils uniquement disponibles sur ce système: gdisk, gparted, truncate, les périphériques de loop. J’essayerais de voir pour une méthode Windows mais dans tous les cas Linux est plus pratique
- gparted
- gdisk
- ninfs: cet outil permet de travailler avec les fichiers des NAND Nintendo (https://github.com/ihaveamac/ninfs). UTILISER BIEN LA VERSION MASTER ET NON LA DERNIERE RELEASE POUR LE SUPPORT DE L'EMUMMC.BIN
- le fichier prod.keys (contenant vos biskeys pour le décryptage de la NAND) à mettre dans le dossier /root/.switch/prod.keys (car nous allons utiliser ces outils en ROOT)
- votre fichier EMUMMC.bin (faites en une sauvegarde au cas ou vous foiriez les manipulations) obtenu via la commande (cat BOOT0 BOOT1 rawnand.bin > emummc.bin)

 
Etape 1 - Monter votre EMUMMC.BIN dans un périphérique de LOOP:

Spoiler

Afin d'utiliser notre NAND, on va la monter avec losetup (gestion des périphérique de LOOP sur Linux)

sudo losetup -f --show -o 0x800000 emummc.bin

Cette commande va vous retourner le LOOP dans lequel la NAND a été monté:

/dev/loopX

X étant le LOOP, dans mon cas /dev/loop1, ça sera surement différent chez vous. Mettez le bien de côté.
 
Etape 2 - Sauvegarder les fichiers de la partition USER du dump

Spoiler

Avant de redimensionner USER, on va en extraire ses données et les mettre de côté pour pouvoir les restaurer.
On crée d'abord des dossiers dans lesquels on montera les différentes partitions:

mkdir ~/mount (pour le dump)
mkdir ~/mount_user (pour la partition USER)
mkdir ~/user_backup (ou on mettra le backup de USER temporairement)

On monte dans le dossier ~/mount le LOOP de l'EMUMMC avec ninfs

sudo mount_nandhac /dev/loopX ~/mount

En allant dans le dossier vous trouverez les différents IMG des partitions.
 

 
Info importante:

Spoiler

On a réaliser le montage en ROOT donc le dossier est uniquement accessible en ROOT si vous voulez le consulter.

 
On retrouve bien notre USER.img d'une taille de 27.9Go
On va maintenant monter ce USER.img dans un autre LOOP.

sudo losetup -f --show ~/mount/USER.img

Vous allez avoir un retour

/dev/loopX2

Il est différent du premier on va l’appeler X2, gardez le de côté.
 
On le monte dans le dossier ~/mount_user

sudo mount /dev/loopX2 ~/mount_user

 
On va désormais pouvoir copier les données de la partition USER dans notre dossier de backup ~/user_backup

sudo cp -r ~/mount_user/* ~/user_backup/

C'est plus ou moins long en fonction de la quantité de donnée.
Une fois la sauvegarde terminé, on peut démonter la partition USER, la NAND et le LOOP de USER.

sudo umount ~/mount_user
sudo umount ~/mount
sudo losetup -d /dev/loopX2

 
Etape 3 - Redimensionner la partition USER

Spoiler

 
On rentre enfin dans le vif du sujet, il faut d'abord commencer par savoir comment vous voulez redimensionner votre partition, est-ce que vous voulez l’augmenter ou bien la réduire. Attention, si vous réduisez il faut qu'il y ait encore de la place pour vos données qu'on a sauvegardé précédemment.
Dans mon cas je vais reduire de 10Go la partition, c'est pour l'exemple.
On va commencer par ouvrir l'emummc dans gdisk:

sudo gdisk /dev/loopX

Puis:

i > 11

Afin d'obtenir les informations de la partition 11 correspondant à la partition USER. Mettez le retour de la commande côté c'est important.
On indique au logiciel qu'on travaille sur la partition 11 (USER):

d > 11

On passe au redimensionnement:

n > ENTER

On vous demande maintenant le Last Sector, c'est à dire la nouvelle taille, la partition USER faisait 27.9Go mais gdisk utilise des Gio (Gigioctet). On convertit donc 27.9Go en GigiOctet et cela nous donne 25.14Gio (1Go = 0.93Gio). On va maintenant soustraire 10Go (soit 9.31Gio) ce qui nous donne 15.83Gio, on arrondit à 16Gio et on rajoute 3Gio car le Last Sector ce n'est pas tout à fait le Size, il faut prendre en compte le First Sector. Adaptez suivant ce que vous voulez faire comme redimensionnement.
On rentre maintenant ceci pour le Last Sector:

19G (G pour Gio, M pour Mio)

gdisk vous demande un type pour la partition, vous mettez le Partition GUID Code qu'on avait obtenu précédemment avec la commande d'information. Le type devrait être Unknown maintenant.
On fait un:

c > 11 > USER

Puis un :

x > c > 11 > (Le Partition unique GUID obtenu via la commande i précédemment)

On continue avec:

a > 11 > 0 > ENTER

Etape importante, on récupère les informations de la partition:

i > 11

Vous obtenez un retour similaire au premier, vérifie qu'ils soient identique à l'exception du Last Sector et de Size qu'on a modifié, je suis passé de 26Gio à 16.4Gio tout le reste doit être identique.
Si tout est bon vous pouvez terminer en appliquant tous les modifications

w > Y

 

 
Etape 4 - Formater USER et restaurer les fichiers

Spoiler

 
On va maintenant formater notre nouvelle partition USER et y restaurer les fichiers qu'on avait sauvegarder dans l'Etape 1.
On commence par monter notre EMUMMC.bin à partir du LOOP:

sudo mount_nandhac /dev/loopX ~/mount

Monter dans un LOOP la partition USER:

sudo losetup -f --show ~/mount/USER.img

qui retourne

/dev/loopX2

Et on ouvre le LOOP (donc la partition USER) avec GParted

gparted /dev/loopX2

Dans GParted, vous obtenez une seule partition et vous la formater en FAT32 (Clic Droit sur la partition > Formater en > fat32 et vous appliquez les changements)
 

 
On monte désormais la partition USER dans le dossier ~/mount_user à partir du LOOP

sudo mount /dev/loopX2 ~/mount_user/

On restaure les fichiers à partir du ~/user_backup :

sudo cp -r ~/user_backup/* ~/mount_user/

On va maintenant tout démonter:

sudo umount ~/mount_user
sudo losetup -d /dev/loopX2
sudo umount ~/mount
sudo losetup -d /dev/loopX

 

 
Etape 5 - Tronquer l'image et fixer les en-têtes GPT

Spoiler

 
La partition USER est maintenant redimensionné mais votre fichier fait encore sa taille initiale, il va falloir tronquer le fichier:

truncate -s -XXG/M emmummc.bin

EMUMMC.bin pèse 31.3Go soit 28.87Gio, on soustrait ce qu'on avait enlevé (pour moi 9.27Gio) soit 19.27Gio, on arrondit à l'unité supérieur par sécurité. Je fais donc un:

truncate -s 20G emummc.bin

La taille du fichier passe 21.5Go ENJOY
Il faut maintenant corriger les en-tête GPT pour que le tout fonctionne, on monte une nouvelle fois notre EMUMMC.bin dans un LOOP

sudo losetup -f --show -o 0x800000 emummc.bin

On l'ouvre avec gdisk

sudo gdisk /dev/loopX

On fait pour corriger les headers:

x > e > w > Y

On démonte:

sudo losetup -d /dev/loopX

 

 
(BONUS) Extraire le RAWNAND.bin BOOT0 et BOOT1 à partir d'un EMUMMC.BIN
 
[spoiler]
 
Merci à shadow256 pour l'astuce, utilisez simplement ces trois commandes:
dd bs=1c count=4194304 if=emummc.bin of=BOOT0
dd bs=1c skip=4194304 count=4194304 if=emummc.bin of=BOOT1
dd bs=1c skip=8388609 if=emummc.bin of=rawnand.bin

 

 
Nouvelle méthode:
 
Dans cette nouvelle méthode, nous allons utiliser un script Python qui utilisera des librairies compatibles toutes plateformes donc vous pourrez redimensionner la partition USER du dump de votre NAND sur Windows, macOS et Linux. Je tiens à remercier ckurtz22 pour ce script
 
Pré-requis:
 
- Un ordinateur sous Windows, macOS ou Linux
 
- Avoir Python3 sur sa machine
 
- Un dump de NAND (splitté ou non) réalisable très facilement avec Hekate, il vous faudra à la fin les fichiers BOOT0 BOOT1 et RAWNAND.BIN (ou RAWNAND.BIN.00, RAWNAND.BIN.01... dans le cas d'un dump splitté)
 
- Votre fichier prod.keys contenant vos BIS KEY 3 (permettant de decrypter la partition USER) que vous pouvez obtenir via le payload LockpickRCM
 
Etape 1 - Préparation des fichiers:
 
Nous allons commencer par fusionner les fichiers du dump de NAND en un seul fichier nommé emummc.bin.
 
Dans le cas d'un dump non-splitté:

cat BOOT0 BOOT1 rawnand.bin > emummc.bin # Sur macOS ou Linux
copy /b BOOT0+BOOT1+rawnand.bin emummc.bin # Sur Windows 

Dans le cas d'un dump splitté:

cat BOOT0 BOOT1 rawnand.bin.* > emummc.bin # Sur macOS ou Linux
copy /b BOOT0+BOOT1+rawnand.bin.* emummc.bin # Sur Windows

Nous nous retrouvons maintenant en possession de notre fichier emummc.bin
 

Etape 1B - Uniquement utilisateur macOS

 

Cette étape vous est destine uniquement si vous êtes un utilisateur de macOS. Merci à @shadow_shd pour les précisions.

 

Installer mbedtls via Homebrew (brew)

brew install mbedtls

Si vous n'avez pas le gestionnaire de paquet Homebrew sur votre installation macOS, ça s'installe très facilement avec:

/usr/bin/ruby -e "$(curl -fsSL https://raw.githubus.../master/install)"

Etape 2 - Récupération du script:
 
1) Télécharger le script sur https://gist.github....75f2720a1e5e486, sur la page cliquez sur  Download ZIP afin de récupérer une archive contenant le script resize-user.py
 
2) Installer la dépendance mbedtls avec PIP pour que le script puisse fonctionner:
 

python3 -m pip install -U python-mbedtls # Sur macOS ou Linux
py -3 -m pip install -U python-mbedtls # Sur Windows

 
Etape 3 - Redimensionner la partition USER:
 
Placez-vous dans le dossier contenant le script resize-user.py et mettez dans le même dossier vos fichiers emummc.bin et prod.keys. Exécuter la commande ci-dessous:
 

python3 resize_user.py emummc.bin <nouvelle taille de la partition en GiB> prod.keys

 
Le fichier est automatiquement redimensionné, si vous indiquez une taille invalide le script la refusera, ne spécifiez pas l'unité G après votre taille donnez uniquement un nombre.
 
Si vous comptez réaliser un emuMMC sur Atmosphère en mode partition caché, vous pouvez vous arrêtez ici et écrire le fichier emummc.bin sur la partition de votre carte SD.
 
Si vous voulez récupérer les fichiers de votre dump BOOT0 BOOT1 et rawnand.bin afin de réaliser un emuMMC en mode fichier ou quelque chose d'autre. Vous pouvez passer à l'étape 4.
 
(OPTIONNELLE) Etape 4 - Extraire le BOOT0 BOOT1 & rawnand.bin à partir d'un emummc.bin:
 
Pour se faire nous allons utiliser la commande DD de Linux et macOS, si vous êtes sur Windows vous pouvez récupérer le binaire de DD à cette adresse: http://www.chrysocome.net/dd
 
Ensuite utilisez les commandes ci-dessous:

dd bs=1c count=4194304 if=emummc.bin of=boot0.bin
dd bs=1c skip=4194304 count=4194304 if=emummc.bin of=boot1.bin
dd bs=1c skip=8388609 if=emummc.bin of=rawnand.bin

 
Merci à shadow256 pour les commandes même si elles sont très longues, en l'attente d'une nouvelle façon de faire
 
Terminé, vous avez redimensionné votre dump, vous pouvez aller le tester Dans ce tutoriel je l'ai réduit de environ 10Go mais on aurait pu très largement viser plus haut. De cette façon on récupéré une grande partie de l'espace du dump.

Ce message a été modifié par giga300 - 07 avril 2020 - 00:04.

[giga300]

Réservé

[shadow256]

Très bonne idée de l'avoir traduit. Pour extraire BOOT0 et BOOT1 du fichier emunand.bin je pense qu'il suffit d'extraire, pour BOOT0, les 4194304 premiers octets et pour le BOOT1 les 4194304 suivants, avec dd par exemple c'est plutôt simple, à tester car je ne l'ai pas encore fait. Ensuite et toujours d'après cette logique, pour la Rawnand on extrait à partir de l'octet 8388609 jusqu'à la fin et on peut ainsi récupérer le tout.

[giga300]

Très bonne idée de l'avoir traduit. Pour extraire BOOT0 et BOOT1 du fichier emunand.bin je pense qu'il suffit d'extraire, pour BOOT0, les 4194304 premiers octets et pour le BOOT1 les 4194304 suivants, avec dd par exemple c'est plutôt simple, à tester car je ne l'ai pas encore fait. Ensuite et toujours d'après cette logique, pour la Rawnand on extrait à partir de l'octet 8388609 jusqu'à la fin et on peut ainsi récupérer le tout.

 

Merci pour le retour j'essayerais

[shadow256]

Merci pour le retour j'essayerais

Je confirme que ça fonctionne, voici les commandes:

dd bs=1c count=4194304 if=emunand_partition.bin of=boot0.bin
dd bs=1c skip=4194304 count=4194304 if=emunand_partition.bin of=boot1.bin
dd bs=1c skip=8388609 if=emunand_partition.bin of=rawnand.bin

J'ajouterai cette fonctionnalité à mon script dans la prochaine version de celui-ci, ça pourra toujours servir.

Ce message a été modifié par shadow256 - 19 juin 2019 - 17:00.

[giga300]

Je confirme que ça fonctionne, voici les commandes:

J'ajouterai cette fonctionnalité à mon script dans la prochaine version de celui-ci, ça pourra toujours servir.

 

Merci j'ai edit

[eliboa]

Merci bien pour ce tuto, beau boulot

[Z0rP]

Nice job

J'ai trouvé cela pour avoir un dual boot emuNAND (Soit SX OS et Atmosphere en dual). À voir pour qui y trouvera son intérêt ^^

https://gbatemp.net/...-emummc.541060/

Ce message a été modifié par Z0rP - 19 juin 2019 - 22:25.

[giga300]

Par contre, je ne sais pas comment adapter le tutoriel à Windows, ne serait-ce que pour monter l'EMUMMC.BIN puis de le repartionner avec GDISK. J'avais essayé avec le WSL (Windows Subsystem for Linux) mais y a pas les LOOP devices pour faire le montage.

Ce message a été modifié par giga300 - 20 juin 2019 - 17:31.

[shadow256]

Par contre, je ne sais pas comment adapter le tutoriel à Windows, ne serait-ce que pour monter l'EMUMMC.BIN puis de le repartionner avec GDISK. J'avais essayé avec le WSL (Windows Subsystem for Linux) mais y a pas les LOOP devices pour faire le montage.

Faudrait peut-être regarder du côté de Msys 2.0, je vais essayer de m'y pencher pour voir.
Edit: Ouai bon clairement faut faire çà sous Linux, juste sous Windows pas moyen j'ai l'impression, faut que je regarde encore du côté de Diskpart histoire de voir si on peut faire quelque chose avec çà. Après, peut-être qu'avec des manipulations incongrues on pourrait y arriver sous Windows mais franchement au pire ça vaut mieux de faire une Virtualbox avec un Linux histoire de faire les manipulations.

Ce message a été modifié par shadow256 - 20 juin 2019 - 18:40.

[giga300]

Bon, j'ai essayé d'utiliser un DUMP redimensionné sur l'emuMMC, ça ne fonctionne pas pour une raison que j'ignore. Quand j'ouvre le dump avec Hacdiskmount, j'ai des erreurs GPT alors que je corrige pourtant bien les headers dans gdisk, si quelqu'un a une solution ?

[giga300]

V2 du tutoriel en approche, ça sera bien plus court et facile avec la compatibilité Windows et ça résout enfin le problème des headers GPT, testé avec succès sur l'emuMMC de AMS en mode partition caché. Avec les fichiers j'ai pas testé, la commande pour dumper le rawnand du emummc.bin de shadow est très très lente, mais j'essayerais peut être prochainement.

 

Ce message a été modifié par giga300 - 22 juin 2019 - 13:49.

[giga300]

Nouvelle méthode publiée j’espère que ça vous plaira

Ce message a été modifié par giga300 - 22 juin 2019 - 16:45.

[shadow256]

Excellent le script python, je sais déjà quelle va être la nouvelle fonctionnalité que je vais ajouter à mon script dans les prochains jours.

Pour les commandes via dd on peut les accélérer en augmentant le paramètre "bs" et en recalculant la taille à extraire ou/et à éviter d'extraire, les commandes que j'avais données étaient juste les commandes les plus simples et surtout permettant une précision maximale pour le contrôle d'erreurs, en effet avec la commande qui travail bloque par bloque au moins aucun risque de corruption ou autre ou sinon ça plantera direct. Après il est normal que la commande prenne du temps, ça prend en fait le temps de copier 29 giga. Après on peut peut-être faire un truc permettant d'extraire BOOT0 et BOOT1 parce que çà ça va vite avec DD puis il faudrait utiliser une commande supprimant les premiers octets du fichier "emunand.bin" pour le transformer en fichier "rawnand.bin", ceci pourrait probablement être bien plus rapide mais j'ai jamais fait ça, ceci dit je pense qu'avec les outils GNU de base je suis certain qu'un truc pareil est facilement faisable.

Ce message a été modifié par shadow256 - 02 juillet 2019 - 01:35.

[tralala]

merci, impressionnant . 

[morganno]

Salut, Une question bête comme tu accède à la partition cachée. Windows ne la reconnaît pas?
merci

[shadow256]

Salut, Une question bête comme tu accède à la partition cachée. Windows ne la reconnaît pas?
merci

Et bien à aucun moment on a besoin d'accéder à la partition cachée sauf si on veut écrire le fichier finalisé dessus, dans ce cas la version de dd pour Windows détectera très bien la partition supplémentaire.

[morganno]

Merci beaucoup pour ta réponse en gros, je pensais que c’était une partition type Linux ext
Donc on ne peut pas y avoir accès comme un disque dur

[giga300]

Merci beaucoup pour ta réponse en gros, je pensais que c’était une partition type Linux ext
Donc on ne peut pas y avoir accès comme un disque dur

C'est une partition avec un système de fichier spécial pour la Switch, c'est illisible sur tous les OS en plus d'être chiffré.

[morganno]

Donc la solution la plus simple pour manipulé la Nand c’est en fichier *.bin