Comment cloner uniquement un sous-répertoire d'un référentiel Git ?

J'ai mon dépôt Git qui, à la racine, a deux sous-répertoires:

/finisht
/static

Lorsque ceci était dans SVN, /finishta été extrait à un endroit, alors qu'il /statica été extrait ailleurs, comme ceci :

svn co svn+ssh://admin@domain.com/home/admin/repos/finisht/static static

Y a-t-il un moyen de faire cela avec Git?

Solution du problème

git clone --filterde git 2.19 fonctionne maintenant sur GitHub (testé 2021-01-14, git 2.30.0)

Cette option a été ajoutée avec une mise à jour du protocole distant, et elle empêche véritablement le téléchargement d'objets depuis le serveur.

Par exemple, pour cloner uniquement les objets requis pour d1ce référentiel de test minimal : https://github.com/cirosantilli/test-git-partial-clone, je peux faire :

git clone \
 --depth 1 \
 --filter=blob:none \
 --sparse \
 https://github.com/cirosantilli/test-git-partial-clone \
;
cd test-git-partial-clone
git sparse-checkout set d1

Voici une version moins minimale et plus réaliste sur https://github.com/cirosantilli/test-git-partial-clone-big-small

git clone \
 --depth 1 \
 --filter=blob:none \
 --sparse \
 https://github.com/cirosantilli/test-git-partial-clone-big-small \
;
cd test-git-partial-clone-big-small
git sparse-checkout set small

That repository contains:

• un gros répertoire avec 10 fichiers de 10 Mo


• un petit répertoire avec 1000 fichiers de taille un octet

Tous les contenus sont pseudo-aléatoires et donc incompressibles.

Temps de clonage sur mon Internet 36,4 Mbps :

• complet : 24 s


• partiel: "instantané"

The sparse-checkout part is also needed unfortunately. You can also only download certain files with the much more understandable:

git clone \
 --depth 1 \
 --filter=blob:none \
 --no-checkout \
 https://github.com/cirosantilli/test-git-partial-clone \
;
cd test-git-partial-clone
git checkout master -- d1

mais cette méthode, pour une raison quelconque, télécharge les fichiers un par un très lentement, ce qui la rend inutilisable à moins que vous n'ayez très peu de fichiers dans le répertoire.

Analyse des objets du référentiel minimal

La commande clone obtient uniquement :

• un seul objet commit avec la pointe de la masterbranche


• les 4 objets arborescents du référentiel :
  
  
  
  • répertoire de niveau supérieur du commit
  
  
  • les trois répertoires d1, d2,master
  
  
  
  

Ensuite, la git sparse-checkout setcommande récupère uniquement les blobs (fichiers) manquants sur le serveur :

• d1/a


• d1/b

Mieux encore, plus tard, GitHub commencera probablement à prendre en charge :

 --filter=blob:none \
 --filter=tree:0 \

où --filter=tree:0à partir de Git 2.20 empêchera la clonerécupération inutile de tous les objets de l'arbre et permettra de le reporter à checkout. Mais sur mon test du 18/09/2020 qui échoue avec:

fatal: invalid filter-spec 'combine:blob:none+tree:0'

probablement parce que le --filter=combine:filtre composite (ajouté dans Git 2.24, impliqué par multiple --filter) n'est pas encore implémenté.

J'ai observé quels objets ont été récupérés avec:

git verify-pack -v.git/objects/pack/*.pack

comme mentionné à : Comment répertorier TOUS les objets git dans la base de données ? Cela ne me donne pas une indication très claire de ce qu'est exactement chaque objet, mais cela indique le type de chaque objet ( commit, tree, blob), et comme il y a si peu d'objets dans ce dépôt minimal, je peux en déduire sans ambiguïté ce que chaque objet est.

git rev-list --objects --alla produit une sortie plus claire avec des chemins pour les arbres/blobs, mais il récupère malheureusement certains objets lorsque je l'exécute, ce qui rend difficile de déterminer ce qui a été récupéré quand, faites-moi savoir si quelqu'un a une meilleure commande.

À FAIRE, trouvez l'annonce de GitHub indiquant quand ils ont commencé à le prendre en charge. https://github.blog/2020-01-17-bring-your-monorepo-down-to-size-with-sparse-checkout/ du 2020-01-17 mentionne déjà --filter blob:none.

git sparse-checkout

Je pense que cette commande est destinée à gérer un fichier de paramètres qui dit "Je ne m'intéresse qu'à ces sous-arborescences" afin que les futures commandes n'affectent que ces sous-arborescences. Mais c'est un peu difficile d'en être sûr car la documentation actuelle est un peu... clairsemée;-)

Il n'empêche pas, par lui-même, la récupération des blobs.

Si cette compréhension est correcte, alors ce serait un bon complément à git clone --filterdécrit ci-dessus, car cela empêcherait la récupération involontaire de plus d'objets si vous avez l'intention d'effectuer des opérations git dans le référentiel partiellement cloné.

Quand j'ai essayé sur Git 2.25.1:

git clone \
 --depth 1 \
 --filter=blob:none \
 --no-checkout \
 https://github.com/cirosantilli/test-git-partial-clone \
;
cd test-git-partial-clone
git sparse-checkout init

cela n'a pas fonctionné car ils ont initen fait récupéré tous les objets.

Cependant, dans Git 2.28, il ne récupérait pas les objets comme souhaité. Mais alors si je fais:

git sparse-checkout set d1

d1n'est pas récupéré et extrait, même si cela indique explicitement qu'il devrait: https://github.blog/2020-01-17-bring-your-monorepo-down-to-size-with-sparse-checkout/#sparse- checkout-and-partial-clones Avec clause de non-responsabilité :

Gardez un œil sur la fonctionnalité de clonage partiel pour qu'elle devienne généralement disponible[1].

[1] : GitHub évalue toujours cette fonctionnalité en interne alors qu'elle est activée sur quelques référentiels sélectionnés (y compris l'exemple utilisé dans cet article). Au fur et à mesure que la fonctionnalité se stabilise et mûrit, nous vous tiendrons au courant de ses progrès.

Alors oui, il est tout simplement trop difficile d'être certain pour le moment, en partie grâce aux joies de GitHub étant une source fermée. Mais gardons un œil dessus.

Répartition des commandes

Le serveur doit être configuré avec :

git config --local uploadpack.allowfilter 1
git config --local uploadpack.allowanysha1inwant 1

Répartition des commandes :

• --filter=blob:noneignore tous les blobs, mais récupère toujours tous les objets de l'arborescence




• --filter=tree:0ignore les arbres inutiles : https://www.spinics.net/lists/git/msg342006.html




• --depth 1implique déjà --single-branch, voir aussi: Comment cloner une seule branche dans Git?




• file://$(path)est nécessaire pour surmonter git cloneles manigances protocolaires : comment cloner superficiellement un référentiel git local avec un chemin relatif ?




• --filter=combine:FILTER1+FILTER2est la syntaxe pour utiliser plusieurs filtres à la fois, essayer de passer --filterpour une raison quelconque échoue avec : "plusieurs spécifications de filtres ne peuvent pas être combinées". Cela a été ajouté dans Git 2.24 à e987df5fe62b8b29be4cdcdeb3704681ada2b29e "list-objects-filter : implémenter des filtres composites"

  Edit : sur Git 2.28, je vois expérimentalement que cela --filter=FILTER1 --filter FILTER2a également le même effet, puisque GitHub n'implémente pas combine:encore le 2020-09-18 et se plaint fatal: invalid filter-spec 'combine:blob:none+tree:0'. TODO introduit dans quelle version ?

Le format de --filterest documenté sur man git-rev-list.

Docs sur l'arborescence Git :

• https://github.com/git/git/blob/v2.19.0/Documentation/technical/partial-clone.txt


• https://github.com/git/git/blob/v2.19.0/Documentation/rev-list-options.txt#L720


• https://github.com/git/git/blob/v2.19.0/t/t5616-partial-clone.sh

Testez-le localement

Le script suivant génère de manière reproductible le référentiel https://github.com/cirosantilli/test-git-partial-clone localement, effectue un clonage local et observe ce qui a été cloné :

#!/usr/bin/env bash
set -eu
list-objects() (
 git rev-list --all --objects
 echo "master commit SHA: $(git log -1 --format="%H")"
 echo "mybranch commit SHA: $(git log -1 --format="%H")"
 git ls-tree master
 git ls-tree mybranch | grep mybranch
 git ls-tree master~ | grep root
)
# Reproducibility.
export GIT_COMMITTER_NAME='a'
export GIT_COMMITTER_EMAIL='a'
export GIT_AUTHOR_NAME='a'
export GIT_AUTHOR_EMAIL='a'
export GIT_COMMITTER_DATE='2000-01-01T00:00:00+0000'
export GIT_AUTHOR_DATE='2000-01-01T00:00:00+0000'
rm -rf server_repo local_repo
mkdir server_repo
cd server_repo
# Create repo.
git init --quiet
git config --local uploadpack.allowfilter 1
git config --local uploadpack.allowanysha1inwant 1
# First commit.
# Directories present in all branches.
mkdir d1 d2
printf 'd1/a' >./d1/a
printf 'd1/b' >./d1/b
printf 'd2/a' >./d2/a
printf 'd2/b' >./d2/b
# Present only in root.
mkdir 'root'
printf 'root' >./root/root
git add.
git commit -m 'root' --quiet
# Second commit only on master.
git rm --quiet -r./root
mkdir 'master'
printf 'master' >./master/master
git add.
git commit -m 'master commit' --quiet
# Second commit only on mybranch.
git checkout -b mybranch --quiet master~
git rm --quiet -r./root
mkdir 'mybranch'
printf 'mybranch' >./mybranch/mybranch
git add.
git commit -m 'mybranch commit' --quiet
echo "# List and identify all objects"
list-objects
echo
# Restore master.
git checkout --quiet master
cd..
# Clone. Don't checkout for now, only.git/ dir.
git clone --depth 1 --quiet --no-checkout --filter=blob:none "file://$(pwd)/server_repo" local_repo
cd local_repo
# List missing objects from master.
echo "# Missing objects after --no-checkout"
git rev-list --all --quiet --objects --missing=print
echo
echo "# Git checkout fails without internet"
mv../server_repo../server_repo.off
! git checkout master
echo
echo "# Git checkout fetches the missing directory from internet"
mv../server_repo.off../server_repo
git checkout master -- d1/
echo
echo "# Missing objects after checking out d1"
git rev-list --all --quiet --objects --missing=print

GitHub en amont.

Sortie dans Git v2.19.0 :

# List and identify all objects
c6fcdfaf2b1462f809aecdad83a186eeec00f9c1
fc5e97944480982cfc180a6d6634699921ee63ec
7251a83be9a03161acde7b71a8fda9be19f47128
62d67bce3c672fe2b9065f372726a11e57bade7e
b64bf435a3e54c5208a1b70b7bcb0fc627463a75 d1
308150e8fddde043f3dbbb8573abb6af1df96e63 d1/a
f70a17f51b7b30fec48a32e4f19ac15e261fd1a4 d1/b
84de03c312dc741d0f2a66df7b2f168d823e122a d2
0975df9b39e23c15f63db194df7f45c76528bccb d2/a
41484c13520fcbb6e7243a26fdb1fc9405c08520 d2/b
7d5230379e4652f1b1da7ed1e78e0b8253e03ba3 master
8b25206ff90e9432f6f1a8600f87a7bd695a24af master/master
ef29f15c9a7c5417944cc09711b6a9ee51b01d89
19f7a4ca4a038aff89d803f017f76d2b66063043 mybranch
1b671b190e293aa091239b8b5e8c149411d00523 mybranch/mybranch
c3760bb1a0ece87cdbaf9a563c77a45e30a4e30e
a0234da53ec608b54813b4271fbf00ba5318b99f root
93ca1422a8da0a9effc465eccbcb17e23015542d root/root
master commit SHA: fc5e97944480982cfc180a6d6634699921ee63ec
mybranch commit SHA: fc5e97944480982cfc180a6d6634699921ee63ec
040000 tree b64bf435a3e54c5208a1b70b7bcb0fc627463a75 d1
040000 tree 84de03c312dc741d0f2a66df7b2f168d823e122a d2
040000 tree 7d5230379e4652f1b1da7ed1e78e0b8253e03ba3 master
040000 tree 19f7a4ca4a038aff89d803f017f76d2b66063043 mybranch
040000 tree a0234da53ec608b54813b4271fbf00ba5318b99f root
# Missing objects after --no-checkout
?f70a17f51b7b30fec48a32e4f19ac15e261fd1a4
?8b25206ff90e9432f6f1a8600f87a7bd695a24af
?41484c13520fcbb6e7243a26fdb1fc9405c08520
?0975df9b39e23c15f63db194df7f45c76528bccb
?308150e8fddde043f3dbbb8573abb6af1df96e63
# Git checkout fails without internet
fatal: '/home/ciro/bak/git/test-git-web-interface/other-test-repos/partial-clone.tmp/server_repo' does not appear to be a git repository
fatal: Could not read from remote repository.
Please make sure you have the correct access rights
and the repository exists.
# Git checkout fetches the missing directory from internet
remote: Enumerating objects: 1, done.
remote: Counting objects: 100% (1/1), done.
remote: Total 1 (delta 0), reused 0 (delta 0)
Receiving objects: 100% (1/1), 45 bytes | 45.00 KiB/s, done.
remote: Enumerating objects: 1, done.
remote: Counting objects: 100% (1/1), done.
remote: Total 1 (delta 0), reused 0 (delta 0)
Receiving objects: 100% (1/1), 45 bytes | 45.00 KiB/s, done.
# Missing objects after checking out d1
?8b25206ff90e9432f6f1a8600f87a7bd695a24af
?41484c13520fcbb6e7243a26fdb1fc9405c08520
?0975df9b39e23c15f63db194df7f45c76528bccb

Conclusions : tous les blobs de l'extérieur de d1/sont manquants. Par exemple 0975df9b39e23c15f63db194df7f45c76528bccb, qui n'est d2/bpas là après avoir vérifié d1/a.

Notez que root/rootet mybranch/mybranchsont également manquants, mais --depth 1les masquent dans la liste des fichiers manquants. Si vous supprimez --depth 1, ils s'affichent dans la liste des fichiers manquants.

J'ai un rêve

Cette fonctionnalité pourrait révolutionner Git.

Imaginez avoir toute la base de code de votre entreprise dans un seul dépôt sans outils tiers laids commerepo.

Imaginez stocker d'énormes blobs directement dans le référentiel sans aucune extension tierce laides.

Imaginez si GitHub autoriserait les métadonnées par fichier/répertoire comme les étoiles et les autorisations, afin que vous puissiez stocker toutes vos données personnelles sous un seul dépôt.

Imaginez si les sous- modules étaient traités exactement comme des répertoires normaux : il vous suffit de demander un arbre SHA, et un mécanisme de type DNS résout votre requête, en regardant d'abord sur votre local~/.git, puis d'abord sur des serveurs plus proches (le miroir/cache de votre entreprise) et en terminant sur GitHub.