Hovedartikel: Gruppeteori De mulige træk på en Rubik’s cube danner en (meget stor) gruppe. Gruppeteori er nyttig som et abstrakt begreb om symmetri, hvilket gør den anvendelig på en lang række områder: forholdet mellem rødderne af et polynomium (som i Galois-teorien) og løsningsmetoderne til Rubiks terning er begge fremtrædende eksempler.

Informelt set er en gruppe en mængde udstyret med en binær operation ∘\circ∘, således at en operation på to vilkårlige elementer i gruppen også giver et element i gruppen. F.eks. danner de hele tal en gruppe under addition, og de reelle tal, der ikke er nul, danner en gruppe under multiplikation. ∘\circ∘-operationen skal opfylde en række egenskaber svarende til dem, den opfylder for disse “normale” talsystemer: den skal være associativ (hvilket i bund og grund betyder, at rækkefølgen af operationerne er ligegyldig), og der skal være et identitetselement (0 i det første eksempel ovenfor og 1 i det andet). Mere formelt er en gruppe en mængde udstyret med en operation ⋅\cdot⋅ således at følgende aksiomer gælder; bemærk at ⋅\cdot⋅ ikke nødvendigvis henviser til multiplikation; det skal snarere ses som en funktion på to variabler (faktisk kan ⋅\cdot⋅ endda henvise til addition):

Gruppeaksiomer

1) Associativitet. For ethvert x,y,z∈Gx, y, z \in G x,y,z∈G, har vi (x⋅y)⋅z=x⋅(y⋅z) (x \cdot y) \cdot z = x \cdot (y \cdot z) (x⋅y)⋅z=x⋅(y⋅z).
2) Identitet. Der findes et e∈G e \in G e∈G, således at e⋅x=x⋅e=x e \cdot x = x \cdot e = x e⋅x=x⋅e=x for ethvert x∈Gx \in G x∈G. Vi siger, at eee er et identitetselement i GGG.
3) Omvendt. For ethvert x∈Gx \in Gx∈G findes der et y∈Gy \in Gy∈G således at x⋅y=e=y⋅xx \cdot y = e = e = y \cdot x x x⋅y=e=y⋅x. Vi siger, at yyy er en invers af xxx.

Det er også værd at bemærke lukkeaksiomet for at understrege det, da det er vigtigt at verificere lukkethed, når man arbejder med undergrupper (grupper, der er indeholdt helt inden for en anden):

4) Lukning. For ethvert x,y∈Gx, y \i G x,y∈G, x∗yx*y x∗y er også i GGG.

Endnu flere eksempler på grupper omfatter

• Zn\mathbb{Z}_nZn, mængden af hele tal {0,1,…,n-1}\{0, 1, \ldots, n-1\}{0,1,….,n-1} med operationen addition modulo nnn
• SnS_nSn, mængden af permutationer af {1,2,…,n}\{1, 2, \ldots, n\}{1,2,…,n} med operationen sammensætning.

S3S_3S3 er værd at bemærke særligt som et eksempel på en gruppe, der ikke er kommutativ, hvilket betyder, at a⋅b=b⋅aa \cdot b = b \cdot aa⋅b=b⋅a generelt ikke gælder. Formelt set er S3S_3S3 ikke abelsk gruppe (en abelsk gruppe er en gruppe, hvor operationen er kommutativ). Når operationen ikke fremgår klart af konteksten, skrives grupper i formen (set,op)(\text{set}, \text{op})(set,op); f.eks. kan de ikke-nul reelle tal, der er udstyret med multiplikation, skrives som (R∗,⋅)(\mathbb{R}^*, \cdot)(R∗,⋅).

Meget af gruppeteorien (og abstrakt algebra i almindelighed) er centreret omkring begrebet gruppehomomorfi, som i det væsentlige betyder en afbildning fra en gruppe til en anden, der bevarer gruppens struktur. Med andre ord skal afbildningen af produktet af to elementer være det samme som produktet af de to afbildninger; intuitivt set skal produktet af to elementer ikke ændre sig under afbildningen. Formelt set er en homomorfisme en funktion ϕ:G→H\phi: G \rightarrow Hϕ:G→H således, at

ϕ(g1)⋅Hϕ(g2)=ϕ(g1⋅Gg2),\phi(g_1) \cdot_H \phi(g_2) = \phi(g_1 \cdot_G g_2),ϕ(g1)⋅Hϕ(g2)=ϕ(g1⋅Gg2),

hvor ⋅H\cdot_H⋅H er operationen på HHH og ⋅G\cdot_G⋅G er operationen på GGG. F.eks. er ϕ(g)=g(modn)\phi(g) = g \pmod nϕ(g)=g(modn) et eksempel på en gruppehomomorfisme fra Z\mathbb{Z}Z til Zn\mathbb{Z}_nZn. Begrebet potentielt forskellige operationer er nødvendigt; f.eks. er ϕ(g)=eg\phi(g)=e^gϕ(g)=eg et eksempel på en gruppehomomorfi fra (R,+)(\mathbb{R},+)(R,+)(R,+) til (R∗,⋅)(\mathbb{R}^{*},\cdot)(R∗,⋅).