Pamela Miller e Linda Parker se conheceram por volta de 1966 enquanto estudavam na Cleveland High School em Los Angeles. Christine Frka viajou de San Pedro para Los Angeles com Sandra Rowe, e ambas moraram no porão da Cabana de Log de Frank Zappa no 2401 Laurel Canyon Boulevard, em Hollywood Hills, em 1968. Frka era a babá do filho mais velho de Zappa, a Moon Unit, antes de Miller assumir o comando no ano seguinte. Judith Peters tinha emigrado do Haight Ashbury para Los Angeles devido ao “tédio”, alegando que ela “não poderia ser uma hippie para sempre”. Cynthia Wells foi trazida para o grupo por Peters depois de o núcleo do grupo ter sido formado. Isto explica a presença da menina Cynderella em algumas, mas não em todas, as fotos publicitárias dos GTOs. Lucy Offerall também não era um membro original, mas se juntou após a gravação de Permanent Damage.

O grupo inicialmente se chamava a si mesmas de Cherry Sisters, mas logo mudou para a Laurel Canyon Ballet Company. Mais tarde Frank Zappa mudou seu nome para GTOs, que ele descreveu como “um acrônimo que, como Stanley Booth escreveu, poderia significar Girls Together Outrageously, Orally, ou qualquer outra coisa começando com O”. Na capa interior do seu álbum, o acrónimo é também definido como “Girls Together Occasionally”, “Girls Together Often”, e “Girls Together Only”. Miss Lucy declarou em uma entrevista que este último nome é o que significava, embora seja entendido pela maioria que o nome no álbum, Girls Together Outrageously, é o nome do grupo.

Os membros foram ligados por sua associação com Zappa, que encorajou seus esforços artísticos apesar de suas habilidades vocais limitadas. O grupo actuou ao vivo “apenas 4 ou 5 vezes”, embora tenham criado uma forte impressão na sua actuação em Dezembro de 1968 na abertura do Auditório do Santuário para The Mothers of Invention, Alice Cooper e Wild Man Fischer. Uma mistura de teatralidade, canto, dança, fantasias selvagens e um conteúdo lírico inusitado foram os principais elementos da sua actuação. Seu único álbum, Permanent Damage (Straight Records), foi produzido em 1969 por Zappa com a ajuda de Lowell George e Russ Titelman nas faixas 7 e 11. A última faixa também apresenta o cunhado de Titelman, o guitarrista Ry Cooder, e ambos aparecem no álbum Safe as Milk do Captain Beefheart. A faixa 5 “The Captain’s Fat Theresa Shoes” é um comentário do GTO sobre o gosto de Beefheart pelo calçado (seu primo Victor Hayden o apresentou à Pamela Des Barres). As canções são misturadas com conversas entre os membros do grupo, amigos e outros, incluindo Cynthia Plaster Caster e Rodney Bingenheimer. O álbum apresenta contribuições de Lowell George, Jeff Beck, Craig Doerge, e Davy Jones. Um jovem Rod Stewart é apresentado na faixa 14. Permanent Damage foi reeditado em CD em 1989 por Enigma Retro.

.