Pamela Miller e Linda Parker si incontrarono intorno al 1966 mentre frequentavano la Cleveland High School di Los Angeles. Christine Frka viaggiò a Los Angeles da San Pedro con Sandra Rowe, ed entrambe vissero nel seminterrato della Log Cabin di Frank Zappa al 2401 Laurel Canyon Boulevard sulle colline di Hollywood nel 1968. Frka era la tata che viveva per il figlio maggiore di Zappa, Moon Unit, prima che Miller lo sostituisse l’anno successivo. Judith Peters era emigrata da Haight Ashbury a Los Angeles a causa della “noia”, affermando che “non poteva essere una hippie per sempre”. Cynthia Wells fu portata nel gruppo da Peters dopo che il nucleo del gruppo era stato formato. Questo spiega la presenza di Miss Cynderella in alcune, ma non tutte, le foto pubblicitarie dei GTO. Anche Lucy Offerall non era un membro originale ma si unì dopo la registrazione di Permanent Damage.

Il gruppo inizialmente si chiamava Cherry Sisters ma presto cambiò in Laurel Canyon Ballet Company. Frank Zappa in seguito cambiò il loro nome in GTOs, che descrisse come “un acronimo che, come scrisse Stanley Booth, potrebbe significare Girls Together Outrageously, Orally, o qualsiasi altra cosa che inizi con la O.” Sulla manica interna del loro album, l’acronimo è anche definito come “Girls Together Occasionally”, “Girls Together Often”, e “Girls Together Only”. Miss Lucy ha dichiarato in un’intervista che quest’ultimo nome è quello che stava per, anche se è inteso dalla maggior parte che il nome sull’album, Girls Together Outrageously, è il nome del gruppo.

I membri erano legati dalla loro associazione con Zappa, che incoraggiava i loro sforzi artistici nonostante le loro limitate capacità vocali. Il gruppo si esibì dal vivo “solo 4 o 5 volte”, anche se crearono una forte impressione alla loro performance del dicembre 1968 allo Shrine Auditorium aprendo per The Mothers of Invention, Alice Cooper e Wild Man Fischer. Un mix di teatralità, canto, ballo, costumi selvaggi e contenuti lirici inusuali erano i punti fermi del loro spettacolo. Il loro unico album, Permanent Damage (Straight Records), fu prodotto nel 1969 da Zappa con l’assistenza di Lowell George e Russ Titelman sulle tracce 7 e 11. In quest’ultima traccia c’è anche il cognato di Titelman, il chitarrista Ry Cooder, ed entrambi appaiono sull’album Safe as Milk di Captain Beefheart. La traccia 5 “The Captain’s Fat Theresa Shoes” è un commento di GTO sul gusto di Beefheart per le calzature (suo cugino Victor Hayden gli aveva presentato Pamela Des Barres). Le canzoni sono mescolate a conversazioni tra i membri del gruppo, amici e altri, inclusi Cynthia Plaster Caster e Rodney Bingenheimer. L’album contiene contributi di Lowell George, Jeff Beck, Craig Doerge e Davy Jones. Un giovane Rod Stewart è presente nella traccia 14. Permanent Damage fu ristampato su CD nel 1989 da Enigma Retro.