Pamela Miller y Linda Parker se conocieron alrededor de 1966 mientras asistían al Cleveland High School de Los Ángeles. Christine Frka viajó a Los Ángeles desde San Pedro con Sandra Rowe, y ambas vivieron en el sótano de la Log Cabin de Frank Zappa, en el 2401 de Laurel Canyon Boulevard, en Hollywood Hills, en 1968. Frka era la niñera del hijo mayor de Zappa, Moon Unit, antes de que Miller se hiciera cargo al año siguiente. Judith Peters había emigrado de Haight Ashbury a Los Ángeles por «aburrimiento», alegando que «no podía ser hippie para siempre». Cynthia Wells fue incorporada al grupo por Peters una vez formado el núcleo del grupo. Esto explica la presencia de la señorita Cynderella en algunas, pero no todas, las fotos publicitarias de los GTO. Lucy Offerall tampoco era un miembro original, sino que se unió después de la grabación de Permanent Damage.

El grupo se llamó inicialmente Cherry Sisters, pero pronto cambió a Laurel Canyon Ballet Company. Más tarde, Frank Zappa les cambió el nombre por el de GTOs, que describió como «un acrónimo que, como escribió Stanley Booth, podía significar Girls Together Outrageously, Orally, o cualquier otra cosa que empezara por O». En la funda interior de su álbum, el acrónimo también se define como «Girls Together Occasionally», «Girls Together Often» y «Girls Together Only». Miss Lucy declaró en una entrevista que este último nombre es el que representaba, aunque la mayoría entiende que el nombre del álbum, Girls Together Outrageously, es el nombre del grupo.

Las integrantes estaban conectadas por su asociación con Zappa, quien alentaba sus esfuerzos artísticos a pesar de sus limitadas habilidades vocales. El grupo actuó en directo «sólo 4 o 5 veces», aunque causaron una fuerte impresión en su actuación de diciembre de 1968 en el Shrine Auditorium abriendo para The Mothers of Invention, Alice Cooper y Wild Man Fischer. Una mezcla de teatro, cantos, bailes, trajes salvajes y un contenido lírico inusual eran los elementos básicos de su actuación. Su único álbum, Permanent Damage (Straight Records), fue producido en 1969 por Zappa con la ayuda de Lowell George y Russ Titelman en los temas 7 y 11. Este último tema también cuenta con la colaboración de Titelman. En este último tema también participa el cuñado de Titelman, el guitarrista Ry Cooder, y ambos aparecen en el álbum Safe as Milk de Captain Beefheart. La pista 5 «The Captain’s Fat Theresa Shoes» es un comentario de GTO sobre el gusto de Beefheart por el calzado (su primo Victor Hayden le había presentado a Pamela Des Barres). Las canciones se mezclan con conversaciones entre los miembros del grupo, amigos y otras personas, como Cynthia Plaster Caster y Rodney Bingenheimer. El álbum cuenta con las aportaciones de Lowell George, Jeff Beck, Craig Doerge y Davy Jones. Un joven Rod Stewart aparece en la pista 14. Permanent Damage fue reeditado en CD en 1989 por Enigma Retro.