Pamela Miller et Linda Parker se sont rencontrées vers 1966 alors qu’elles fréquentaient le lycée Cleveland à Los Angeles. Christine Frka s’est rendue à Los Angeles depuis San Pedro avec Sandra Rowe, et toutes deux ont vécu dans le sous-sol de la Log Cabin de Frank Zappa au 2401 Laurel Canyon Boulevard dans les collines d’Hollywood en 1968. Frka était la nounou attitrée de l’aîné des enfants de Zappa, Moon Unit, avant que Miller ne la remplace l’année suivante. Judith Peters avait émigré du Haight Ashbury à Los Angeles en raison de son « ennui », alléguant qu’elle « ne pouvait pas être une hippie pour toujours ». Cynthia Wells a été introduite dans le groupe par Peters après que le noyau du groupe ait été formé. Cela explique la présence de Miss Cynderella sur certaines, mais pas toutes, les photos publicitaires des GTO. Lucy Offerall n’était pas non plus un membre d’origine mais a rejoint le groupe après l’enregistrement de Permanent Damage.

Le groupe s’est d’abord appelé les Cherry Sisters mais a rapidement changé pour la Laurel Canyon Ballet Company. Frank Zappa changea plus tard leur nom en GTO, qu’il décrivit comme « un acronyme qui, comme l’a écrit Stanley Booth, pourrait signifier Girls Together Outrageously, Orally, ou toute autre chose commençant par O. » Sur la pochette intérieure de leur album, l’acronyme est également défini comme « Girls Together Occasionally », « Girls Together Often », et « Girls Together Only ». Miss Lucy a déclaré dans une interview que ce dernier nom était ce qu’il représentait, bien qu’il soit compris par la plupart que le nom sur l’album, Girls Together Outrageously, est le nom du groupe.

Les membres étaient liés par leur association avec Zappa, qui encourageait leurs efforts artistiques malgré leurs compétences vocales limitées. Le groupe ne s’est produit en concert « que 4 ou 5 fois », bien qu’il ait créé une forte impression lors de sa prestation de décembre 1968 au Shrine Auditorium en première partie de The Mothers of Invention, Alice Cooper et Wild Man Fischer. Un mélange de théâtralité, de chant, de danse, de costumes sauvages et de paroles inhabituelles sont les éléments essentiels de leur spectacle. Leur seul album, Permanent Damage (Straight Records), a été produit en 1969 par Zappa avec l’aide de Lowell George et Russ Titelman sur les pistes 7 et 11. Ce dernier titre fait également intervenir le beau-frère de Titelman, le guitariste Ry Cooder, et tous deux figurent sur l’album Safe as Milk de Captain Beefheart. La piste 5 « The Captain’s Fat Theresa Shoes » est un commentaire de GTO sur les goûts de Beefheart en matière de chaussures (son cousin Victor Hayden lui avait présenté Pamela Des Barres). Les chansons sont mêlées à des conversations entre les membres du groupe, des amis et d’autres personnes, dont Cynthia Plaster Caster et Rodney Bingenheimer. Lowell George, Jeff Beck, Craig Doerge et Davy Jones ont contribué à l’écriture de l’album. Un jeune Rod Stewart apparaît sur la piste 14. Permanent Damage a été réédité sur CD en 1989 par Enigma Retro.