医療機関のカウンセリングのみ受けるには？

20代/女性 - 2014/11/29

心療内科・精神科標榜のクリニックで通院5年目です。
現在医師の診察とカウンセラーのカウンセリングを受けています。
医師の在籍は兼経営者の1名のみです。カウンセラーはクリニック都合で数度替わっています。

昨年冬から新しく担当になったカウンセラーの方が信頼でき、温かく支援して下さっているのを感じられた為、できれば今後もその方に話を聞いて頂きたいと思っています。
ですが一方で以前からパワハラ傾向のある医師への不信感と相性の悪さを感じており、会話をするのが日に日につらくこのまま通院を続けるか悩んでいます。 対面している時より帰ってから医師に対する不快感を引き摺ります。

なんとかカウンセリングのみを受けられる方法はないでしょうか？
その医師に相談しても大丈夫でしょうか。