膀胱多少の痛みと違和感感じ半日後の血尿に関して

今日の朝膀胱にチクチクするような痛みがあり目が覚めその後も何度かトイレに行っても膀胱付近に変な違和感（残尿があり黙ってても多少痛む）が続いていました。夕方頃になっても症状が収まらず、市販で腎仙散を買い様子を見ようとしていた所、先ほど血尿が出ました（薄いピンク）
血尿が出たのもこのような膀胱に違和感と痛みがあるのも初めで動揺しています。
排尿している時に痛みはほぼなく、むしろ排尿していない時に膀胱近くに多少の痛みがあるので膀胱炎なのでしょうか？
調べたところ悪性腫瘍などの可能性もあるなど不安になっています。
激痛や熱はないので今日は市販の薬で様子を見て明日にも病院に行こうと考えていますが、症状の改善の有無に関わらずやはり病院に行った方が良いでしょうか？病院は泌尿器科で良いでしょうか？
また考えられる病気や今後の治療法に関してご教示頂ければと思います。