予防接種を途中で辞めても大丈夫なのか…

乳幼児/女性 - 2019/04/13

もうすぐ生後4ヶ月になる娘がいます。
生後2ヶ月から予防接種が始まり、受けているのですが、肺炎球菌の予防接種を2回受けて、2回とも発熱しました。(38℃〜39℃)。病院の先生は、肺炎球菌を打った腕が腫れているので、おそらく原因は肺炎球菌だろうとの事でした。
その病院では2回連続で発熱した場合は、次は熱だけとは限らないからと、次の接種から辞めるよう推奨されています。
予定では残り2回接種するはずなので、どうしても最後まで打ちたい！と親の希望があれば、保健所と相談して打つことも可能です。と言われています。
病院の先生に言われたように、辞めるべきなのでしょうか？
途中で辞めた場合、病気になる可能性が出てくるのでしょうか？
辞めても良いのか、リスクをおって打ち続けるべきなのか、自分では決断できません。
ご意見よろしくお願いします。