うーん、、
一緒にどこかに行く時だけ一緒に帰れば良いのではと私は思ってしまいますね。
私は自転車通学だったのもあり基本は1人で登下校してたし、お昼とか帰りにマックとか寄っていくときなら一緒に帰ったりもしましたが、毎日一緒に登下校はしなくても良いのではと。
自転車に変えられるなら変えてみるとかどうでしょう？
気になるのは以前の速度は普通だったってところですね。
怪我や病気とかで遅くなってるなら、私だったら
『自分に合わせて一緒に歩いてると遅くなっちゃうから先に行ってて』
と言います。
その友達が自分に合わせてもらうのが当然と考えてるようなら、大人になってから苦労すると思いますし、普通に陰さんが思っているように早く行きたい(帰りたい)から先に行くね、って伝えれば良いと思います。
自分だけが常に相手に合わせているなら、私はその友達を友達とは呼べないです。
