Salut
Chaque vélo est conçu pour avoir un compromis entre légèreté et souplesse d'un côté et rigidité et solidité de l'autre.
Un vélo en tubes acier haut de gamme sera parfait à vide, il résistera à la charge mais changera plus facilement de comportement une fois chargé qu'un cadre "en tuyaux de chauffage" lourds mais plus rigides sous la charge.
Ton vélo de route accepte la charge mais est sans doute moins conçu au départ pour être chargé qu'une randonneuse, à la géométrie et à la fabrication basées sur la résistance au chargement.
S'il est fait pour être confortable à vide (juste le poids cycliste + vélo), il n'y a rien d'étonnant qu'il soit plus souple, voire trop souple quand il est chargé, si bien sûr rien n'est fendu, dessoudé ou plié (vérifie si la fourche n'a pas de jeu). SI toi-même es léger, la différence est d'autant plus marquée.
La rigidité des roues compte aussi beaucoup, même si on n'y pense pas. Les randonneuses classiques étaient en 650 essentiellement pour cela, même si certains pensent à une histoire de rendement (n'entrons pas dans la polémique...) et les vélos de voyage en 26" ont généralement moins de soucis de casse de rayons que ceux en 700. Il te faut donc faire retendre et équilibrer la tension des rayons, voire changer de jantes et rayons, le comportement va beaucoup changer. Tu peux déjà tester la tension des rayons en les pinçant comme les cordes d'une guitare et en comparant la note obtenue pour équilibrer la tension avec une clé à rayons, en y allant mollo, par 1/4 de tour (attention à ne pas voiler la roue).
En plaçant les sacoches arrière légèrement plus vers l'avant (sans toucher le talon), tu déchargerais légèrement l'arrière qui récupérerait alors un peu de rigidité. En allégeant le chargement tu aurais aussi plus de rigidité.
Mais attends l'avis de ceux qui ont comme vélo de voyage un tout acier léger de route.