Pour la poussette, j'en suis pas sûr : soit c'est en supplément, soit c'est gratuit (car pour moi, faire payer la poussette alors qu'il y a un bébé, ça m'étonnerait). Je te conseille de t'en informer auprès de la compagnie aérienne que tu prendras pour l'Afrique.
Par contre, pour la guitare, il me semble que ça soit un bagage supplémentaire donc il faudrait paer un supplément (le prix varie selon la compagnie aérienne)...
La condition de base (en général, chez les compagnies aériennes, en fait) est :
2 bagages de 23 kg par personne pour les passagers à prix économique.
C'est à dire : si tu pars seul et compte emmener avec toi 2 bagages et une guitare, tu paies en supplément.
Si tu pars en couple, c'est tout bon car je suppose qu'un bagage suffit pour vous deux et l'autre pour le bébé, le 3ème pour la guitare... 3 bagages pour 2 personnes (alors que la limite pour 2 personnes est de 4 bagages, en toute logique et pour précision : 46 kg au total).
Info : pour les affaires en cabine, c'est autorisé de prendre un petit modèle de bagage genre sac à dos mais pas des grands objets comme la guitare par exemple. Je vous conseille de bien protéger ta guitare pour éviter qu'elle soit abimée dans la soute (le personnel s'occupant de mettre les bagages dans la soute n'est jamais tendre...)