Le film suit les aventures d'Hubert Bonisseur de La Bath, également connu sous le nom d'OSS 117 (joué par Jean Dujardin), un agent secret français envoyé au Caire en 1955 pour enquêter sur le meurtre de son ami et collègue agent. Il est chargé de récupérer une liste de collaborateurs français avec les nazis, tombée entre de mauvaises mains. Une fois au Caire, OSS 117 rencontre son contact égyptien, Larmina (joué par Bérénice Bejo), et commence son enquête. Cependant, il se révèle rapidement être un agent incompétent et politiquement incorrect, offensant tous ceux qu'il rencontre avec ses commentaires racistes et sexistes. Alors qu'il tente de résoudre l'affaire, OSS 117 fait face à divers obstacles, dont un groupe de néonazis allemands, un espion russe séduisant et deux frères égyptiens qui pourraient être impliqués dans le meurtre. En cours de route, il découvre également un complot visant à renverser le gouvernement égyptien et fait équipe avec Larmina pour l'arrêter.