Поиск замены G3 начался в 1970 году, когда были сформулированы тактико-технические требования к новому автомату. Контракт на её разработку получила Heckler & Koch, за 18 лет создавшая автомат G11 под безгильзовый патрон. Однако G11 на вооружение не поступила, и в 1992 году бундесвер вернулся к вопросу замены HK G3.
На это были следующие причины:
- К 1990-м годам армии всех ведущих стран перешли к автоматам под малоимпульсный патрон. Только Германия сохранила приверженность к патрону 7,62×51 мм НАТО, что к этому времени противоречило программе стандартизации НАТО, где патрон 7,62×51 мм рекомендовался для единых пулемётов и снайперских винтовок.
- Изменились задачи Бундесвера. После развала СССР и прекращения деятельности ОВД военная доктрина ФРГ радикально изменилась. Первоочередными целями бундесвера стали миротворческие и антитеррористические операции, борьба с наркотрафиком и контрабандой. Это потребовало высокой надёжности оружия при любом климате: в горах и пустынях, при сильной запылённости, при длительном отсутствии надлежащего обслуживания и смазки. Тяжёлая и громоздкая G3 мало подходила для данных целей и условий, а эффективность стрельбы очередями при столь мощном патроне оставляла желать лучшего.
- Помимо морального старения, системы пехотного оружия (P1, MP2, HK G3, MG3) выработали свой ресурс физически и требовали замены. Возобновлять производство устаревших систем вооружения для замены изношенных образцов было неразумно.
Финансовая ситуация Бундесвера в начале 1990-х годов существенно отличалась от положения 1970-80-х годов и поэтому было принято решение не финансировать разработку новых моделей стрелкового вооружения, а произвести закупку уже имеющихся на рынке образцов. Это предусматривали разработанные 1 сентября 1993 года тактико-технические требования к автомату и ручному пулемёту. Отбор моделей винтовок для участия в конкурсе проводила специальная рабочая группа, в которую входили представители ВВС и ВМС. Группа произвела отбор 10 моделей автоматов и 7 моделей ручных пулемётов. После предварительного этапа остались 2 системы — австрийская Steyr AUG и немецкая HK50. После проведения сравнительных тестов на полигоне WTD91, военные остановили свой выбор на винтовке HK50 и ручном пулемёте MG50 (внутрифирменные обозначения G36 и MG36 соответственно) на её основе. Винтовка фирмы Heckler & Koch показала лучшие характеристики, баллистические показатели, а также простоту и надежность в эксплуатации.
В марте 2015 года немецкое федеральное правительство и минобороны признали, что G36 имеет достаточно большие проблемы с точностью, и её применение следует ограничить по причине перегрева при продолжительной стрельбе или при высокой температуре воздуха. В апреле 2015 Министерство обороны Германии объявило о решении постепенно снять с вооружения все 167 000 винтовок G36.