Идею танка с характеристиками, впоследствии воплощёнными в Panzer IV, в начале 1930-х годов, впервые предложил Heinz Guderian. В 1934-35 году Гитлер приказал компаниям Krupp, Rheinmetall-Borsig и MAN разработать прототип BW (Bataillonfuhrerwagen). Необходимые параметры включали в себя полный вес -18 тонн, максимальная скорость - 35 км/ч и главное вооружение - 75мм. орудие. Все компании изготовили свои прототипы, которые были испытаны в 1935-36 годах. Rheinmetall-Borsig BW - VK2001(Rh) использовал модифицированную подвеску от Neubaufahrzeug, тогда как Krupp BW - VK2001(K) и Maschinenfabrik Augsburg-Nurnberg AG VK2002(MAN) оба использовали новую, разработанную MAN, подвеску. Krupp сосредоточил свои усилия на разработке башни, а MAN работал над подвеской (VK2001MAN). Все прототипы имели схожие характеристики, однако, после всесторонних испытаний, для промышленного производства был выбран прототип Krupp BW - VK2001(K).
В 1935 году, после того как Krupp получил заказ на производство своего прототипа, он модифицировал свою разработку, внеся всё самое лучшее, что было в прототипах других компаний. После дополнительных испытаний Krupp был готов начать производство первого Panzer IV Ausf A (Versuchkraftfahrzeug 622).

Первый Panzerkampfwagen IV Ausf A был построен в октябре 1937 года, а последний - марте 1938 года. Всего было построено 35 таких машин. Ausf A был пробным серийным прототипом, 5 машин было отправлено на дополнительные испытания, а 30 других принимали участие в боевых действиях вплоть до 1941 года.
Ausf B выпускался компанией Krupp-Gruson с апреля по сентябрь 1938 года. За этот период было выпущено 42 Ausf B. Они поступили в боевые части в 1938 году и использовались до конца 1943 года. Ausf. B отличался модифицированной башней и цельной передней бронеплитой корпуса. На Ausf A устанавливался 12-ти цилиндровый двигатель Maybach HL 108 TR, мощностью 300л.с., а на Ausf B - 12-ти цилиндровый Maybach HL 120 TR, также мощностью 300л.с. В октябре 1938 года, дальнейшее совершенствование Panzer IV привело к появлению версии Ausf C, которая до августа 1939 года была выпущена в количестве 134 машин. Некоторые Ausf C оставались в использовании в боевых действиях до 1943 года. Поздние модели Ausf C имели более новый 12-ти цилиндровый двигатель Maybach HL 120 TRM, мощностью 300л.с. Этот двигатель стал стандартным для всех последующих версий Panzer IV.
В целом, ранние версии Ausf A/B/C были пробными, и использовались, главным образом, в испытательных и тренировочных целях. Некоторое количество также участвовало и в боевых действиях.
В октябре 1939 года увидела свет следующая версия - Ausf D. Компания Krupp-Gruson выпускала её до мая 1941 года. Всего было выпущено 229 таких машин. Ausf D отличался новой формой передней бронеплиты корпуса (как у Ausf A) и новой орудийной манжетой. Panzer IV Ausf D стал первым, действительно серийным Panzer IV, и состоял на вооружении танковых частей до 1944 года.