Suomen hallitus antoi virallisen vastauksensa Stalinin esittämään neuvottelukutsuun 9. maaliskuuta. Neuvostoliiton johto vastasi esityksellä aloittaa neuvottelut Moskovassa, mihin Suomen hallitus suostui.

Paasikiven voimakas ote näkyi neuvotteluvaltuuskunnan nimeämisessä ja ohjeiden määräämisessä. Sotilaalliset artiklat (1. ja 2.) muodostivat sopimuksen ydinosan, ainoan kohdan, josta ylipäänsä neuvotteluja käytiin. Olennaista oli saada niiden muotoilu vastaamaan nimenomaan Suomen etuja ja erityisasemaa, ei siis kopioksi muista yya-sopimuksista.

Neuvottelujen alkaessa 25. maaliskuuta kävi ilmi, että Neuvostoliiton hallitus oli valmis hyväksymään suurimman osan Suomen esittämistä näkökannoista. 1. artikla hyväksyttiin suomalaisten esittämässä muodossa, mutta venäläiset vaativat puolestaan 2. artiklaan sisällytettäväksi neuvotteluvelvoitteen esittämällään tavalla. Sopimus syntyi tuolta pohjalta 6. huhtikuuta.