打了几番交道后，明太祖朱元璋对日本有了更深的了解，从金陵天界寺的日本僧人椿庭海涛的口中，朱元璋得知现如今的这个怀良亲王根本就不是日本国王，博多大宰府亦非日本之国都。此次日僧祖来至南京时，太祖也问到日本国情况，才得知原来京都那儿另有朝廷和天皇，所以派了祖阐和克勤等人想方设法与京都的日本朝廷取得联系。
明朝的使团到达日本后，在筑紫的圣福寺停留了一年多的时间，在此期间，祖阐、克勤给日本天台座主尊道写了一封密信，希望能帮助他们与京都的北朝和幕府政权直接建立联系，密信介绍了大明开国皇帝朱元璋笃信天台宗，并实现对日本建立国交关系的愿望。
尊道接到此信后，立即转呈给了室町幕府的第三代将军足利义满，正是因为此信的作用，明朝使团终于得以进入京都，1373年六月二十九日，克勤、祖阐等一行人抵达京都并居住在京都嵯峨的向阳庵。祖阐、克勤在京都停留了两个月后，便启程回国，与此同时，足利义满还派遣日本僧人宣闻溪、净业、喜春等人为使者随同祖阐、克勤前往大明。明洪武七年（公元1374年）七月，日本使者抵达明朝都城南京，这是室町幕府与明王朝最初的外交往来。
尽管朱元璋致力于推动中日政府交往，但是日本国内形势依旧混乱，造成了倭寇的问题无法得到有效解决。洪武四年（1371年），倭寇抢掠浙江温州，洪武五年，侵犯福建沿海州郡，洪武六年，袭击了山东莱州，登州继而又至胶州，有愈演愈烈之势。
然而此时的明太祖朱元璋却将日本列为“十五不征之国”的行列中，并载入《皇明祖训》。朱元璋这么做究竟是什么意思呢？
首先这跟明太祖自开国以来的对外政策是有关的，明朝建立之初，对海外各国采取羁縻政策，这种制度在中国历史上由来已久，中原王朝在传统上只对周边少数民族和国家实行名义上的册封，并不直接干涉他国的内部事务，实际的统治和管辖权仍旧由当地民族掌握。所以这种政策只是名义上隶属关系，并没有什么实际意义，各个国家仍保持着主权独立性。
其次，王朝初建，国势不稳，急需休养生息，恢复经济，此时当要创造和睦的周边环境。第三，元朝灭亡后，蒙古统治者又回到了草原，明朝当务之急要应付来自塞北的不断壮大的蒙古势力的威胁。第四，明太祖忙于强化君权，整饬吏治，稳固明朝的专制统治，加上前朝忽必烈两次东征日本失败的前车之鉴，自然没有兴兵征讨的必要。
洪武四年（1371年），朱元璋在奉天门告谕各省府、台大臣说：“海外蛮夷之国，有为患于中国者，不可不讨；不为中国患者，不可辄自兴兵。古人有言，地广非久安之计，民劳乃易乱之源。如隋炀帝妄兴师旅，征讨琉球，杀害夷人，焚其宫室，俘虏男女数千人。得其地不足以供给，得其民不足以使令，徒慕虚名，自弊中土，载诸史册，为后世讥。联以诸蛮夷小国，阻山越海，僻在一隅，彼不为中国患者，朕绝不伐之。”从这封诏谕可以看出明太祖在对外政策上是反对穷兵黩武的，因此他将日本列为不征之国自在情理之中。但能不能说朱元璋对日本存有好感，正相反，他对日本的鄙视由来已久。
在他的眼里，日本就是个跳梁小丑，从一个例子就能看出来。在朱元璋的书房里曾经挂着把日本折扇，这是当时明军在剿灭倭寇的一场战斗中缴获的，于是这位马上天子就借此写了一首乐府诗，名曰《倭扇行》，艺术水准倒是不高，充其量就是首打油诗，但它真真切切地反映了明太祖对日本的真实态度。诗的内容是这样的：
沧溟之中有奇甸，人风俗礼奇尚扇，
卷舒非矩亦非规，列阵健儿首投献。
国王无道民为贼，扰害生灵神鬼怨，
观天坐井亦何知，断发斑衣以为便。
浮辞尝云弁服多，捕贼观来王无辩。
王无辩，折裤笼松诚难验。
君臣跣足语蛙鸣，肆志挑梁于天宪，
今知一挥掌握中，异日倭奴必此变。
大致的意思就是讲在日本这个国家，君主无道，百姓为贼寇之流，平时光着脚丫子走路，说话叽里呱啦像青蛙叫一样难听，简直就是一帮不守规矩，夜郎自大的挑梁小丑。
还有一件事情，更加剧了朱元璋对日本人的反感。当时他在朝堂上接见日本使者，原本只是顺便问及日本风俗，日使答里麻便吟诗作答：
国比中原国，人同上古人。
衣冠唐制度，礼乐汉君臣。
银瓮储清酒，金刀脍素鳞。
年年二三月，桃李自阳春。
此种自我标榜与赞美，与《倭扇行》中描写完全是格格不入，在朱元璋看来这样的回答简直是倨傲无礼，不知天高地厚。所以历史记载明太祖当时的反映便是“恶其不恭”。
明太祖对日本的反感与日俱增，最初怀良亲王先斩杀明使，接下来又有扣押使者的事情，这已经给明太祖留下很消极的印象了。从洪武四年之后，明朝与日本南北朝仍有几次交往，然而这些使者大部分就不是什么真正意义上的日本国使，如果说以前的遣唐使都是日本政府精挑细选，有学识懂礼仪，那是精英中的精英，相比之下，这些进入明朝的日本使团，无非是想到大明大捞一笔的商人集团，里面鱼龙混杂，什么样的人都有，所以最后都被朱元璋打发走了，其理由无非有以下几点：
1、日本使团通常有贡物，而无表文或正式国书2、不是日本国王所派，且不奉明为正朔。3、所呈表文和国书语气倨傲，缺乏诚意。
不过厌恶归厌恶，此时的朱元璋还未放弃对日的外交努力。洪武十四年，他又命明朝礼官为使者，携带了一封措辞极为强硬的国书赴日，国书指责日本国王，也包括征西将军怀良亲王都如同井底之蛙，见识短浅还自以为大，结尾依然以开战相威胁。“如吴大帝，晋慕容廆，元世祖皆遗并往伐，俘获男女以归，千数百年间往事可鉴也，王其审之。”
国书到达日本九州被怀良亲王扣下而未送至京都，此时北朝的室町幕府士气正盛，南朝则在战场上连连失利，怀良也没了往日的脾气，因此这次没杀了明使，只是回了一封国书，语气不卑不亢，软中藏硬。
臣闻三皇立极，五帝禅宗，惟中华之有主，岂夷狄而无君。乾坤浩荡，非一主之独权，宇宙宽洪，作诸邦以分守。盖天下者，乃天下之天下，非一人之天下也。臣居远弱之倭，褊小之国，城池不满六十，封疆不足三千，尚存知足之心。陛下作中华之主，为万乘之君，城池数千余，封疆百万里，犹有不足之心，常起灭绝之意，夫天发杀机，移星换宿。地发杀机，龙蛇走陆。人发杀机，天地反覆。昔尧、舜有德，四海来宾。汤、武施仁，八方奉贡。臣闻天朝有兴战之策，小邦亦有御敌之图。论文有孔、孟道德之文章，论武有孙、吴韬略之兵法。又闻陛下选股肱之将，起精锐之师，来侵臣境。水泽之地，山海之洲，自有其备，岂肯跪途而奉之乎？顺之未必其生，逆之未必其死。相逢贺兰山前，聊以博戏，臣何惧哉。倘君胜臣负，且满上国之意。设臣胜君负，反作小邦之差。自古讲和为上，罢战为战，免生灵之涂炭，拯黎庶之艰辛。特遣使臣，敬叩丹陛，惟上国图之。
这封国书算是中日交往史上的经典之作，文章作者引经据典之丰富，言辞豪壮，可见汉学功底与修养相当深厚，因此有人认为它并非出自于怀良亲笔，而是他人代写。
言辞表面上是自谦示弱，实际上是绵里藏针，寸步不让，它的大意是告诉朱元璋我日本是小国，明朝是大国，明朝若攻打日本，违反天意，必遭失败。你明朝之师征讨日本必是有备而来，而我日本也不怕你大明，自有办法来对付。自古以来都是以和为上，奉劝陛下还是不要兴兵讨伐，免得生灵涂炭。所以特意遣使告之，希望陛下好好考虑我的意见，大明还是好自为之吧。
不知道朱元璋看到这封回信会是什么表情，不过受到日本这样的夷狄小邦如此奚落，朱元璋的内心是翻江倒海，气得说不话来。当前的现实是明朝希望能与日本友好相处，而日本的武装势力却在不断入侵中国海疆，威胁百姓安危，到底是谁在攻打谁？对朱元璋来说，书中言辞不仅傲慢无礼，而且简直是强词夺理，黑白颠倒。
不过即便如此，朱元璋也始终未加兵于日本，既然在回信中日本称我为“天朝”，还自称为“臣”，朕也就宽宏大度，不再追究日本过去的种种恶行了。
朱元璋此举，表面上看似大度，实际上是无可奈何—我不打你了，你也别来惹我。现在他唯一的目标就是赶走倭寇，实现中国沿海的安宁，再说日本远在东海之边，昔日强大的蒙元帝国都鞭长莫及，更别说初建的大明，可见朱元璋无意关心日本国内的事务。从这里我们就能够看出朱元璋与忽必烈这两位帝王完全不同的秉性，一位只专首于内政，另一位却热衷海外扩张，而正是这两人的不同的性格，决定了两个王朝完全不同的发展轨迹。