这里的人批准他下山的时间从来都不超过一天，在一天的时间里，他能去的地方也只有木城。若想要去更远的地方，除非他能保证自己可以在一天之内回来。
这样没有自由的生活，让谢不敏苦不堪言，自然也苦了楚香芷。对谢不敏来说，在这个地方待一个月根本不是问题，但是，想到自己的自由被限制，他心里就不舒坦，对那位未见面的园主也有了几丝不满，即使考虑到那人也许会成为自己的病人，他心里就是不舒坦。
面对楚香芷，他更觉得愧疚。她当初跟着自己来，不就是为了见识见识邻国的风光么？谁知，因为他的缘故而让她陷入了如今的境地。
虽然楚香芷很少在他面前抱怨，但是，他知道她心里有诸多不满。因此，她时常会将园中的锦葵当做那位园主，任意糟蹋一番泄愤。不过，因为被发现了一次，并受到了呵斥，楚香芷便不敢光明正大地蹂躏那些花了，在心里不知又将那园主诅咒了多少遍。