Выплатить долг или расторгнуть договор неофициального трудоустройства: как уйти с работы с непогашенной задолженностью

Здравствуйте, подскажите, что делать в такой ситуации: работаю неофициально, заняла у директора деньги, написала расписку. Зарплата маленькая, нашла более высокооплачиваемую работу, а он меня не хочет отпускать и говорит, что отдавать долг придется.