1 вариант: в отдельном окне:

Код:
<style type="text/css">
#button-smiles {background-image:url('https://forumupload.ru/uploads/0005/04/af/2130-1.png'); padding:0; line-height:0; background-position:center; background-repeat:no-repeat}
</style>
<script language="JavaScript">
function popwnd()
{var smiles = new Array
smiles.push("ссылка на смайл...")
smiles.push("ссылка на смайл...")
var msg = new String("")
msg = "<html><head><TITLE><Дополнительные смайлы></TITLE></head>\r\n"

msg += "<body bgcolor=#F5F5F5 >"
msg = msg + "<" + "script language=\"JavaScript\">\r\n"

msg += "function insert_smile(a){\r\n"
msg += "txt = \"[img]\"+a.src+\"[/img] \";\r\n"
msg += "window.opener. smile(txt);\r\n"
msg += "window.focus()\r\n"
msg += "return false}\r\n"

msg = msg + "</" + "script>\r\n"

i=0

msg += "<div style=\"width: 100%; text-align : justify;\" >" 
while(smiles[i])
{
msg = msg + "<img src=\"" + smiles[i] + "\" onclick=\"return insert_smile(this)\" style=\"cursor: pointer\">\r\n"
i++
}

msg += "</div><a href=\"\" onclick=\"window.close()\">Закрыть окно</a>"
msg += "</BODY></html>";

popup = window.open("","popDialog","height=500,width=500, scrollbars=1")
popup.document.write(msg)
popup.document.close()

return false
}
</script>
<script type="text/javascript">
if(form=document.getElementById("form-buttons"))
form.getElementsByTagName("tr")[0].insertCell(17).innerHTML="<img  id=\"button-smiles\" title=\"Дополнительные смайлы\" onclick=\"return popwnd()\" src=\"/i/blank.gif\" />"</script>
<script>
elm=document.getElementById("form-buttons").getElementsByTagName("tr")[0].getElementsByTagName("td")
i=0
while(elm[i])
{
  str=elm[i].innerHTML
  if(str.indexOf("i/smile.png")!=-1)
    elm[i].style.display='none'
  i++
}
</script>

2 вариант: добавить к основным смайлам свои:

Код:
<script type="text/javascript">
var smileDiv = document.getElementById("smilies-block");
if(smileDiv)
{
var smileItem = new Array();
smileItem.push('ссылка на смайл');
smileItem.push('ссылка на смайл');

for (i=0; i<smileItem.length; i++){
smileDiv.innerHTML+='<img src="'+smileItem[i]+'" alt=":rusff:" onclick="smile(\'[img]'+smileItem[i]+'[/img]\')" />';
}
}
</script>