-
Notifications
You must be signed in to change notification settings - Fork 0
/
Tokenizer.xsl
59 lines (44 loc) · 1.65 KB
/
Tokenizer.xsl
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
<xsl:stylesheet version="2.0" xmlns:xsl="http://www.w3.org/1999/XSL/Transform">
<xsl:output omit-xml-declaration="yes" indent="yes"/>
<xsl:strip-space elements="*"/>
<xsl:template name="spanWord">
<xsl:element name="span">
<xsl:value-of select=" lower-case(.)"/>
</xsl:element>
</xsl:template>
<xsl:template name="spanVerse">
<br></br>
<xsl:element name="ab">
<xsl:value-of select="."/>
</xsl:element>
</xsl:template>
<xsl:template name="spanPunct">
<xsl:element name="span">
<xsl:value-of select="."/>
</xsl:element>
</xsl:template>
<xsl:template name="divChap">
<xsl:element name="div">
<xsl:value-of select="."/>
</xsl:element>
</xsl:template>
<xsl:template match="text/node()[not(descendant-or-self::div)]">
<xsl:for-each select="tokenize(., '[\s\r\n . , / ( ) ! ? ; : ־ ׃ ` # ܂ ܀]+')">
<xsl:if test="matches(., '[\d]')">
<xsl:call-template name="spanVerse"/>
</xsl:if>
<xsl:if test="matches(., '[\D]+')">
<xsl:call-template name="spanWord"/>
</xsl:if>
<!-- PUNCTUACTION -->
<!-- <xsl:if test="matches(., '[. , ( ) ! ? ; :]+')">
<xsl:call-template name="spanPunct"/>
</xsl:if>-->
</xsl:for-each>
</xsl:template>
<xsl:template match="text/div">
<xsl:call-template name="divChap"/>
</xsl:template>
<xsl:template match="text()">
</xsl:template>
</xsl:stylesheet>