Kód ellenőrzés AI-jal

LEX kimenete:

NEWLINE:\n ID:print ASSIGN:= PARAM(: )PARAM: ->
INDENT:4 ID:request { ID:table : STRNUM:"task" } ,
PARAM(:( ID:respond )PARAM:) ->
INDENT:4 IF ID:respond DOT:. ID:data ?
INDENT:4 ID:_out DOT:. ID:innerHTML ASSIGN:= STRNUM:""
NEWLINE:\n FOR: ID:x IN: ID:respond DOT:. ID:data DOT:. ID:text
INDENT:4 ID:_out DOT:. ID:innerHTML ASSIGN:+= ID:x +-:+ STRNUM:"<br>"

TOKENS kimenete:

NEWLINE:\n ID:print ASSIGN:= PARAM(: )PARAM: ->
INDENT:4 ID:request CALL(: { ID:table : STRNUM:"task" } ,
PARAM(:( ID:respond )PARAM:) ->
INDENT:4 IF ID:respond DOT:. ID:data ?
INDENT:4 ID:_out DOT:. ID:innerHTML ASSIGN:= STRNUM:""
NEWLINE:\n FOR: ID:x IN: ID:respond DOT:. ID:data DOT:. ID:text
INDENT:4 ID:_out DOT:. ID:innerHTML ASSIGN:+= ID:x +-:+ STRNUM:"<br>"

AST kimenete:

Assign  =
  Var print
  Fun
    Block
      Chain
        Var request
        Call
          Obj
            Prop
              Key table
              Literal "task"

AST tűnik használhatóbbnak. Szerintem meg tudom írni általánosra, hogy más compile output-ot is meg lehessen etetni az elemző megoldással más nyelvek esetén.

Írtam egy Ruby kódot, mellyel kikapom a fenti AST kimenetből az első szót (mely nem tartalmaz fejlesztő által megadott saját elnevezést) és tömbbe rendezem. Majd a tömb egyforma elemeit átszámozom 0-tól felfelé addig növelve az értéket, amíg van új kulcsszó. Kód alább:

a = `node_modules/livescript/bin/lsc --ast file`.split("\n")

b = a.map{|x| x.strip[/^[a-zA-Z]+/] }.compact

c = {}
i = 0

b.each {|x|
	if not c[x]
		c[x] = i
		i += 1
	end
}

d = b.map{|x| x = c[x] }

p b, d, i

A kimenete így néz ki:

["Block", "Assign", "Var", "Fun", "Var", "Block", "Return", "Var", "Assign", "Var", "Fun", "Block", "Chain", "Var", "Call", "Obj", "Prop", "Key", "Literal", "Fun", "Var", "Block", "If", "Existence", "Chain", "Var", "Index", "Key", "Block", "Assign", "Chain", "Var", "Index", "Key", "Literal", "For", "Var", "Chain", "Var", "Index", "Key", "Index", "Key", "Block", "Assign", "Chain", "Var", "Index", "Key", "Binary", "Var", "Literal", "Assign", "Var", "Fun", "Var", "Block", "If", "Binary", "Chain", "Var", "Index", "Key", "Literal", "Block", "Assign", "Var", "Chain", "Var", "Index", "Key", "If", "Binary", "Var", "Literal", "Block", "Chain", "Var", "Call", "Obj", "Prop", "Key", "Literal", "Prop", "Key", "Literal", "Fun", "Var", "Block", "Chain", "Var", "Call", "Block", "Chain", "Var", "Call", "Obj", "Prop", "Key", "Literal", "Prop", "Key", "Obj", "Prop", "Literal", "Var", "Fun", "Var", "Block", "Chain", "Var", "Call", "Assign", "Chain", "Var", "Index", "Key", "Literal", "Chain", "Var", "Call"]

[0, 1, 2, 3, 2, 0, 4, 2, 1, 2, 3, 0, 5, 2, 6, 7, 8, 9, 10, 3, 2, 0, 11, 12, 5, 2, 13, 9, 0, 1, 5, 2, 13, 9, 10, 14, 2, 5, 2, 13, 9, 13, 9, 0, 1, 5, 2, 13, 9, 15, 2, 10, 1, 2, 3, 2, 0, 11, 15, 5, 2, 13, 9, 10, 0, 1, 2, 5, 2, 13, 9, 11, 15, 2, 10, 0, 5, 2, 6, 7, 8, 9, 10, 8, 9, 10, 3, 2, 0, 5, 2, 6, 0, 5, 2, 6, 7, 8, 9, 10, 8, 9, 7, 8, 10, 2, 3, 2, 0, 5, 2, 6, 1, 5, 2, 13, 9, 10, 5, 2, 6]

16

Ez a legalsó szám azt mutatja, hogy hányféle paranccsal találkoztunk.

Egy RNN (Recursive Neural Network) idegrendszert próbálok majd betanítani LSTM-et használva (Long Short Term Memory). Kutatásaim alapján az az elsődleges sejtésem, hogy megfelelő tanítási halmaz után ki tudhat mutatni a fejlesztőnek anomáliákat a kódjával kapcsolatban, vagy egyéb, magasabb szinten képzett minta illesztési eltéréseket. Ez az a rész amit nem tudunk felfogni, mivel rendkívül nagy a kombinációs halmaz és ebből kell kiválasztani az eljárással lehetséges eseteket.

Persze kérdés a bemeneti, rejtett és kimeneti réteg nagysága. A kísérleteket egyforma értékkel fogom kezdeni (x = h = y = N), akár egy genetikai algoritmust alkalmazva, próbálgatva hogy milyen struktúra hozza a jobb eredményt. Viszont ehhez létre kell hoznom egy tanítási adatbázist. Nem lesz olyan kis meló megtalálni a működő kombinációt egy teljesen teszteletlen és ismeretlen paraméterekkel rendelkező adhoc saját készítésű adathalmazzal (még jó, mert ha ismerném milyen paraméter kell, akkor magát az adatbázist is tudnám tesztelni hogy megfelelő mennyiségű és minőségű-e a tanításhoz, 22-es csapdája). Itt rendkívül sok a lehetséges kutatási irány mind a machine learning algoritmusok tekintetében, mind az LSTM típust illetően (hogyan adagolom az adatot szekvenciálisan a fix méretű vektoroknak, vagyis mekkora szeletekben - illetve a "forget-gate"-et mikor aktiválom - például minden "block" parancs után, hogy csak kód blokkokat értelmezzen és ne legyen átfedés - de nem biztos hogy kell, mert ha elég intelligens, akkor úgyis látja).

A jelzést a hibáról a fejlesztő felé úgy tervezem megoldani, hogy az ACE editor (amit használok szerkesztő felülethez, remek munka C9-től) által tartalmazott program kódot kijelölöm vízszintesen a fejlesztőnek, így mentés után látja, hogy az AI szerint hol érdemes nézelődni anomáliák után. Valszeg egy pici gombot (link) teszek be balra a "diff" gombom mellé a szerkesztő felületen (valami marketinges "ai" névvel, még meglátom).

Egyelőre folytatom a munkát..